In this article, we show two topics of the EM (expectation-maximization) algorithm. One is the Wake-Sleep (W-S) algorithm which is proposed by P. Dayan and G. Hinton. The algorithm was believed to converge by the similarity between W-S and EM …
EM アルゴリズムはボルツマンマシンや確率的パーセプトロンなどの学習を始め,HMMやその他隠れた構造を持つ確率分布の学習に対して広く持ちいられている.このアルゴリズムは繰り返し演算により最尤推定を求めるものであり,計算量が少なく実現が容易だが,一般に収束が遅い.一方,統計学の分野でスコアリング法と呼ばれる手法も同様のモデルに対して適用できる繰り返し演算である.これは収束は速いが計算量が多く実現が難しい.本研究では EMアルゴリズムを再帰的に用いてスコアリング法を近似し,EMアルゴリズムを加 速で …