"EM アルゴリズム"

ニューラルネットとEM

再帰的学習によるEMアルゴリズムの加速

EM アルゴリズムはボルツマンマシンや確率的パーセプトロンなどの学習を始め,HMM やその他隠れた確率変数を持つ確率分布の学習に対して広く持ちいられている.このアルゴリズムは繰り返し演算により最尤推定を求めるものであり,計算量が少なく実現が容易だが,一般に収束が遅い.一方,統計学の分野で Fisher のスコアリング法と呼ばれる手法があり,これも同様のモデルに対して適用できる繰り返し演算である.スコアリング法は収束は速いが計算量が多 く実現が難しい.本論文では EM アルゴリズムを再帰的に用いて …

再帰的学習によるEMアルゴリズムの加速

EM アルゴリズムはボルツマンマシンや確率的パーセプトロンなどの学習を始め,HMMやその他隠れた構造を持つ確率分布の学習に対して広く持ちいられている.このアルゴリズムは繰り返し演算により最尤推定を求めるものであり,計算量が少なく実現が容易だが,一般に収束が遅い.一方,統計学の分野でスコアリング法と呼ばれる手法も同様のモデルに対して適用できる繰り返し演算である.これは収束は速いが計算量が多く実現が難しい.本研究では EMアルゴリズムを再帰的に用いてスコアリング法を近似し,EMアルゴリズムを加 速で …

HMMの構造探索による音素モデルの生成

本論文では,HMM の構造決定のためのアルゴリズムを提案する.音声認識で用いられる HMM の構造は,多くの場合知識や経験に基づき決定されている.しかしながら,この問題は確率モデルの構造決定問題として扱うことができる.すなわち,赤池情報量規準 (AIC) などの尺度でモデルを評価し,最も良いモデルを選択するという方法で定式化できる.簡単な確率モデルにおいては,あらかじめ複数のモデルを用意し,最ゆう法でパラメタを推定した後に AIC 等で最適なモデルを選択すれば良い.一方,HMM のようにパラメタ …

HMMの構造探索による音素モデルの生成

HMMにより音素モデルを構成する場合,その構造は試行錯誤的に知識や経験によって決定されることが多い.これに対し,パラメタ数とデータ数を考慮した情報量基準を用い,これを最小化するようにモデルの構造を変化させ,最適化するアルゴリズムを提案する.構造を変化させる毎にパラメタを推定し,尤度を最大化するように,状態を分割あるいは新しく状態遷移を定義することにする.求まったモデルのパラメタを再度推定し,情報量基準 AIC でそのモデルを評価し,さらに構造を変化させるか否かを決定する.このアルゴリズムを用い …