Bregman 情報量を損失としたベイズリスクに関する考察

概要

通信路の確率モデルと入力に関する制約が与えられたとすると,通信路容量は入力と出力との間の相互情報量の上限として定義される.一方で,通信路容量はKL情報量を損失とするベイズリスクの max-min 問題の最適値として定義することもできる.本稿では.KL情報量を Bregman 情報量に置き換えたベイズリスクを定義し,その max-min 問題を考える.スカラー通信路の通信路容量を達成する入力分布が連続分布となるのは AWGN に対して入力の平均パワーを制約した場合であり,そのときの最適な入力分布は正規分布となる.他の通信路,そして入力に関する制約に対しては,最適な入力分布が離散分布となることが多い.KL 情報量を Bregman 情報量に置き換えた場合も同様の結果が得られた.

タイプ
収録
第35回情報理論とその応用シンポジウム予稿集 (SITA2012)

関連項目