ベイズの定理¶
- 同時確率を条件付き確率(conditional)と、ある事象の確率の積から導かれるもの
- そんなことより周辺化(marginalization)
- 2変数同時確率の一方を変数のまま、もう一方をすべて足し込む/積分する
- ある変数で積分するので、その変数が消える
共役(conjugate)分布¶
- いろいろな確率分布が出てくる
- その確率分布に共役分布が存在する
- bernoulliに対するbeta
- TODO:存在しないものもある？
- その確率分布に共役分布が存在する
- ある分布に共役分布をかけると、共役分布になる
- ２つの分布の積が１つの分布になる扱いやすい
- ただし共役分布のparameterが変化する
- それにともない正規化されて1になるように定数がかけられる
- ベイズの定理における共役分布は事前分布として登場する
- 条件付き分布が対になる分布
- beta: lambdaに対する分布
- bernoulli: lambdaが与えられた上での分布
- この対応がベイズの定理にちょうどいい
パラメータ推定¶
- 最尤推定
- ロジスティック回帰で見た
- 尤度だけを考慮
- 独立を仮定するので積になり、対数尤度として解く
- MAP推定(Maximum a posteriori)
- 事後確率最大化
- となるようなparameterの推定
- 事前分布を考慮する
- 事後確率はベイズの定理より、尤度と事前分布の積
- 分母の確率はparameterと関係ないので無視する
- 事後確率最大化
- ベイズ推定
- parameterを最大化ではなく、いろいろとる分布をすべて求める？
- 共役分布があると簡単になるので求められる
- TODO:そうじゃない場合
- データが多くなると最尤推定に近くなる
- TODO:説明
- parameterを最大化ではなく、いろいろとる分布をすべて求める？
- 詳しくは例題
自己共役¶
TODO
識別/生成モデル¶
TODO
潜在変数¶
混合分布¶
回帰¶
grid model¶
markov random fields¶
maxflow/mincut¶
submodularity¶
alpha extension¶
conditional random fields¶
その他¶
- やたらΓ関数が出てくる
- TODO:これ自体をよく分かっていない
- δ関数に慣れていない
- 0/1を出力、あるparameterが特定の値の時TODO