## ベイズの定理
- 同時確率を条件付き確率(conditional)と、ある事象の確率の積から導かれるもの
- そんなことより周辺化(marginalization)
    - 2変数同時確率の一方を変数のまま、もう一方をすべて足し込む/積分する
    - ある変数で積分するので、その変数が消える

## 共役(conjugate)分布
- いろいろな確率分布が出てくる
    - その確率分布に共役分布が存在する
        - bernoulliに対するbeta
    - TODO:存在しないものもある？
- ある分布に共役分布をかけると、共役分布になる
    - ２つの分布の積が１つの分布になる扱いやすい
    - ただし共役分布のparameterが変化する
    - それにともない正規化されて1になるように定数がかけられる
- ベイズの定理における共役分布は事前分布として登場する
    - 条件付き分布が対になる分布
    - beta: lambdaに対する分布
    - bernoulli: lambdaが与えられた上での分布
    - この対応がベイズの定理にちょうどいい

## パラメータ推定
- 最尤推定
    - ロジスティック回帰で見た
    - 尤度だけを考慮
    - 独立を仮定するので積になり、対数尤度として解く
- MAP推定(Maximum a posteriori)
    - 事後確率最大化
        - となるようなparameterの推定
    - 事前分布を考慮する
        - 事後確率はベイズの定理より、尤度と事前分布の積
        - 分母の確率はparameterと関係ないので無視する
- ベイズ推定
    - parameterを最大化ではなく、いろいろとる分布をすべて求める？
        - 共役分布があると簡単になるので求められる
        - TODO:そうじゃない場合
    - データが多くなると最尤推定に近くなる
        - TODO:説明
- 詳しくは例題

## 自己共役
TODO

## 識別/生成モデル
TODO

## 潜在変数

## 混合分布

## 回帰

## 分類
### ニュートン法

## グラフィカルモデル
### グラフ

### markov性
### ギブスサンプリング
### ダイバージェンス

## chain/tree model
### DP
### forward/backward
### sum-product

## grid model
### markov random fields
### maxflow/mincut
### submodularity
### alpha extension
### conditional random fields

## その他
- やたらΓ関数が出てくる
    - TODO:これ自体をよく分かっていない
- δ関数に慣れていない
    - 0/1を出力、あるparameterが特定の値の時TODO