-
決定木の分割基準,情報ゲイン,エントロピー
集合に対して再帰的に境界を入れていく操作が決定木の作成。 では、集合のどこに境界を入れれば良いか。 属性をテストすることにより得られる情報量が最も大きくなるように入れる。 汎化能力、みたいな言葉を読ん …
-
交差検証(CrossValidation)
同じ出処から取ってきたデータを全て訓練データとして使わずに、 訓練データとテストデータに分割して、訓練データで作ったモデルに対するテストデータの精度を返す、 みたいなことをやるらしい。交差検証(Cro …
-
決定木回帰と決定木の作り方1
アンサンブル学習とかランダムフォレストに入門する前に決定木に入門する。 決定木はやっていることが直感的でわかりやすい。 決定木回帰と決定木分類。 ここよりはドメインとの連結部分が大変なんだろうと思った …
-
共役事前確率分布と逆ガンマ分布再考
今回から、atomにmathjax-wrapperを入れてatomで数式入り文章を書いてみる。 数式を書くと瞬時にプレビューができて、10倍は速くなった気がする。1時間くらいで書いてみる。 母集団の\ …
-
MAP推定
真の\(\mu\)、\(\sigma\)があるものとしてデータ\(\boldsymbol{x}=(x_1,x_2,\cdots,x_n)\)が最も起こりやすくなるように \(\mu\)、\(\sigm …
-
最尤推定
これは単なる趣味の記事です。 たいして数学が得意でもなかった偽理系出身のおっさんの懐古趣味。 PRMLは省略が多くて難しいです。 省略を紐解いても出てくるのが統計学入門レベルです。 鬼ですね。 ただ、 …