「教養」 一覧

特異値分解 Singular Value Decomposition

2019/06/22   -線形代数
 

特異値分解 \(M \times N\)の行列\(A\)を以下の3つに分解する。 \(M \times M\)の直行行列\(V\) \(M \times N\)の対角行列\(S\) \(N \time ...

固有値、固有ベクトル

2019/06/17   -線形代数
 

線形代数もやりなおします。流石に時間ないので微妙に分かるところまでですが。 第1弾は固有値、固有ベクトル。 具体例を使って追ってみるやつ 行列\(A\)とベクトル\(\vec{v_1}\)をデタラメに ...

sklearnに頼らずRidge回帰を自力で書いてみて正則化項の影響を考えてみるテスト

タイトルの通り。Losso回帰と違って損失関数を偏微分するだけで出来そうなのでやってみる。 Ridge回帰は線形回帰の1種だけれども、損失関数として最小二乗法をそのまま使わず、 \(L_2\)ノルムの ...

NP困難な分類問題を代理損失の最小化に帰着させる話

機械学習の分類問題の中心にある決定境界の決定方法について かなり要領を得た説明を聞いて理解が2段階くらい先に進んだのでまとめてみます。 データが与えられただけの状態から決定境界を決める問題はNP困難で ...

回帰直線の当てはまりの指標

前の記事で線形単回帰において訓練データから回帰係数を求める方法を書いてみた。 標本平均を使って母平均を推測する話とリンクさせることで、 回帰係数の95%信頼区間を求めることができた。 回帰係数\(\h ...

単回帰曲線における回帰係数の精度(95%信頼区間)

線形単回帰で推定する回帰係数の精度を評価する方法を読んだのでまとめてみる。 当然、真の直線はわからないのだけれども、真の直線があると仮定した上で 推定した回帰係数との関係を考えることで、回帰係数の精度 ...

損失関数の評価,バイアス-バリアンスと過学習のトレードオフ

損失関数をバイアス項、バリアンス項、削減不能誤差の和に分解できることと、 損失は削減不能誤差より下回らないこと、バイアス項、バアリアンス項のトレードオフが起こること、 を読んだ。過学習っていうのはこう ...

損失関数

おっさんが入門した軌跡シリーズです。損失関数に関して学んだことをメモしておきます。 入力値\(x\)、正解\(t\)からなる訓練データ\(T=(x,t)\)が大量に与えられたときに、 \(f(x,w) ...

決定木の分割基準,情報ゲイン,エントロピー

集合に対して再帰的に境界を入れていく操作が決定木の作成。 では、集合のどこに境界を入れれば良いか。 属性をテストすることにより得られる情報量が最も大きくなるように入れる。 汎化能力、みたいな言葉を読ん ...

交差検証(CrossValidation)

同じ出処から取ってきたデータを全て訓練データとして使わずに、 訓練データとテストデータに分割して、訓練データで作ったモデルに対するテストデータの精度を返す、 みたいなことをやるらしい。交差検証(Cro ...

Copyright© ikuty.com , 2019 AllRights Reserved Powered by AFFINGER4.