-
勾配降下法
各地点において関数の値を最大にするベクトル\((\frac{\partial f}{\partial x_0},\frac{\partial f}{\partial x_1})\)を全地点に対して計算 …
-
勾配の可視化
2変数関数\(f(x_0,x_1)\)を各変数で偏微分する。 地点\((i,j)\)におけるベクトル\((\frac{\partial f(x_0,j)}{\partial x_0},\frac{\p …
-
おっさんが数値微分を復習する
引き続き、ゼロDの写経を続ける。今回は、学生の頃が懐かしい懐ワード、数値微分。 全然Deepに入れないけれどおっさんの復習。解析的な微分と数値微分が一致するところを確認してみる。 昔と違うのは、Pyt …
-
誤差, 2乗誤差と交差エントロピー誤差
台風で自宅に篭れるから勉強時間をとれるな..、と見積もってたのだけれども、 近所の多摩川がマジで溢れそうでそれどころではなく…。 時間が空いてしまったがゼロから作るDeepLearning …
-
MNISTの手書き文字認識用データ取得クラスの作成
MNISTから手書き文字認識用のデータセットをロードするクラスを作ってみた。 ロードしたデータセットをpickleでシリアライズ、デシリアライズする機能付き。 後々改造する予定でここに貼ったのはメンテ …
-
SoftMax関数
出力層の総和を1にするように調整できれば、出力層を確率としてとらえることができるようになる。 入力層に画像を放り込み、出力層でラベルに属する確率を出せば、画像にラベルをつける分類器になる。 入力が\( …
-
行列の積和と順伝播
順伝搬(forward)はNumpyの積和計算を使って超絶簡単に記述できる。 行列の積和計算 何はともあれNumpyで行列の積を計算する方法について。 この仕組みがあるから、forなどの制御構造を使わ …
-
活性化関数の実装。Step,Sigmoid,ReLU
深層学習入門。Python,Numpyにも少し慣れてきたので、 Numpyだけで伝搬,逆伝搬を計算することで深層学習に慣れていく。 単に自分の理解のためだけの記事なので、誤りがあっても気にしない。 活 …