-
階層型クラスタリングとdendrogram / 空間拡散性、単調性の確認
前回適当に作ったデータを使って階層型クラスタリングを試してみる。 階層型クラスタリングの様子をdendrogramというツールを使って可視化できるのと、 クラスタ間距離の違いによってクラスタの作られ方 …
-
6個のデータポイント近隣に発生させたデータ達を6-meansでクラスタ分割できるか
multivariate_normalを使って6個のデータポイント近隣にデータ達を発生させる。 薄くクラスタを見つけられそうだけれど境界は曖昧で大分被っているという状況。 そんなデータ達に6-mean …
-
自力で生成したデータポイントに対して自力でクラスタ分割してみる
クラスタリングについて凄まじくわかりやすい説明を聞いて感動しました。 k-meansを自力で書くことで理解が深まりそうなので、参考にしながらアプトプットしてみます。 前回のエントリで、多次元正規分布に …
-
多次元正規分布に従うデータを生成する
2019/07/10 -NumPy/Pandas, クラスタリング
日々の学びそろそろ適当なデータを見つけてきて手法を試すのとは別に、 自力でデータを作って試してみたいと思い、NumPyを使った生成法を調べてみた。 一口に乱数といっても、正規分布に従う標本の生成のこと。 多次元 …
-
Ward距離を使った階層型クラスタリング (お試し実行なし)
階層型クラスタリングについてわかりやすい解説を聞いたので頭の中にあるものを書き出してみます。 (せっかく聞いたシャープな解説が台無しになってしまっているかと思いますが…) 本当はもっとアク …
-
k-means法と近似解法 考え方
教師なし学習の問題。クラスタリング。 クラスタの個数を事前に指定するタイプと、自分でクラスタ数を設定できるタイプがあります。 今回、前者のk-means法をアイデアを聞いたので、まとめなおしてみようと …
-
特異値分解 Singular Value Decomposition
特異値分解 \(M \times N\)の行列\(A\)を以下の3つに分解する。 \(M \times M\)の直行行列\(V\) \(M \times N\)の対角行列\(S\) \(N \time …
-
固有値、固有ベクトル
線形代数もやりなおします。流石に時間ないので微妙に分かるところまでですが。 第1弾は固有値、固有ベクトル。 具体例を使って追ってみるやつ 行列\(A\)とベクトル\(\vec{v_1}\)をデタラメに …
-
sklearnに頼らずRidge回帰を自力で書いてみて正則化項の影響を考えてみるテスト
2019/06/05 -NumPy/Pandas, Python, 回帰
はじめての機械学習, 日々の学びタイトルの通り。Losso回帰と違って損失関数を偏微分するだけで出来そうなのでやってみる。 Ridge回帰は線形回帰の1種だけれども、損失関数として最小二乗法をそのまま使わず、 \(L_2\)ノルムの …
-
NumPy uniqe, File I/O
2019/06/04 -NumPy/Pandas, Python
集合関数 集合関数。ndarrayから重複を取り除きsortした結果を返す。 2dであってもその中から要素を抜き出して1dにする。
12345hoges = np.array(["hoge","fuga","hoge","fuga"])print(np.unique(hoges)) # ['fuga' 'hoge']fugas = np.array([["hoge","fuga","hoge","fuga"],["hoge2","fuga2","hoge2","fuga2"]])print(np.unique(fugas)) # ['fuga' 'fuga2' 'hoge' 'hoge2']フ …