自力で生成したデータポイントに対して自力でクラスタ分割してみる

クラスタリングについて凄まじくわかりやすい説明を聞いて感動しました。
k-meansを自力で書くことで理解が深まりそうなので、参考にしながらアプトプットしてみます。

前回のエントリで、多次元正規分布に従う標本を作れるようになったので、
もともと存在する中心から適当に散らばるように作ったデータポイントに対して、
どの程度クラスタ分割できるのか確認する例です。

見てわからないと仕方がないので2次元とします。
早速、2つの中心から適当に散らばるようなデータポイントを作ってみます。

合計200個の点に、確率0.5でラベル1を振って(=確率0.5でラベル0)、
それぞれ色を付けて表示してみます。これを初期クラスタとします。
0クラスタ、1クラスタそれぞれ混じっていて、このままでは適切なクラスタ分割ではありません。

ラベル0のデータをX1、ラベル1のデータをX2という風に名前を付けて、
pandasデータフレーム化します。
さらに振ったラベル列を付けます。列追加は.assign()で出来るみたい。

0クラスタと1クラスタでまとめます。SQLで言うところのGroupBy句。
メソッド名もまんまgroupbyなのでわかりやすい。
GroupByした後、平均を計算する。0クラスタ、1クラスタ毎のX1,X2の平均が出ているっぽい。

いよいよ、各データポイントのクラスタを更新して、適切なクラスタに振っていきます。

pandasデータフレームからNumPyのArrayを取るのは結構面倒くさい。
locにより行を取得できる。その際pandasの列名を指定できる。
SQLでSELECT書いているのに近い。

クラスタ0、クラスタ1それぞれのデータポイントについて、
各クラスタにおけるクラスタ中心と距離を求めます。距離は2乗和。

クラスタ0のクラスタ中心との距離よりも、クラスタ1のクラスタ中心との距離の方が大きいということは
クラスタ0に属するべきです。論理式の結果がTrueかFalseかのいずれかになることを使って
2つのクラスタに分けます。かなり無理やりな気がします。
真偽の扱いですが、Pythonの言語仕様上、0か0に類する値はFalse、それ以外はTrueです。

元Webプログラマが普通にforを使って書いてみると以下の通りとなります。

生成した入力値に新しいクラスタIDを振って色分け表示してみます。

綺麗にわかれた気がしますが、大元のクラスタが交差する部分において、
別のクラスタに分類されたデータがあるようです。