k-means法（k-平均法）についてメモ。 【目次】 k-means法 k-means++法 エルボー法によるクラスタ数の推定 Pythonコード 参考 前回取り上げた「k-近傍法」とは異なるので注意。 【機械学習_Python】k-近傍法（k-NN） - こちにぃるの日記 k-means法 データの…

k-近傍法（k-nearest neighbor algorithm、k-NN）についてメモ。 同じような名前の「k-means法」とは異なるので注意。 【目次】 k-近傍法とは ミンコフスキー距離 pythonコード 参考 k-近傍法とは 特徴空間において、距離が近い既知データから未知データのク…

主成分分析（Principal Component Analysis、PCA）についてのメモ 【目次】 主成分分析とは 主成分軸の作り方 分散の最大化（ラグランジュの未定乗数法） 第１主成分を作る場合 第ｐ主成分を作る場合 次元削減の基準 寄与率と累積寄与率 カイザー基準とスク…

SVM（サポートベクターマシーン）についてのメモ。 SVM（サポートベクターマシーン）とは 線形SVM（ハードマージン法とソフトマージン法） 主問題と双対問題 Pythonによる実行 非線形SVM（カーネルトリック） Pythonによる実行 Wineデータで実行 参考 SVM（…

決定木（Decision Tree）とランダムフォレスト（Random Forest）について。 【目次】 決定木（Decision Tree） 情報利得（Information gain） 不純度（Impurity Criterion） 分析例 決定木の応用 ランダムフォレスト（Random Forest） ランダムフォレストの…

Ridge回帰、Lasso回帰、Elastic Net回帰についてのメモ。 本記事は「機械学習」における回帰分析という視点が強め。 Ridge回帰等と区別するため、最小二乗法による一般的な回帰分析を最小二乗回帰分析（ordinary least square：OLS）と呼ぶ。 本記事では Pyt…