機械学習
【目次】 ロジスティック回帰の特徴 ロジスティック回帰の尤度・誤差関数 ロジスティック回帰のFisher Scoringによる最適化 手計算 参考 以下でロジスティック回帰に触れていたがFisher Scoringにて再び。 【統計】ロジスティック回帰分析 - こちにぃるの日…
まとめ用。随時更新。 教師あり学習 最小二乗回帰（OLS：Ordinary Least Squares regression、線形回帰） ロジスティック回帰（Logistic regression） 四分位回帰（Quantile regression） サポートベクターマシーン（SVM: Support vector machine） 決定木（…
Kerasの勉強用にロジスティック回帰と同じ構造を作って実行してみる。 【目次】 基本の整理 使用データ Keras での試し書き（モデル作成） Keras での試し書き（バリデーションデータで評価） Keras での試し書き（テストデータで予測） 参考 基本の整理 ニ…
今回は Gradient Boosting Tree（勾配ブースティング木）を試してみる。 【目次】 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 決定木を学習器としたアンサン…
今回はサポートベクターマシーンを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 Pythonでの実装コード Pythonで簡単に実装できる。 #-- 線形SVM …
今回はランダムフォレストを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 Pythonでの実装コード Pythonでは非常に簡単に実装できる。 from sklea…
前回 hpgenselect プロシジャで罰則付きロジスティック回帰を実行してみた。 【SAS】hpgenselect プロシジャ_罰則付きロジスティック回帰（LASSO） - こちにぃるの日記 目的変数が連続値の時のLASSO回帰をやってなかったのでまとめてみる。 ついでにElasticN…
特徴量選択でSTEPWISE法などのほか、LASSO（L1正則化）を視野に入れる人もいる（だろう）。 LASSOについては以前 Python の記事で触れた。 cochineal19.hatenablog.com 今回は「SASで使ったみたい」＆「ロジスティック回帰で使ってみたい」という視点でまと…
GBDT(Gradient Boosting Decision Tree)を使ってみたかったのでメモ。 KaggleのTitanicデータを予測してみる。 前処理 XGBoost (eXtreme Gradient Boosting) LightGBM CatBoost 参考 scikit-learnに準拠した model.fit(データ) で記載。 あまりパラメタいじ…
Kaggleに登録してみたので備忘録を。 初心者ということもあり、まずは王道のタイタニックデータを使った分析をしてみた。 データの前処理 データはKaggle内にあり、TrainとTestにあらかじめ分けられている。 生存有無を予測する２値分類問題であり有名なデー…
k-means法（k-平均法）についてメモ。 【目次】 k-means法 k-means++法 エルボー法によるクラスタ数の推定 Pythonコード 参考 前回取り上げた「k-近傍法」とは異なるので注意。 【機械学習_Python】k-近傍法（k-NN） - こちにぃるの日記 k-means法 データの…
k-近傍法（k-nearest neighbor algorithm、k-NN）についてメモ。 同じような名前の「k-means法」とは異なるので注意。 【目次】 k-近傍法とは ミンコフスキー距離 pythonコード 参考 k-近傍法とは 特徴空間において、距離が近い既知データから未知データのク…
主成分分析（Principal Component Analysis、PCA）についてのメモ 【目次】 主成分分析とは 主成分軸の作り方 分散の最大化（ラグランジュの未定乗数法） 第１主成分を作る場合 第ｐ主成分を作る場合 次元削減の基準 寄与率と累積寄与率 カイザー基準とスク…
SVM（サポートベクターマシーン）についてのメモ。 SVM（サポートベクターマシーン）とは 線形SVM（ハードマージン法とソフトマージン法） 主問題と双対問題 Pythonによる実行 非線形SVM（カーネルトリック） Pythonによる実行 Wineデータで実行 参考 SVM（…
決定木（Decision Tree）とランダムフォレスト（Random Forest）について。 【目次】 決定木（Decision Tree） 情報利得（Information gain） 不純度（Impurity Criterion） 分析例 決定木の応用 ランダムフォレスト（Random Forest） ランダムフォレストの…
Ridge回帰、Lasso回帰、Elastic Net回帰についてのメモ。 本記事は「機械学習」における回帰分析という視点が強め。 Ridge回帰等と区別するため、最小二乗法による一般的な回帰分析を最小二乗回帰分析（ordinary least square：OLS）と呼ぶ。 本記事では Pyt…
Rでのデータ分割の方法のメモ。 データ準備 rsample で分割 dplyr で分割 参考 データ準備 1500行の何の意味もないデータ。 ads <- data.frame(id=seq(1:1500)) rsample で分割 library(rsample) ads.sp1 <- rsample::initial_split(ads, prop=3/4) adtrain1 …
ロジスティック回帰分析について。 【目次】 計算式等 ノート プログラムコード 交差エントロピー誤差の偏微分 参考 今回はモデル作成まで。モデルの評価は別記事で。 計算式等 ロジスティック回帰は二値分類（）で用いられる分析手法。モデル式は回帰分析と…
