機械学習

【SAS】SASで実装できる機械学習

まとめ用。随時更新。 教師あり学習 最小二乗回帰(OLS:Ordinary Least Squares regression、線形回帰) ロジスティック回帰(Logistic regression) 四分位回帰(Quantile regression) サポートベクターマシーン(SVM: Support vector machine) 決定木(…

【Python】Kerasでロジスティック回帰

Kerasの勉強用にロジスティック回帰と同じ構造を作って実行してみる。 【目次】 基本の整理 使用データ Keras での試し書き(モデル作成) Keras での試し書き(バリデーションデータで評価) Keras での試し書き(テストデータで予測) 参考 基本の整理 ニ…

【SAS】treeboostプロシジャ_Gradient Boosting Tree(勾配ブースティング木)

今回は Gradient Boosting Tree(勾配ブースティング木)を試してみる。 【目次】 Pythonでの実装コード SASでの実装コード SASでお試し(対象データ、データ加工) SASでお試し(モデル作成) SASでお試し(モデル評価) 参考 決定木を学習器としたアンサン…

【SAS】hpsvmプロシジャ_サポートベクターマシーン

今回はサポートベクターマシーンを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し(対象データ、データ加工) SASでお試し(モデル作成) SASでお試し(モデル評価) 参考 Pythonでの実装コード Pythonで簡単に実装できる。 #-- 線形SVM …

【SAS】hpforestプロシジャ_ランダムフォレスト

今回はランダムフォレストを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し(対象データ、データ加工) SASでお試し(モデル作成) SASでお試し(モデル評価) 参考 Pythonでの実装コード Pythonでは非常に簡単に実装できる。 from sklea…

【SAS】glmselectプロシジャ_Lasso回帰、ElasticNet回帰

前回 hpgenselect プロシジャで罰則付きロジスティック回帰を実行してみた。 【SAS】hpgenselect プロシジャ_罰則付きロジスティック回帰(LASSO) - こちにぃるの日記 目的変数が連続値の時のLASSO回帰をやってなかったのでまとめてみる。 ついでにElasticN…

【SAS】hpgenselect プロシジャ_罰則付きロジスティック回帰(LASSO)

特徴量選択でSTEPWISE法などのほか、LASSO(L1正則化)を視野に入れる人もいる(だろう)。 LASSOについては以前 Python の記事で触れた。 cochineal19.hatenablog.com 今回は「SASで使ったみたい」&「ロジスティック回帰で使ってみたい」という視点でまと…

【Kaggle】Titanicデータを XGBoost, LightGBM, CatBoost で分析してみる

GBDT(Gradient Boosting Decision Tree)を使ってみたかったのでメモ。 KaggleのTitanicデータを予測してみる。 前処理 XGBoost (eXtreme Gradient Boosting) LightGBM CatBoost 参考 scikit-learnに準拠した model.fit(データ) で記載。 あまりパラメタいじ…

【Kaggle】タイタニックの分析をやってみる

Kaggleに登録してみたので備忘録を。 初心者ということもあり、まずは王道のタイタニックデータを使った分析をしてみた。 データの前処理 データはKaggle内にあり、TrainとTestにあらかじめ分けられている。 生存有無を予測する2値分類問題であり有名なデー…

【機械学習_Python】k-means法

k-means法(k-平均法)についてメモ。 【目次】 k-means法 k-means++法 エルボー法によるクラスタ数の推定 Pythonコード 参考 前回取り上げた「k-近傍法」とは異なるので注意。 【機械学習_Python】k-近傍法(k-NN) - こちにぃるの日記 k-means法 データの…

【機械学習_Python】k-近傍法(k-NN)

k-近傍法(k-nearest neighbor algorithm、k-NN)についてメモ。 同じような名前の「k-means法」とは異なるので注意。 【目次】 k-近傍法とは ミンコフスキー距離 pythonコード 参考 k-近傍法とは 特徴空間において、距離が近い既知データから未知データのク…

【機械学習_Python】主成分分析(PCA)

主成分分析(Principal Component Analysis、PCA)についてのメモ 【目次】 主成分分析とは 主成分軸の作り方 分散の最大化(ラグランジュの未定乗数法) 第1主成分を作る場合 第p主成分を作る場合 次元削減の基準 寄与率と累積寄与率 カイザー基準とスク…

【機械学習_Python】サポートベクターマシーン

SVM(サポートベクターマシーン)についてのメモ。 SVM(サポートベクターマシーン)とは 線形SVM(ハードマージン法とソフトマージン法) 主問題と双対問題 Pythonによる実行 非線形SVM(カーネルトリック) Pythonによる実行 Wineデータで実行 参考 SVM(…

【機械学習_Python】決定木とランダムフォレスト

決定木(Decision Tree)とランダムフォレスト(Random Forest)について。 【目次】 決定木(Decision Tree) 情報利得(Information gain) 不純度(Impurity Criterion) 分析例 決定木の応用 ランダムフォレスト(Random Forest) ランダムフォレストの…

【機械学習_Python】Ridge回帰、Lasso回帰、Elastic Net回帰

Ridge回帰、Lasso回帰、Elastic Net回帰についてのメモ。 本記事は「機械学習」における回帰分析という視点が強め。 Ridge回帰等と区別するため、最小二乗法による一般的な回帰分析を最小二乗回帰分析(ordinary least square:OLS)と呼ぶ。 本記事では Pyt…

【R、機械学習メモ】Rでのデータ分割

Rでのデータ分割の方法のメモ。 データ準備 rsample で分割 dplyr で分割 参考 データ準備 1500行の何の意味もないデータ。 ads <- data.frame(id=seq(1:1500)) rsample で分割 library(rsample) ads.sp1 <- rsample::initial_split(ads, prop=3/4) adtrain1 …

【統計】ロジスティック回帰分析

本記事では、ロジスティック回帰分析について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 今回はモデル作成までです。モデルの評価は別記事で扱います。 計算式等 ロジスティック回帰は二値分類()で用いられる分析手法です。モデル…

本ブログは個人メモです。 本ブログの内容によって生じた損害等の一切の責任を負いかねますのでご了承ください。