Kerasの勉強用にロジスティック回帰と同じ構造を作って実行してみる。 【目次】 基本の整理 使用データ Keras での試し書き（モデル作成） Keras での試し書き（バリデーションデータで評価） Keras での試し書き（テストデータで予測） 参考 基本の整理 ニ…

今回は Gradient Boosting Tree（勾配ブースティング木）を試してみる。 【目次】 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 決定木を学習器としたアンサン…

今回はサポートベクターマシーンを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 Pythonでの実装コード Pythonで簡単に実装できる。 #-- 線形SVM …

今回はランダムフォレストを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 Pythonでの実装コード Pythonでは非常に簡単に実装できる。 from sklea…

前回 hpgenselect プロシジャで罰則付きロジスティック回帰を実行してみた。 【SAS】hpgenselect プロシジャ_罰則付きロジスティック回帰（LASSO） - こちにぃるの日記 目的変数が連続値の時のLASSO回帰をやってなかったのでまとめてみる。 ついでにElasticN…

特徴量選択でSTEPWISE法などのほか、LASSO（L1正則化）を視野に入れる人もいる（だろう）。 LASSOについては以前 Python の記事で触れた。 cochineal19.hatenablog.com 今回は「SASで使ったみたい」＆「ロジスティック回帰で使ってみたい」という視点でまと…

GBDT(Gradient Boosting Decision Tree)を使ってみたかったのでメモ。 KaggleのTitanicデータを予測してみる。 前処理 XGBoost (eXtreme Gradient Boosting) LightGBM CatBoost 参考 scikit-learnに準拠した model.fit(データ) で記載。 あまりパラメタいじ…

Kaggleに登録してみたので備忘録を。 初心者ということもあり、まずは王道のタイタニックデータを使った分析をしてみた。 データの前処理 データはKaggle内にあり、TrainとTestにあらかじめ分けられている。 生存有無を予測する２値分類問題であり有名なデー…

k-means法（k-平均法）についてメモ。 【目次】 k-means法 k-means++法 エルボー法によるクラスタ数の推定 Pythonコード 参考 前回取り上げた「k-近傍法」とは異なるので注意。 【機械学習_Python】k-近傍法（k-NN） - こちにぃるの日記 k-means法 データの…

k-近傍法（k-nearest neighbor algorithm、k-NN）についてメモ。 同じような名前の「k-means法」とは異なるので注意。 【目次】 k-近傍法とは ミンコフスキー距離 pythonコード 参考 k-近傍法とは 特徴空間において、距離が近い既知データから未知データのク…

主成分分析（Principal Component Analysis、PCA）についてのメモ 【目次】 主成分分析とは 主成分軸の作り方 分散の最大化（ラグランジュの未定乗数法） 第１主成分を作る場合 第ｐ主成分を作る場合 次元削減の基準 寄与率と累積寄与率 カイザー基準とスク…

SVM（サポートベクターマシーン）についてのメモ。 SVM（サポートベクターマシーン）とは 線形SVM（ハードマージン法とソフトマージン法） 主問題と双対問題 Pythonによる実行 非線形SVM（カーネルトリック） Pythonによる実行 Wineデータで実行 参考 SVM（…

決定木（Decision Tree）とランダムフォレスト（Random Forest）について。 【目次】 決定木（Decision Tree） 情報利得（Information gain） 不純度（Impurity Criterion） 分析例 決定木の応用 ランダムフォレスト（Random Forest） ランダムフォレストの…

Ridge回帰、Lasso回帰、Elastic Net回帰についてのメモ。 本記事は「機械学習」における回帰分析という視点が強め。 Ridge回帰等と区別するため、最小二乗法による一般的な回帰分析を最小二乗回帰分析（ordinary least square：OLS）と呼ぶ。 本記事では Pyt…

Pandas の pd.merge と pd.concat の使い方の備忘録。 merge 2つのデータフレームを結合する。横結合（join）に対応。 SQLで使われる内部結合（inner join）、外部結合（outer join）、左結合（left join）、右結合（right join）と同じ機能を一通り扱える。…

PandasのDataFrame型とSeries型の備忘録 サンプルデータ import pandas as pd group1 = [4, 9, 10, 11, 12, 13, 13, 15, 18, 18, 20] group2 = [16, 16, 17, 19, 19, 22, 22, 23, 25] DataFrame型 DataFrame（データフレーム）型は表（テーブル）形式の２次…

クラスを試してみる。 クラス、インスタンス、インヘリタンスの定義 Pythonでの実装（クラス定義、インスタンス化） Pythonでの実装（継承） クラス、インスタンス、インヘリタンスの定義 ・クラス（class）： 設計図と言われる。このクラスから実体（インス…

関数は「 def 関数名 (引数名) 」とし、インデントを下げてコードを書く。 戻り値は「return 変数名」と書く。なくても良い。 def def_test1(i, j): x = i + j return x 実行は関数名（引数名）と書く。 val1 = def_test1(1, 2) print(val1) -- out -- 3 も…

Pythonの基礎。 条件分岐やループ処理について。 if 文 if 文は他の言語と大体同じ。ただし、else if は elif と書く。 a=1 if a==0: print(0) elif a==1: print(1) else: print(2) while 文 while 文は特記なし。よくある形。 cnt=3 while cnt != 0: print(…

Pythonを初めるきっかけができたので、ちょくちょくPythonについて取り上げたい。 リスト型と辞書型について 元々SAS、SQL、VBAを中心に使っていたので、Rを使い始めたときにリスト型の概念に初めて触れた。 配列（Array）っぽいと言えばその通りなので特に…

共分散分析についてめも。 【目次】 帰無仮説、対立仮設 計算式等 計算例 プログラムコード 交互作用項での平行の評価 参考 共分散分析は、分散分析と重回帰分析を組み合わせた手法と言われる。分散分析では説明変数に集団などカテゴリー変数（要因）のみを…

二元配置分散分析（Two-way ANOVA）について。 【目次】 帰無仮説、対立仮設 計算式等 計算例 プログラムコード 交互作用のイメージ 参考 一元配置分散分析 は１要因に対する分析手法。２要因の場合は、二元配置分散分析を用いる。※本記事の二元配置分散分析…

ロジスティック回帰の評価について。 【目次】 計算式等 計算例 プログラムコード 参考 前回で理論部分を取り扱った。その続きでモデルの評価方法。 cochineal19.hatenablog.com 計算式等 モデル評価には、大きく分けて「Discrimination（判別能力）」と「Ca…

ロジスティック回帰分析について。 【目次】 計算式等 ノート プログラムコード 交差エントロピー誤差の偏微分 参考 今回はモデル作成まで。モデルの評価は別記事で。 計算式等 ロジスティック回帰は二値分類（）で用いられる分析手法。モデル式は回帰分析と…

重回帰分析について。 【目次】 計算式等 ノート プログラムコード 偏回帰係数の詳細 参考 単回帰分析については次の記事。 cochineal19.hatenablog.com 計算式等 重回帰分析は、多変量 { } の関係を直線で求める分析方法。モデルは次のとおり。 ■ 重回帰モ…

単回帰分析について。 【目次】 計算式等 ノート プログラムコード 回帰係数の詳細 参考 計算式等 単回帰分析は、２変量 {x,y} の関係を直線（一次式）で求める分析方法。モデル、式は次のとおり。 ■ 単回帰モデル ■ 単回帰式 は切片（intercept）、 は回帰…

クロス表の連関係数について記載。 【目次】 計算式等 計算例 プログラムコード 参考 計算式等 次のクロス表で考える。 Outcome Total 0 1 Factor 1 a b AB 2 c d CD Total AC BD N ファイ係数（Phi coefficient） -1～１の値を取り、絶対値が１に近いほど関…

相関係数について。 【目次】 計算式等 計算例 プログラムコード ピアソンの相関係数と順位相関係数 参考 計算式等 2変量を x, y とし、x の順位を z、y の順位を w として考える。タイ（同一順位）は平均順位を用いる。 ピアソンの積率相関係数（Pearson pr…

クラスカル・ウォリス検定（Kruskal-Wallis test）について。 【目次】 帰無仮説、対立仮設 計算式等 計算例 プログラムコード 2標本でもKW検定 参考 クラスカル・ウォリス検定（KW検定）は３標本以上を評価するノンパラメトリックな手法。Wilcoxonの順位和…

Wilcoxonの順位和検定（Wilcoxon rank sum test）とマンホイットニーのU検定（Mann–Whitney U test）について。 【目次】 帰無仮説、対立仮設 計算式等 計算例 プログラムコード W統計量とU統計量の関係 参考 両方とも２標本の分布の位置のズレを評価するノ…