Python

【Python】Kerasでロジスティック回帰

Kerasの勉強用にロジスティック回帰と同じ構造を作って実行してみる。 【目次】 基本の整理 使用データ Keras での試し書き(モデル作成) Keras での試し書き(バリデーションデータで評価) Keras での試し書き(テストデータで予測) 参考 基本の整理 ニ…

【SAS】treeboostプロシジャ_Gradient Boosting Tree(勾配ブースティング木)

今回は Gradient Boosting Tree(勾配ブースティング木)を試してみる。 【目次】 Pythonでの実装コード SASでの実装コード SASでお試し(対象データ、データ加工) SASでお試し(モデル作成) SASでお試し(モデル評価) 参考 決定木を学習器としたアンサン…

【SAS】hpsvmプロシジャ_サポートベクターマシーン

今回はサポートベクターマシーンを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し(対象データ、データ加工) SASでお試し(モデル作成) SASでお試し(モデル評価) 参考 Pythonでの実装コード Pythonで簡単に実装できる。 #-- 線形SVM …

【SAS】hpforestプロシジャ_ランダムフォレスト

今回はランダムフォレストを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し(対象データ、データ加工) SASでお試し(モデル作成) SASでお試し(モデル評価) 参考 Pythonでの実装コード Pythonでは非常に簡単に実装できる。 from sklea…

【SAS】glmselectプロシジャ_Lasso回帰、ElasticNet回帰

前回 hpgenselect プロシジャで罰則付きロジスティック回帰を実行してみた。 【SAS】hpgenselect プロシジャ_罰則付きロジスティック回帰(LASSO) - こちにぃるの日記 目的変数が連続値の時のLASSO回帰をやってなかったのでまとめてみる。 ついでにElasticN…

【SAS】hpgenselect プロシジャ_罰則付きロジスティック回帰(LASSO)

特徴量選択でSTEPWISE法などのほか、LASSO(L1正則化)を視野に入れる人もいる(だろう)。 LASSOについては以前 Python の記事で触れた。 cochineal19.hatenablog.com 今回は「SASで使ったみたい」&「ロジスティック回帰で使ってみたい」という視点でまと…

【Kaggle】Titanicデータを XGBoost, LightGBM, CatBoost で分析してみる

GBDT(Gradient Boosting Decision Tree)を使ってみたかったのでメモ。 KaggleのTitanicデータを予測してみる。 前処理 XGBoost (eXtreme Gradient Boosting) LightGBM CatBoost 参考 scikit-learnに準拠した model.fit(データ) で記載。 あまりパラメタいじ…

【Kaggle】タイタニックの分析をやってみる

Kaggleに登録してみたので備忘録を。 初心者ということもあり、まずは王道のタイタニックデータを使った分析をしてみた。 データの前処理 データはKaggle内にあり、TrainとTestにあらかじめ分けられている。 生存有無を予測する2値分類問題であり有名なデー…

【機械学習_Python】k-means法

k-means法(k-平均法)についてメモ。 【目次】 k-means法 k-means++法 エルボー法によるクラスタ数の推定 Pythonコード 参考 前回取り上げた「k-近傍法」とは異なるので注意。 【機械学習_Python】k-近傍法(k-NN) - こちにぃるの日記 k-means法 データの…

【機械学習_Python】k-近傍法(k-NN)

k-近傍法(k-nearest neighbor algorithm、k-NN)についてメモ。 同じような名前の「k-means法」とは異なるので注意。 【目次】 k-近傍法とは ミンコフスキー距離 pythonコード 参考 k-近傍法とは 特徴空間において、距離が近い既知データから未知データのク…

【機械学習_Python】主成分分析(PCA)

主成分分析(Principal Component Analysis、PCA)についてのメモ 【目次】 主成分分析とは 主成分軸の作り方 分散の最大化(ラグランジュの未定乗数法) 第1主成分を作る場合 第p主成分を作る場合 次元削減の基準 寄与率と累積寄与率 カイザー基準とスク…

【機械学習_Python】サポートベクターマシーン

SVM(サポートベクターマシーン)についてのメモ。 SVM(サポートベクターマシーン)とは 線形SVM(ハードマージン法とソフトマージン法) 主問題と双対問題 Pythonによる実行 非線形SVM(カーネルトリック) Pythonによる実行 Wineデータで実行 参考 SVM(…

【機械学習_Python】決定木とランダムフォレスト

決定木(Decision Tree)とランダムフォレスト(Random Forest)について。 【目次】 決定木(Decision Tree) 情報利得(Information gain) 不純度(Impurity Criterion) 分析例 決定木の応用 ランダムフォレスト(Random Forest) ランダムフォレストの…

【機械学習_Python】Ridge回帰、Lasso回帰、Elastic Net回帰

Ridge回帰、Lasso回帰、Elastic Net回帰についてのメモ。 本記事は「機械学習」における回帰分析という視点が強め。 Ridge回帰等と区別するため、最小二乗法による一般的な回帰分析を最小二乗回帰分析(ordinary least square:OLS)と呼ぶ。 本記事では Pyt…

【Python】Pandasのmergeとconcat

Pandas の pd.merge と pd.concat の使い方の備忘録。 merge 2つのデータフレームを結合する。横結合(join)に対応。 SQLで使われる内部結合(inner join)、外部結合(outer join)、左結合(left join)、右結合(right join)と同じ機能を一通り扱える。…

【Python】DataFrame型とSeries型

PandasのDataFrame型とSeries型の備忘録 サンプルデータ import pandas as pd group1 = [4, 9, 10, 11, 12, 13, 13, 15, 18, 18, 20] group2 = [16, 16, 17, 19, 19, 22, 22, 23, 25] DataFrame型 DataFrame(データフレーム)型は表(テーブル)形式の2次…

【Python】Classの定義(イニシャライザ、継承も含めて)

クラスを試してみる。 クラス、インスタンス、インヘリタンスの定義 Pythonでの実装(クラス定義、インスタンス化) Pythonでの実装(継承) クラス、インスタンス、インヘリタンスの定義 ・クラス(class): 設計図と言われる。このクラスから実体(インス…

【Python】関数の作成(def)

関数は「 def 関数名 (引数名) 」とし、インデントを下げてコードを書く。 戻り値は「return 変数名」と書く。なくても良い。 def def_test1(i, j): x = i + j return x 実行は関数名(引数名)と書く。 val1 = def_test1(1, 2) print(val1) -- out -- 3 も…

【Python】条件分岐(if文)やループ処理(while文、for文)

Pythonの基礎。 条件分岐やループ処理について。 if 文 if 文は他の言語と大体同じ。ただし、else if は elif と書く。 a=1 if a==0: print(0) elif a==1: print(1) else: print(2) while 文 while 文は特記なし。よくある形。 cnt=3 while cnt != 0: print(…

【Python】リスト型と辞書型

Pythonを初めるきっかけができたので、ちょくちょくPythonについて取り上げたい。 リスト型と辞書型について 元々SAS、SQL、VBAを中心に使っていたので、Rを使い始めたときにリスト型の概念に初めて触れた。 配列(Array)っぽいと言えばその通りなので特に…

【統計】共分散分析(ANCOVA)

本記事では、共分散分析について記載します。 【目次】 帰無仮説、対立仮設 計算式等 プログラムコード 雑談 参考 共分散分析は、分散分析と重回帰分析を組み合わせた手法と言われます。分散分析では説明変数に集団などカテゴリー変数(要因)のみを投入しま…

【統計】二元配置分散分析(Two-way ANOVA)

本記事では二元配置分散分析(Two-way ANOVA)について記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 雑談 参考 前回の 一元配置分散分析 は1要因に対する分析手法でした。2要因の場合は、二元配置分散分析を用います。※本…

【統計】ロジスティック回帰分析(ホスマー・レメショウ検定、ROC、AUC等)

本記事では、ロジスティック回帰の評価について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 前回記事で理論部分を取り扱いましたが、続きでモデルの評価方法を取り扱います。 cochineal19.hatenablog.com 計算式等 モデル評価には、…

【統計】ロジスティック回帰分析

本記事では、ロジスティック回帰分析について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 今回はモデル作成までです。モデルの評価は別記事で扱います。 計算式等 ロジスティック回帰は二値分類()で用いられる分析手法です。モデル…

【統計】重回帰分析

本記事では、重回帰分析について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 単回帰分析については次の記事を参照ください。 cochineal19.hatenablog.com 計算式等 重回帰分析は、多変量 { } の関係を直線で求める分析方法です。モデ…

【統計】単回帰分析

本記事では、単回帰分析について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 計算式等 単回帰分析は、2変量 {x,y} の関係を直線(一次式)で求める分析方法です。モデル、式は次のとおりです。 ■ 単回帰モデル ■ 単回帰式 は切片(i…

【統計】連関係数(ファイ、ピアソン、クラメール)

本記事では、クロス表の連関係数について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 計算式等 次のクロス表で考えます。 Outcome Total 0 1 Factor 1 a b AB 2 c d CD Total AC BD N ファイ係数(Phi coefficient) -1~1の値を取…

【統計】相関係数(ピアソン、スピアマン、ケンドール)

本記事では、相関係数について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 計算式等 2変量を x, y とし、x の順位を z、y の順位を w として考えます。タイ(同一順位)は平均順位を用います。 ピアソンの積率相関係数(Pearson prod…

【統計】クラスカル・ウォリス検定(Kruskal-Wallis test)

本記事では、クラスカル・ウォリス検定(Kruskal-Wallis test)について記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 雑談 参考 Wilcoxonの順位和検定とマンホイットニーのU検定(以降、Wicoxonの順位和検定等と言います)に…

【統計】Wilcoxonの順位和検定とマンホイットニーのU検定

本記事では、Wilcoxonの順位和検定(Wilcoxon rank sum test)とマンホイットニーのU検定(Mann–Whitney U test)について記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 雑談 参考 両方とも2標本の分布の位置のズレを評価す…

本ブログは個人メモです。 本ブログの内容によって生じた損害等の一切の責任を負いかねますのでご了承ください。