SAS

【統計】一般化線形混合モデル(GLMM)

一般化線形混合モデル (Generalized Linear Mixed Model, GLMM) の備忘録。 一般化線形モデル (Generalized Linear Model, GLM) との違いだったり、SAS や R での使い方だったり。 GLM と GLMM GLM GLMM SAS (proc mixed) R (lmer, nlme) 参考 GLM と GLMM G…

【SAS】SASで実装できる機械学習

まとめ用。随時更新。 教師あり学習 最小二乗回帰(OLS:Ordinary Least Squares regression、線形回帰) ロジスティック回帰(Logistic regression) 四分位回帰(Quantile regression) サポートベクターマシーン(SVM: Support vector machine) 決定木(…

【SAS】treeboostプロシジャ_Gradient Boosting Tree(勾配ブースティング木)

今回は Gradient Boosting Tree(勾配ブースティング木)を試してみる。 【目次】 Pythonでの実装コード SASでの実装コード SASでお試し(対象データ、データ加工) SASでお試し(モデル作成) SASでお試し(モデル評価) 参考 決定木を学習器としたアンサン…

【SAS】hpsvmプロシジャ_サポートベクターマシーン

今回はサポートベクターマシーンを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し(対象データ、データ加工) SASでお試し(モデル作成) SASでお試し(モデル評価) 参考 Pythonでの実装コード Pythonで簡単に実装できる。 #-- 線形SVM …

【SAS】hpforestプロシジャ_ランダムフォレスト

今回はランダムフォレストを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し(対象データ、データ加工) SASでお試し(モデル作成) SASでお試し(モデル評価) 参考 Pythonでの実装コード Pythonでは非常に簡単に実装できる。 from sklea…

【SAS】glmselectプロシジャ_Lasso回帰、ElasticNet回帰

前回 hpgenselect プロシジャで罰則付きロジスティック回帰を実行してみた。 【SAS】hpgenselect プロシジャ_罰則付きロジスティック回帰(LASSO) - こちにぃるの日記 目的変数が連続値の時のLASSO回帰をやってなかったのでまとめてみる。 ついでにElasticN…

【SAS】hpgenselect プロシジャ_罰則付きロジスティック回帰(LASSO)

特徴量選択でSTEPWISE法などのほか、LASSO(L1正則化)を視野に入れる人もいる(だろう)。 LASSOについては以前 Python の記事で触れた。 cochineal19.hatenablog.com 今回は「SASで使ったみたい」&「ロジスティック回帰で使ってみたい」という視点でまと…

【SASオンデマンド】CSVファイル等を自分のPCからアップロードする

SAS

地味に困ったのでメモ(きっと他にも困る人がいるはず)。 自分のPCからアップロード Work領域にインポート 参考 自分のPCからアップロード SASオンデマンド上で [サーバーファイルとフォルダ] > [odaws##-XXXX##] > [ファイル(ホーム)] を選択。 ツール…

【SAS】call execute

SAS

executeの使い方の備忘録。 やりたいこと: 動的に生成したコードを実行したい。 call execute(コード) でいける。 data _null_; call execute("data a; a=1; run;"); run; マクロ変数を投入することもできる。 %let CODE1 = ' proc sql; create table a ( c…

【SAS】retainステートメント

SAS

文字列に関する記事はあまりなさそうだったので備忘録がてら。 個人メモで解説しないです。 やりたいこと: * 文字型 ⇒ 複数行を1行にまとめる。 * 数値型 ⇒ 累積値を計算する。 サンプルデータ data a; input a $ b; cards; AA 1 BB 2 CC 3 ; run; コード d…

【統計】生存時間解析 ログランク検定、一般化Wilcoxon検定(Gehan's Wilcoxon検定)等

ログランク検定、重み付きログランク検定たちについてのメモ。 【目次】 計算式等 ノート サンプルデータ まずは手計算してみる SASでの実行 Rでの実行 プログラムコード 参考 前回のKaplan-meier 法に続く内容。 cochineal19.hatenablog.com 計算式等 先に…

【統計】生存時間解析 カプランマイヤー法(Kaplan-meier method)

カプランマイヤー法(Kaplan-meier method)についてのメモ。 【目次】 計算式等 ノート 打ち切りとは サンプルデータ 手計算してみる Rでの実行 SASでの実行 プログラムコード 参考 累積生存率とその信頼区間について記載する。 信頼区間はRで扱えるPlain(…

【統計】共分散分析(ANCOVA)

本記事では、共分散分析について記載します。 【目次】 帰無仮説、対立仮設 計算式等 プログラムコード 雑談 参考 共分散分析は、分散分析と重回帰分析を組み合わせた手法と言われます。分散分析では説明変数に集団などカテゴリー変数(要因)のみを投入しま…

【統計】二元配置分散分析(Two-way ANOVA)

本記事では二元配置分散分析(Two-way ANOVA)について記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 雑談 参考 前回の 一元配置分散分析 は1要因に対する分析手法でした。2要因の場合は、二元配置分散分析を用います。※本…

【統計】ロジスティック回帰分析(ホスマー・レメショウ検定、ROC、AUC等)

本記事では、ロジスティック回帰の評価について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 前回記事で理論部分を取り扱いましたが、続きでモデルの評価方法を取り扱います。 cochineal19.hatenablog.com 計算式等 モデル評価には、…

【統計】ロジスティック回帰分析

本記事では、ロジスティック回帰分析について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 今回はモデル作成までです。モデルの評価は別記事で扱います。 計算式等 ロジスティック回帰は二値分類()で用いられる分析手法です。モデル…

【統計】重回帰分析

本記事では、重回帰分析について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 単回帰分析については次の記事を参照ください。 cochineal19.hatenablog.com 計算式等 重回帰分析は、多変量 { } の関係を直線で求める分析方法です。モデ…

【統計】単回帰分析

本記事では、単回帰分析について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 計算式等 単回帰分析は、2変量 {x,y} の関係を直線(一次式)で求める分析方法です。モデル、式は次のとおりです。 ■ 単回帰モデル ■ 単回帰式 は切片(i…

【統計】連関係数(ファイ、ピアソン、クラメール)

本記事では、クロス表の連関係数について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 計算式等 次のクロス表で考えます。 Outcome Total 0 1 Factor 1 a b AB 2 c d CD Total AC BD N ファイ係数(Phi coefficient) -1~1の値を取…

【統計】相関係数(ピアソン、スピアマン、ケンドール)

本記事では、相関係数について記載します。 【目次】 計算式等 ノート プログラムコード 雑談 参考 計算式等 2変量を x, y とし、x の順位を z、y の順位を w として考えます。タイ(同一順位)は平均順位を用います。 ピアソンの積率相関係数(Pearson prod…

【統計】クラスカル・ウォリス検定(Kruskal-Wallis test)

本記事では、クラスカル・ウォリス検定(Kruskal-Wallis test)について記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 雑談 参考 Wilcoxonの順位和検定とマンホイットニーのU検定(以降、Wicoxonの順位和検定等と言います)に…

【統計】Wilcoxonの順位和検定とマンホイットニーのU検定

本記事では、Wilcoxonの順位和検定(Wilcoxon rank sum test)とマンホイットニーのU検定(Mann–Whitney U test)について記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 雑談 参考 両方とも2標本の分布の位置のズレを評価す…

【統計】コクラン-アーミテージ検定(Cochran-Armitage test)

本記事では、Cochran-Armitage test(コクラン-アーミテージ検定またはCA検定)について記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 雑談 参考 CA検定は、割合の増加/減少傾向を評価する傾向性の検定です。 検定の中身は、…

【統計】マンテル・ヘンツェルの検定(Mantel-Haenszel test, Cochran-Mantel-Haenszel test)

本記事では、マンテル・ヘンツェルの検定(Mantel-Haenszel test)について記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 雑談 参考 マンテル・ヘンツェルの検定は、 検定やFisher's Exact testと同じく、カテゴリーデータの…

【統計】Fisher's exact test

本記事では、Fisher's exact testについて記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 雑談 参考 Fisher's Exact testは 検定と同じく、カテゴリーデータの独立性を評価する手法です。 cochineal19.hatenablog.com 本手法は…

【統計】χ二乗検定

本記事では、独立性の 検定について記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 雑談 参考 検定はカテゴリデータのクロス表(分割表、クロステーブル)で用いられる検定です。 帰無仮説、対立仮設 帰無仮説 対立仮設 要因と…

【統計】一元配置分散分析(One-way ANOVA)

本記事では一元配置分散分析(One-way ANOVA)について記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 雑談 参考 前回の t検定 は2群の平均の差を評価するものでした。3群以上の場合は、分散分析(ANOVA:ANalysis Of VArian…

【統計】t検定

本記事では、2標本の平均の差の検定(t検定)について記載します。 【目次】 帰無仮説、対立仮設 計算式等 ノート プログラムコード 参考 帰無仮説、対立仮設 帰無仮説 対立仮設 群間の平均に差があるかどうかを評価します。帰無仮設の「群aと群bの平均に差…

本ブログは個人メモです。 本ブログの内容によって生じた損害等の一切の責任を負いかねますのでご了承ください。