パネルデータ分析のメモ。 【目次】 クロスセクション、時系列、パネルデータの違い 固定効果モデルと変量効果モデル ハウスマン検定 プログラムコード 参考 クロスセクション、時系列、パネルデータの違い クロスセクションデータ（Cross Section Data） 特…

Excel文字切れ対策のめも SASバージョン VBAでの文字切れ対策記事(2020年11月)のあと直ぐ書きたかったが、3年以上寝かせていた。 基本的な考え方はVBAでの文字切れ対策記事を参照。 cochineal19.hatenablog.com %let WB=ファイル名.xlsx; %let WS=シート名; …

ARIMAプロシジャのメモ。 基本はRを使っているので初歩。 【目次】 Auto ARIMA ARIMA(p,0,0)：AR(p)モデル ARIMA(0,0,q)：MA(q)モデル ARIMA(p,0,q)：ARMA(p,q)モデル ARIMA(p,d,q)：ARIMA(p,d,q)モデル ARIMAXモデル SARIMAモデル SARIMAXモデル 将来予測 …

割合の信頼区間について 【目次】 計算式 計算例 コード 被覆確率 (Coverage Probability) 参考 計算式 Wald (正規近似を用いた方法) 二項分布 B (n, p) は n が十分大きいとき、平均 np , 分散 np(1-p) の正規分布に近づく（ラプラスの定理）。 一般的に、n…

SASとRでの使い方メモ。 RDescTools::BinomDiffCImethod = TYPE SASPROC FREQRISKDIFF (CL = TYPE) Agresti-Caffo "ac" AC Brown, Li's Jeffreys "blj" - Farrington and Manning - FM Haldane "hal" - Hauck-Anderson "ha" HA Jeffreys-Perks "jp" - Mee "m…

【目次】 ロジスティック回帰の特徴 ロジスティック回帰の尤度・誤差関数 ロジスティック回帰のFisher Scoringによる最適化 手計算 参考 以下でロジスティック回帰に触れていたがFisher Scoringにて再び。 【統計】ロジスティック回帰分析 - こちにぃるの日…

Wilcoxonの符号付き順位検定のExact法（正確確率検定）のメモ。 【目次】 計算例 プログラムコード 参考 正規近似とT近似での検定は以下記事。 cochineal19.hatenablog.com 計算例 簡単なデータを準備。 下図は正規近似・T近似での符号付き順位検定の記事で…

Wilcoxonの順位和検定のExact法（正確確率検定）のメモ。 【目次】 計算例 プログラムコード 参考 正規近似とT近似での検定は以下記事。 cochineal19.hatenablog.com 計算例 簡単なデータを準備。 A群が３例で順位和=７、B群が４例で順位和=21。 観測値の順…

ウィルコクソンの符号付き順位検定（Wilcoxon Signed Rank Test）のメモ。 ノンパラメトリックな対応のある差の検定（２時点）。 【目次】 帰無仮説、対立仮設 計算式等 計算例 プログラムコード 参考 正規近似、T近似について。exactは記載なし。 帰無仮説…

一般化線形混合モデル (Generalized Linear Mixed Model, GLMM) のメモ。 マルチレベル分析とも言う。 【目次】 計算式 プログラムコード G行列の構造 R行列の構造（反復測定の誤差構造） 参考 ・線形回帰モデルでは、誤差が互いに独立に正規分布に従うこと…

一般化線形モデル（Generalized Linear Model: GLM）のメモ。 【目次】 計算式 GLMの例 参考資料 ・線形回帰モデルでは、誤差が互いに独立に正規分布に従うことを前提としている（不遍性・等分散性・独立性・正規性）。 ・そのため誤差構造が正規分布ではな…

コックス回帰分析（Cox Regression Analysis）のメモ。 【目次】 計算式等 Rでの実行 プログラムコード 参考 コックス回帰分析はハザード関数を目的変数とした回帰分析手法。コックス比例ハザードモデル、比例ハザードモデルなどとも呼ばれる。 任意の共変量…

フリードマン検定（Friedman test）のメモ。 ノンパラメトリックな対応のある差の検定（３時点以上）。 【目次】 帰無仮説、対立仮設 計算式等 計算例 プログラムコード 参考 帰無仮説、対立仮設 ・帰無仮説 すべての時点に差がない ・対立仮設 何れかの時点…

Two Way Repeated Measures ANOVA（Two Way RMANOVA、二元配置反復測定分散分析）のメモ。 実解析ではMixedモデルを使う。学習のためのメモ。 【目次】 帰無仮説、対立仮設 計算式等 プログラムコード 参考 帰無仮説、対立仮設 ・帰無仮説 要因により平均値…

One Way Repeated Measures ANOVA（One Way RMANOVA、一元配置反復測定分散分析）のメモ。 対応のある平均の差の検定（３時点以上）。 【目次】 帰無仮説、対立仮設 計算式等 プログラムコード 参考 帰無仮説、対立仮設 ・帰無仮説 すべての時点に差がない（…

マクネマー検定のメモ。 対応のある比率の差の検定でノンパラメトリックな手法。 【目次】 帰無仮説、対立仮設 計算式等 プログラムコード 参考 帰無仮説、対立仮設 次のクロス表を考える。薬剤投与前後での効果有無などの２×２データ。 After Total Yes No …

対応のあるt検定のメモ。 帰無仮説、対立仮設 計算式 プログラムコード 参考 帰無仮説、対立仮設 ・帰無仮説 ：前後に差がない（） ・対立仮設 ：前後に差がある（） つまり、関心のある時点での変化量がゼロかどうか。 計算式 ※ｄ=前後の差 下記は架空デー…

まとめ用。随時更新。 教師あり学習 最小二乗回帰（OLS：Ordinary Least Squares regression、線形回帰） ロジスティック回帰（Logistic regression） 四分位回帰（Quantile regression） サポートベクターマシーン（SVM: Support vector machine） 決定木（…

今回は Gradient Boosting Tree（勾配ブースティング木）を試してみる。 【目次】 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 決定木を学習器としたアンサン…

今回はサポートベクターマシーンを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 Pythonでの実装コード Pythonで簡単に実装できる。 #-- 線形SVM …

今回はランダムフォレストを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 Pythonでの実装コード Pythonでは非常に簡単に実装できる。 from sklea…

前回 hpgenselect プロシジャで罰則付きロジスティック回帰を実行してみた。 【SAS】hpgenselect プロシジャ_罰則付きロジスティック回帰（LASSO） - こちにぃるの日記 目的変数が連続値の時のLASSO回帰をやってなかったのでまとめてみる。 ついでにElasticN…

特徴量選択でSTEPWISE法などのほか、LASSO（L1正則化）を視野に入れる人もいる（だろう）。 LASSOについては以前 Python の記事で触れた。 cochineal19.hatenablog.com 今回は「SASで使ったみたい」＆「ロジスティック回帰で使ってみたい」という視点でまと…

地味に困ったのでメモ（きっと他にも困る人がいるはず）。 自分のPCからアップロード Work領域にインポート 参考 自分のPCからアップロード SASオンデマンド上で [サーバーファイルとフォルダ] ＞ [odaws##-XXXX##] ＞ [ファイル（ホーム）] を選択。 ツール…

executeの使い方の備忘録。 やりたいこと： 動的に生成したコードを実行したい。 call execute(コード) でいける。 data _null_; call execute("data a; a=1; run;"); run; マクロ変数を投入することもできる。 %let CODE1 = ' proc sql; create table a ( c…

文字列に関する記事はあまりなさそうだったので備忘録がてら。 個人メモで解説しないです。 やりたいこと： * 文字型 ⇒ 複数行を1行にまとめる。 * 数値型 ⇒ 累積値を計算する。 サンプルデータ data a; input a $ b; cards; AA 1 BB 2 CC 3 ; run; コード d…

ログランク検定、重み付きログランク検定たちについてのメモ。 【目次】 計算式等 ノート サンプルデータ まずは手計算してみる SASでの実行 Rでの実行 プログラムコード 参考 前回のKaplan-meier 法に続く内容。 cochineal19.hatenablog.com 計算式等 先に…

カプランマイヤー法（Kaplan-meier method）についてのメモ。 【目次】 計算式等 ノート 打ち切りとは サンプルデータ 手計算してみる Rでの実行 SASでの実行 プログラムコード 参考 累積生存率とその信頼区間について記載する。 信頼区間はRで扱えるPlain（…

共分散分析についてめも。 【目次】 帰無仮説、対立仮設 計算式等 計算例 プログラムコード 交互作用項での平行の評価 参考 共分散分析は、分散分析と重回帰分析を組み合わせた手法と言われる。分散分析では説明変数に集団などカテゴリー変数（要因）のみを…

二元配置分散分析（Two-way ANOVA）について。 【目次】 帰無仮説、対立仮設 計算式等 計算例 プログラムコード 交互作用のイメージ 参考 一元配置分散分析 は１要因に対する分析手法。２要因の場合は、二元配置分散分析を用いる。※本記事の二元配置分散分析…