パネルデータ分析のメモ。その２ 【目次】 使用するデータ パネルデータ分析の実装 推定モデルでの予測 参考 以下で基本部分を取りまとめた、今回は実データで推定してみる。 【統計】時系列分析（パネルデータ分析） - こちにぃるの日記 使用するデータ Rの…
パネルデータ分析のメモ。 【目次】 クロスセクション、時系列、パネルデータの違い 固定効果モデルと変量効果モデル ハウスマン検定 プログラムコード 参考 クロスセクション、時系列、パネルデータの違い クロスセクションデータ（Cross Section Data） 特…
Excel文字切れ対策のめも SASバージョン VBAでの文字切れ対策記事(2020年11月)のあと直ぐ書きたかったが、3年以上寝かせていた。 基本的な考え方はVBAでの文字切れ対策記事を参照。 cochineal19.hatenablog.com %let WB=ファイル名.xlsx; %let WS=シート名; …
KFAS（カルマンフィルタ＆スムーザ）での状態空間モデルについてのメモ。その２ 【目次】 使用するデータ 状態空間モデルの実装 モデル評価 参考 以下で基本部分を取りまとめた、今回は実データで推定してみる。 【統計】時系列分析（状態空間モデル、KFAS）…
KFAS（カルマンフィルタ＆スムーザ）での状態空間モデルについてのメモ。 まとめておきたかったが、ずっと手を付けられず。。 分かっていない部分も多いのであくまで個人備忘録として。 個人的に野村先生の書籍が大変参考になった。 【目次】 状態空間モデル…
これまでJscriptを使ってRを実行する方法は以下記事で触れていたが、バッチ(.bat)での実行方法の記事は無かったので作成。 cochineal19.hatenablog.com cochineal19.hatenablog.com Rスクリプトをこのバッチファイルにドラッグ＆ドロップするとRが実行され、…
ARIMAプロシジャのメモ。 基本はRを使っているので初歩。 【目次】 Auto ARIMA ARIMA(p,0,0)：AR(p)モデル ARIMA(0,0,q)：MA(q)モデル ARIMA(p,0,q)：ARMA(p,q)モデル ARIMA(p,d,q)：ARIMA(p,d,q)モデル ARIMAXモデル SARIMAモデル SARIMAXモデル 将来予測 …
割合の信頼区間について 【目次】 計算式 計算例 コード 被覆確率 (Coverage Probability) 参考 計算式 Wald (正規近似を用いた方法) 二項分布 B (n, p) は n が十分大きいとき、平均 np , 分散 np(1-p) の正規分布に近づく（ラプラスの定理）。 一般的に、n…
SASとRでの使い方メモ。 RDescTools::BinomDiffCImethod = TYPE SASPROC FREQRISKDIFF (CL = TYPE) Agresti-Caffo "ac" AC Brown, Li's Jeffreys "blj" - Farrington and Manning - FM Haldane "hal" - Hauck-Anderson "ha" HA Jeffreys-Perks "jp" - Mee "m…
【目次】 ロジスティック回帰の特徴 ロジスティック回帰の尤度・誤差関数 ロジスティック回帰のFisher Scoringによる最適化 手計算 参考 以下でロジスティック回帰に触れていたがFisher Scoringにて再び。 【統計】ロジスティック回帰分析 - こちにぃるの日…
Wilcoxonの符号付き順位検定のExact法（正確確率検定）のメモ。 【目次】 計算例 プログラムコード 参考 正規近似とT近似での検定は以下記事。 cochineal19.hatenablog.com 計算例 簡単なデータを準備。 下図は正規近似・T近似での符号付き順位検定の記事で…
Wilcoxonの順位和検定のExact法（正確確率検定）のメモ。 【目次】 計算例 プログラムコード 参考 正規近似とT近似での検定は以下記事。 cochineal19.hatenablog.com 計算例 簡単なデータを準備。 A群が３例で順位和=７、B群が４例で順位和=21。 観測値の順…
ウィルコクソンの符号付き順位検定（Wilcoxon Signed Rank Test）のメモ。 ノンパラメトリックな対応のある差の検定（２時点）。 【目次】 帰無仮説、対立仮設 計算式等 計算例 プログラムコード 参考 正規近似、T近似について。exactは記載なし。 帰無仮説…
一般化線形混合モデル (Generalized Linear Mixed Model, GLMM) のメモ。 マルチレベル分析とも言う。 【目次】 計算式 プログラムコード G行列の構造 R行列の構造（反復測定の誤差構造） 参考 ・線形回帰モデルでは、誤差が互いに独立に正規分布に従うこと…
一般化線形モデル（Generalized Linear Model: GLM）のメモ。 【目次】 計算式 GLMの例 参考資料 ・線形回帰モデルでは、誤差が互いに独立に正規分布に従うことを前提としている（不遍性・等分散性・独立性・正規性）。 ・そのため誤差構造が正規分布ではな…
コックス回帰分析（Cox Regression Analysis）のメモ。 【目次】 計算式等 Rでの実行 プログラムコード 参考 コックス回帰分析はハザード関数を目的変数とした回帰分析手法。コックス比例ハザードモデル、比例ハザードモデルなどとも呼ばれる。 任意の共変量…
フリードマン検定（Friedman test）のメモ。 ノンパラメトリックな対応のある差の検定（３時点以上）。 【目次】 帰無仮説、対立仮設 計算式等 計算例 プログラムコード 参考 帰無仮説、対立仮設 ・帰無仮説 すべての時点に差がない ・対立仮設 何れかの時点…
Two Way Repeated Measures ANOVA（Two Way RMANOVA、二元配置反復測定分散分析）のメモ。 実解析ではMixedモデルを使う。学習のためのメモ。 【目次】 帰無仮説、対立仮設 計算式等 プログラムコード 参考 帰無仮説、対立仮設 ・帰無仮説 要因により平均値…
One Way Repeated Measures ANOVA（One Way RMANOVA、一元配置反復測定分散分析）のメモ。 対応のある平均の差の検定（３時点以上）。 【目次】 帰無仮説、対立仮設 計算式等 プログラムコード 参考 帰無仮説、対立仮設 ・帰無仮説 すべての時点に差がない（…
マクネマー検定のメモ。 対応のある比率の差の検定でノンパラメトリックな手法。 【目次】 帰無仮説、対立仮設 計算式等 プログラムコード 参考 帰無仮説、対立仮設 次のクロス表を考える。薬剤投与前後での効果有無などの２×２データ。 After Total Yes No …
対応のあるt検定のメモ。 帰無仮説、対立仮設 計算式 プログラムコード 参考 帰無仮説、対立仮設 ・帰無仮説 ：前後に差がない（） ・対立仮設 ：前後に差がある（） つまり、関心のある時点での変化量がゼロかどうか。 計算式 ※ｄ=前後の差 下記は架空デー…
古い機能でセキュリティに問題あるため扱いは注意。 以下の資料がとても参考になる。 Excel 4.0 Macro Functions Reference エクセル 4.0 マクロ VBAでは ExecuteExcel4Macro(string) で使用できる。 Application.ExecuteExcel4Macro メソッド (Excel) 例：M…
尤度推定のお勉強 【目次】 尤度と最尤推定量 尤度と確率 簡単な図解 参考 尤度と最尤推定量 最尤推定法は、標本から母集団のパラメータを点推定する方法（母集団の分布は既知）。 得られた標本を （独立同一分布に従う）、推定したいパラメータを とすると…
まとめ用。随時更新。 教師あり学習 最小二乗回帰（OLS：Ordinary Least Squares regression、線形回帰） ロジスティック回帰（Logistic regression） 四分位回帰（Quantile regression） サポートベクターマシーン（SVM: Support vector machine） 決定木（…
作成したHTMLテーブルを別のHTMLファイルに埋め込んで表示させたい！と思ったので、その方法をメモ。 HTMLの埋め込みは、iframe タグで実装できる。 <iframe src='パス/ファイル名.html'></iframe> 試しに前回記事で作ったHTMLテーブルを埋め込んでみる。 【VBA & HTML】ExcelのテーブルをHTML形式に変換…
Excelを開いて表を見るのは面倒だったりする。 （Excelの起動を待ったり、別作業でExcelを使っていたりするとき） そんなときブラウザで表形式データが見れたら便利だ、というモチベーションでExcelで作成したテーブルをHTMLに変換するプログラムを作ってみ…
久々にVBA。 R、Python、SAS ... なんでも良いが、 共有ロジックを外部ファンクションや外部マクロにしておいて、 パラメタを変えてぐるぐる回すことがある。 例えば、疾患名を変えて患者数を推移図にするなど。 そんなとき、スクリプトをいちいち作っている…
Kerasの勉強用にロジスティック回帰と同じ構造を作って実行してみる。 【目次】 基本の整理 使用データ Keras での試し書き（モデル作成） Keras での試し書き（バリデーションデータで評価） Keras での試し書き（テストデータで予測） 参考 基本の整理 ニ…
今回は Gradient Boosting Tree（勾配ブースティング木）を試してみる。 【目次】 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 決定木を学習器としたアンサン…
今回はサポートベクターマシーンを試してみる。 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 Pythonでの実装コード Pythonで簡単に実装できる。 #-- 線形SVM …
