医療職からデータサイエンティストへ

統計学、機械学習に関する記事をまとめています。

マルチレベル分析の基礎〜結果の解釈と応用編〜

前回は、テストの点数と勉強時間との関連を学校レベルと個人レベルに分けて解析するマルチレベル分析の基礎をまとめました。 今回は、より現実の背景を反映させてさらに解釈の幅を広げていきます! Rを実践する場合は前回のデータセットをそのまま使うので、…

以外に奥深いR,Pythonでの相関行列の計算方法

RやPythonで変数間の相関を見るために、何気なく使う相関行列 実はとても奥深いことを知りました。 今回はRとPythonの算出方法の違いについても触れていきます。(pythonを使ったのはいつぶりだろうか...) データセットの作成 まずはデータセットを作成しま…

マルチレベル分析の基礎〜予測だけでは不満なあなたへ〜

最近はAIを使った予測が流行っていますが、予測よりも現象を解釈したい場合もあるかと思います。 行った施策に対しての効果を分析したり、事象が起こった後に要因を解釈したり... そんな時に使うのがマルチレベル分析です。現実の仮定を反映しやすく、様々な…

日付・時刻処理の決定版!lubridateの使い方

Rで時系列データなどを集計、処理したい場合どうしてますか? Rの基本パッケージにも時系列データを扱うための関数は用意されています。 しかし、これがまたわかりにくい.... POSIXctだの、POSIXltだの、私はなんども調べては忘れ、また調べ、また忘れを繰り…

モダンな繰り返し処理purrrの使い方

データの繰り返し処理やapply族を使ったデータフレームの処理などはデータ解析をする上では欠かせませんよね。 そんな時に役に立つのが{purrr}パッケージです。このパッケージは、今までfor-loopさせていた処理や、apply族を使っていた処理をスマートに処理…

階層ベイズモデルを使ったデータ解析の実践~より複雑なモデルへ~

前回は階層性のあるデータに対して、線形混合モデルと階層ベイズを用いて解析を行いました。 medi-data.hatenablog.com 今回は、より複雑な階層ベイズモデルに挑戦していきます。前回は扱わなった、新たなデータに対しての予測も行っていきましょう。 今回の…

線形混合モデルと階層ベイズモデルを使ったデータ解析の実践

前回はベイズ推定を使って単回帰分析を行いました。今回はさらにレベルを上げて階層性のあるデータ解析に挑戦していきます。 medi-data.hatenablog.com www.medi-08-data-06.work 階層性のあるデータの概略から、通常の単回帰、線型混合モデルそして、階層ベ…

もっと早く知りたかった高速データフレーム処理~dplyrの使い方~

Rで扱うことの多いデータフレームですが、みなさんはどのように処理をしているでしょうか? 私は既存の{base}パッケージで処理を行なっていましたが、{dplyr}パッケージを知ってからというもの手放せなくなりました。 この{dplyr}を使うと驚くほど簡単に、そ…

ベイズ推定で単回帰分析~概略から実践まで~

今回は、Rのstanを使ってベイズ推定を使った単回帰分析を行なっていきます。 本来であればベイズ推定を使わなくても単回帰分析のパラメーターは推定できるのですが、stanに慣れるためにもまずは簡単なところからですね。 最後には通常の単回帰分析と結果の比…

脱統計初学者!確率分布まとめ~正規分布・t分布とは~

前回の続きで、今回は主に連続型確率分布である正規分布、t分布を扱っていきます。ここまで理解できれば、統計が楽しくなるはずです!正規分布からt分布の導出までを出来るだけ式を使わずにまとめていきます! 正規分布 z値 t分布 まとめ 正規分布 Z値 t分布…