医療職からデータサイエンティストへ

統計学、機械学習に関する記事をまとめています。

2019-01-01から1年間の記事一覧

R使いのための文字列処理stringrの使い方

Rで文字列処理をすることって地味によくありますよね。 そんな突如として必要性が湧いてくる文字列処理、Rには文字列を扱うパッケージがいくつかありますが、その中でも抜群に使いやすいのが{stringr}の特徴です。 文字列処理を統一的な方法で行えるため、直…

一般化線形モデル・階層ベイズ・マルチレベル分析を実践的に学びたい人へのオススメ書籍5選

最近ではt検定、分散分析、線形回帰分析などを一般化線形モデルという 一つの概念で捉えられるようになってきました。 一般化線形モデルのメリットは現実の仮定を反映させながら自由な統計解析ができ、非線形データや複雑な階層性のあるデータなどにも柔軟に…

マルチレベル分析の基礎〜結果の解釈と応用編〜

前回は、テストの点数と勉強時間との関連を学校レベルと個人レベルに分けて解析するマルチレベル分析の基礎をまとめました。 今回は、より現実の背景を反映させてさらに解釈の幅を広げていきます! Rを実践する場合は前回のデータセットをそのまま使うので、…

以外に奥深いR,Pythonでの相関行列の計算方法

RやPythonで変数間の相関を見るために、何気なく使う相関行列 実はとても奥深いことを知りました。 今回はRとPythonの算出方法の違いについても触れていきます。(pythonを使ったのはいつぶりだろうか...) データセットの作成 まずはデータセットを作成しま…

マルチレベル分析の基礎〜予測だけでは不満なあなたへ〜

最近はAIを使った予測が流行っていますが、予測よりも現象を解釈したい場合もあるかと思います。 行った施策に対しての効果を分析したり、事象が起こった後に要因を解釈したり... そんな時に使うのがマルチレベル分析です。現実の仮定を反映しやすく、様々な…

日付・時刻処理の決定版!lubridateの使い方

Rで時系列データなどを集計、処理したい場合どうしてますか? Rの基本パッケージにも時系列データを扱うための関数は用意されています。 しかし、これがまたわかりにくい.... POSIXctだの、POSIXltだの、私はなんども調べては忘れ、また調べ、また忘れを繰り…

モダンな繰り返し処理purrrの使い方

データの繰り返し処理やapply族を使ったデータフレームの処理などはデータ解析をする上では欠かせませんよね。 そんな時に役に立つのが{purrr}パッケージです。このパッケージは、今までfor-loopさせていた処理や、apply族を使っていた処理をスマートに処理…

階層ベイズモデルを使ったデータ解析の実践~より複雑なモデルへ~

前回は階層性のあるデータに対して、線形混合モデルと階層ベイズを用いて解析を行いました。 medi-data.hatenablog.com 今回は、より複雑な階層ベイズモデルに挑戦していきます。前回は扱わなった、新たなデータに対しての予測も行っていきましょう。 今回の…

線形混合モデルと階層ベイズモデルを使ったデータ解析の実践

前回はベイズ推定を使って単回帰分析を行いました。今回はさらにレベルを上げて階層性のあるデータ解析に挑戦していきます。 medi-data.hatenablog.com www.medi-08-data-06.work 階層性のあるデータの概略から、通常の単回帰、線型混合モデルそして、階層ベ…

もっと早く知りたかった高速データフレーム処理~dplyrの使い方~

Rで扱うことの多いデータフレームですが、みなさんはどのように処理をしているでしょうか? 私は既存の{base}パッケージで処理を行なっていましたが、{dplyr}パッケージを知ってからというもの手放せなくなりました。 この{dplyr}を使うと驚くほど簡単に、そ…

ベイズ推定で単回帰分析~概略から実践まで~

今回は、Rのstanを使ってベイズ推定を使った単回帰分析を行なっていきます。 本来であればベイズ推定を使わなくても単回帰分析のパラメーターは推定できるのですが、stanに慣れるためにもまずは簡単なところからですね。 最後には通常の単回帰分析と結果の比…

脱統計初学者!確率分布まとめ~正規分布・t分布とは~

前回の続きで、今回は主に連続型確率分布である正規分布、t分布を扱っていきます。ここまで理解できれば、統計が楽しくなるはずです!正規分布からt分布の導出までを出来るだけ式を使わずにまとめていきます! 正規分布 z値 t分布 まとめ 正規分布 Z値 t分布…

有意水準と検出力をグラフィカルにシミュレーションで理解する

統計検定をする上でよく用いられるのは有意水準ですが、同時に検出力も考慮しなければなりません。 今回は有意水準と検出力についてまとめてみます。 有意水準、検出力とは? 第一種過誤(αエラー)、第二種過誤(βエラー)などとも呼ばれますが、簡単に言っ…

脱統計初学者!確率分布まとめ~ベルヌーイ分布・二項分布・ポワソン分布・指数分布~

確率分布は統計学を学び始めると必ず出てくるワードなんですが、初めて聞いたときは、なんじゃそりゃ〜〜って感じで全然理解できませんでした。 正直SPSSやSASS、EZRなどの統計ソフトは値を入れれば、それっぽい結果が返ってくるので、学ぶ必要性を感じない…

ベイズの定理で二項分布の推定~最尤法との比較まで~

前回は、Rにstanを導入して、実際に動かすところまで行いました。今回は、ベイズ推定で二項分布のパラメーターを求めてみます! medi-data.hatenablog.com 二項分布とは ベイズの定理を使う前に、さらっと二項分布を復習しておきます。 二項分布とは、確率で…

Rでstan使ってみる~導入編 for Mac~

新年になったということで、今年はRでstanを使ったベイズモデリングに挑戦していきたいと思います。 今回は導入編ということで、こちら RStan Getting Started · stan-dev/rstan Wiki · GitHub を参考にしながら進めていきます。ちなみに私のPCはMacですので…