医療職からデータサイエンティストへ

統計学、機械学習に関する記事をまとめています。

2019-02-01から1ヶ月間の記事一覧

さて、そろそろ正規表現を始めようか

R

正規表現の存在を知り、いつかは使えるようになりたいと思ったあの日から早2年、そろそろ正規表現を使えるようになります。 ということで、今回は正規表現をレベルごとにスッテプバイステップでまとめていきます。 正規表現とは? Step1:何でも良い一文字. …

データの読み込みは{readr}にお任せを

Rでデータファイルを読み込むとき、{base}パッケージにはread.XXXという関数が備わっています。 私もcsvファイルを読み込むときは、ずっとread.csvを使用していましたが、{readr}を使うともっと高速に、そして処理のしやすい形でデータを読みこむことができ…

AICとは?その正体に迫る

複数のモデル候補があった場合、AIC(赤池情報量基準)を使ってモデル選択をすることがあります。しかし、このAICをなんとなく使ってしまっている人、そのモデル本当に目的としたモデルですか? 今回は、AICについてその直感的な理解とAICの意味を追っていき…

R使いのための文字列処理stringrの使い方

Rで文字列処理をすることって地味によくありますよね。 そんな突如として必要性が湧いてくる文字列処理、Rには文字列を扱うパッケージがいくつかありますが、その中でも抜群に使いやすいのが{stringr}の特徴です。 文字列処理を統一的な方法で行えるため、直…

一般化線形モデル・階層ベイズ・マルチレベル分析を実践的に学びたい人へのオススメ書籍5選

最近ではt検定、分散分析、線形回帰分析などを一般化線形モデルという 一つの概念で捉えられるようになってきました。 一般化線形モデルのメリットは現実の仮定を反映させながら自由な統計解析ができ、非線形データや複雑な階層性のあるデータなどにも柔軟に…

マルチレベル分析の基礎〜結果の解釈と応用編〜

前回は、テストの点数と勉強時間との関連を学校レベルと個人レベルに分けて解析するマルチレベル分析の基礎をまとめました。 今回は、より現実の背景を反映させてさらに解釈の幅を広げていきます! Rを実践する場合は前回のデータセットをそのまま使うので、…

以外に奥深いR,Pythonでの相関行列の計算方法

RやPythonで変数間の相関を見るために、何気なく使う相関行列 実はとても奥深いことを知りました。 今回はRとPythonの算出方法の違いについても触れていきます。(pythonを使ったのはいつぶりだろうか...) データセットの作成 まずはデータセットを作成しま…

マルチレベル分析の基礎〜予測だけでは不満なあなたへ〜

最近はAIを使った予測が流行っていますが、予測よりも現象を解釈したい場合もあるかと思います。 行った施策に対しての効果を分析したり、事象が起こった後に要因を解釈したり... そんな時に使うのがマルチレベル分析です。現実の仮定を反映しやすく、様々な…

日付・時刻処理の決定版!lubridateの使い方

Rで時系列データなどを集計、処理したい場合どうしてますか? Rの基本パッケージにも時系列データを扱うための関数は用意されています。 しかし、これがまたわかりにくい.... POSIXctだの、POSIXltだの、私はなんども調べては忘れ、また調べ、また忘れを繰り…