時系列データとは、ある一時点ではなく、時間軸に沿ってデータが収集され、変数の並び方にも意味があるデータのことを指します。 時系列データ解析の手法を知っていると解析の幅が大きく広がることは間違い無いでスガ、書籍の中には難解なものも多く、最初の…
時系列モデルを作るときは、データが定常過程に従っていることを前提とするモデルが多いです。しかし、現実には定常過程に従うデータはあまり多くありません。そんな非定常過程のデータを何となく多変量モデルで解析すると一見ものすごく当てはまりの良いモ…
一変量時系列の代表格であるARIMAモデルは、過去の自分が現在へ影響していることを前提としていました。しかし、時系列データではその他の変数から影響を受けることは往々にしてあります。 例えば、あるお店の売り上げは、そのお店の過去の売り上げだけでな…
前回は時系列解析の流れ、そしてARIMAモデルをデータから同定する方法について書きました。 www.medi-08-data-06.work 今回は、ARIMAモデルの予測について、そして単純なARIMAモデルでは説明できない周期性を、季節調整を使ってモデリングする方法について書…
前回は時系列解析の考え方や基本用語についてまとめました。今回はもう一歩進んで、実践に近づいた内容にしていきます。 www.medi-08-data-06.work 今回扱う範囲は、時系列データの前処理方法、AR、MA、ARMA、ARIMAです。それではいきましょう。 時系列解析…
時系列データとは、ある一時点ではなく、時間軸に沿ってデータが収集され、変数の並び方にも意味があるデータのことを指します。商品の売り上げを月ごとに集積したデータや、企業の株価データ、気温データ、電車の乗客数などが時系列データの例としてあげら…
正規表現の存在を知り、いつかは使えるようになりたいと思ったあの日から早2年、そろそろ正規表現を使えるようになります。 ということで、今回は正規表現をレベルごとにスッテプバイステップでまとめていきます。 正規表現とは？ Step1：何でも良い一文字. …
Rでデータファイルを読み込むとき、{base}パッケージにはread.XXXという関数が備わっています。 私もcsvファイルを読み込むときは、ずっとread.csvを使用していましたが、{readr}を使うともっと高速に、そして処理のしやすい形でデータを読みこむことができ…
複数のモデル候補があった場合、AIC（赤池情報量基準）を使ってモデル選択をすることがあります。しかし、このAICをなんとなく使ってしまっている人、そのモデル本当に目的としたモデルですか？ 今回は、AICについてその直感的な理解とAICの意味を追っていき…
Rで文字列処理をすることって地味によくありますよね。 そんな突如として必要性が湧いてくる文字列処理、Rには文字列を扱うパッケージがいくつかありますが、その中でも抜群に使いやすいのが{stringr}の特徴です。 文字列処理を統一的な方法で行えるため、直…
最近ではt検定、分散分析、線形回帰分析などを一般化線形モデルという 一つの概念で捉えられるようになってきました。 一般化線形モデルのメリットは現実の仮定を反映させながら自由な統計解析ができ、非線形データや複雑な階層性のあるデータなどにも柔軟に…
前回は、テストの点数と勉強時間との関連を学校レベルと個人レベルに分けて解析するマルチレベル分析の基礎をまとめました。 今回は、より現実の背景を反映させてさらに解釈の幅を広げていきます！ Rを実践する場合は前回のデータセットをそのまま使うので、…
RやPythonで変数間の相関を見るために、何気なく使う相関行列 実はとても奥深いことを知りました。 今回はRとPythonの算出方法の違いについても触れていきます。（pythonを使ったのはいつぶりだろうか...） データセットの作成 まずはデータセットを作成しま…
最近はAIを使った予測が流行っていますが、予測よりも現象を解釈したい場合もあるかと思います。 行った施策に対しての効果を分析したり、事象が起こった後に要因を解釈したり... そんな時に使うのがマルチレベル分析です。現実の仮定を反映しやすく、様々な…
Rで時系列データなどを集計、処理したい場合どうしてますか？ Rの基本パッケージにも時系列データを扱うための関数は用意されています。 しかし、これがまたわかりにくい.... POSIXctだの、POSIXltだの、私はなんども調べては忘れ、また調べ、また忘れを繰り…
データの繰り返し処理やapply族を使ったデータフレームの処理などはデータ解析をする上では欠かせませんよね。 そんな時に役に立つのが{purrr}パッケージです。このパッケージは、今までfor-loopさせていた処理や、apply族を使っていた処理をスマートに処理…
前回は階層性のあるデータに対して、線形混合モデルと階層ベイズを用いて解析を行いました。 medi-data.hatenablog.com 今回は、より複雑な階層ベイズモデルに挑戦していきます。前回は扱わなった、新たなデータに対しての予測も行っていきましょう。 今回の…
前回はベイズ推定を使って単回帰分析を行いました。今回はさらにレベルを上げて階層性のあるデータ解析に挑戦していきます。 medi-data.hatenablog.com www.medi-08-data-06.work 階層性のあるデータの概略から、通常の単回帰、線型混合モデルそして、階層ベ…
Rで扱うことの多いデータフレームですが、みなさんはどのように処理をしているでしょうか？ 私は既存の{base}パッケージで処理を行なっていましたが、{dplyr}パッケージを知ってからというもの手放せなくなりました。 この{dplyr}を使うと驚くほど簡単に、そ…
今回は、Rのstanを使ってベイズ推定を使った単回帰分析を行なっていきます。 本来であればベイズ推定を使わなくても単回帰分析のパラメーターは推定できるのですが、stanに慣れるためにもまずは簡単なところからですね。 最後には通常の単回帰分析と結果の比…
前回の続きで、今回は主に連続型確率分布である正規分布、t分布を扱っていきます。ここまで理解できれば、統計が楽しくなるはずです！正規分布からt分布の導出までを出来るだけ式を使わずにまとめていきます！ 正規分布 z値 t分布 まとめ 正規分布 Z値 t分布…
統計検定をする上でよく用いられるのは有意水準ですが、同時に検出力も考慮しなければなりません。 今回は有意水準と検出力についてまとめてみます。 有意水準、検出力とは？ 第一種過誤（αエラー）、第二種過誤（βエラー）などとも呼ばれますが、簡単に言っ…
確率分布は統計学を学び始めると必ず出てくるワードなんですが、初めて聞いたときは、なんじゃそりゃ〜〜って感じで全然理解できませんでした。 正直SPSSやSASS、EZRなどの統計ソフトは値を入れれば、それっぽい結果が返ってくるので、学ぶ必要性を感じない…
前回は、Rにstanを導入して、実際に動かすところまで行いました。今回は、ベイズ推定で二項分布のパラメーターを求めてみます！ medi-data.hatenablog.com 二項分布とは ベイズの定理を使う前に、さらっと二項分布を復習しておきます。 二項分布とは、確率で…
新年になったということで、今年はRでstanを使ったベイズモデリングに挑戦していきたいと思います。 今回は導入編ということで、こちら RStan Getting Started · stan-dev/rstan Wiki · GitHub を参考にしながら進めていきます。ちなみに私のPCはMacですので…
前回はR関数を実行して、抽出されたサンプルから母集団の確率密度を推定しました。今回は、Rの関数を使わずにカーネル密度推定を行いたいと思います。 medi-data.hatenablog.com 出来るだけグラフィカルにまとめてみます。 ヒストグラム密度推定 カーネル密…
ヒストグラムから確率密度分布を知りたいと思い、調べているとカーネル密度推定なるものがあるようです。色々調べてみたのですが....よく分からん。 Rで実行しながら、学んでいきます。 今回のお題 今回は正規分布から発生させた50個の乱数を使って、正規分…
今回は回帰分析で用いられる回帰直線について、よく知られている最小二乗法、最尤法に加えて、最近学んだ期待損失なるものを使って、求めていきたいと思います！ 今回のお題 今回は以下のようなデータセットを使って、回帰直線を求めていきます。 y1 <- roun…
今回はRで、ある関数を最大化、最小化する値を求めるoptim関数とotimize関数について、その違いや使い方について書いていきます。 optimize関数とoptim関数 この二つは、ある関数の中で値を最大化、最小化するパラメーターを求める時に利用します。簡単な例…
今回は、分類問題を学んでいてどうやら大きく分けて三つのアプローチがあるらしいと言うことで、その特徴を具体例を混じえてまとめてみます。 分類問題とは？ そもそも分類問題とは、例えば身長データから男女を分類するであったり、メールに書いてある単語…
