第4回:RとPythonで学ぶデータサイエンス数学~ベクトル基礎~

ベクトルと行列は、データサイエンスの中でも頻出であり、とてもとても便利な概念です。今回からは、今まで学んだ平均や分散、微分、最小二乗法などを使って、ベクトルや行列の概念にふれていきます。 www.medi-08-data-06.work www.medi-08-data-06.work ww…

第3回:RとPythonで学ぶデータサイエンス数学~線形回帰と最小二乗法~

前回までで、平均や分散、微分、偏微分の基本的なところを扱ってきました。 www.medi-08-data-06.work www.medi-08-data-06.work 第3回となる今回は、今までの知識を使って統計、機械学習で最も基本的で、最も頻出の線形回帰と最小二乗法についてご紹介しま…

第2回:RとPythonで学ぶデータサイエンス数学~関数と微分・偏微分~

RとPythonで学ぶデータサイエンス数学の第2回となる今回は、関数と微分を扱っていきます。 www.medi-08-data-06.work この2つは統計学、機械学習の学習には欠かせない知識となりますが、概念自体は難しく無いので、しっかりと理解したいところです。目的は以…

第1回:RとPythonで学ぶデータサイエンス数学~平均・分散を文字で表す~

統計学や機械学習を知る上で必ず必要になるのが算数・数学の知識です。しかし、中学や高校で数学を習ってはいるものの、いざ学び始めてみると数式や記号に圧倒されてしまう人も多いのではないでしょうか?? 今回から複数記事にまたがり、統計学や機械学習を…

時系列予測パッケージ{prophet}を使って、ブログアクセス数を予測する。~時刻周期の解析編~

前回は、prophetを使って、2ヶ月先のブログアクセス数を予測しました。 www.medi-08-data-06.work 今回はその答え合わせと、前回は触れなかった時刻周期の扱い方について書いていきます。 予測結果と実測値の比較 前回の予測結果はこのようになっていました…

はてなブログでTex記法を使って行列を書く時の注意点

はてなブログのmarkdown記法でTex記法を書く時、いくつか注意点があります。 多くの場合は、こちらのサイト様で解決するかと思います。 はてなブログのTeX記法で数式を書く時用のチートシートと注意点 - ぴよぴよ.py しかし、以前Tex記法を使って以下を参考…

中心極限定理って結局何なのさ

中心極限定理とは、統計学を学び始めると必ずお目にかかる定理なのですが、安直に理解していると大変な勘違いをしてしまう定理です。しかし、いざ理解しようとしても、解説には難解なものも多くイメージしにくいのもまた現状です。今回はそんな中心極限定理…

SHAPを使って機械学習モデルと対話する

機械学習モデルは、統計モデルよりも予測に長けた手法であり、皆様もご存知の通り様々な場面で用いられています。一方で、結果の解釈の面ではブラックボックスになりやすいため、モデルの作成時のみならず、機械学習に覚えのない方々とコミュニュケーション…

Pythonによるデータ前処理手法の網羅的まとめ

データ解析をする上で、もっとも重要な工程であるデータの前処理、今回はそんな前処理をPythonで行うための様々な方法をまとめました。もし、こんな処理も追加してほしいというご要望があれば、お気軽にコメントください(^^) Rユーザの方にはこちらを www.me…

Rでtweetをテキストマイニング:ワードクラウドと共起ネットワーク

テキストマイニング は文字列を対象したデータマイニング手法で、単語の出現頻度、出現タイミングなどを集計する簡単なものから、機械学習を用いてクラス分類する高度なものまで様々な解析手法があります。 今回はそんなテキストマイニング の中でも、単語の…