エンジニアリング
はてなブログを日常的に利用していると、記事の執筆体験や、管理方法が課題になってきます。 例えば、はてなブログの標準エディタでは次のような煩雑さが伴います。 記事の差分確認ができない。 過去の記事をまとめて編集・管理する際に一覧性が低く、手間が…
私は普段fitbitを使用しているのですが、標準アプリでは、過去から現在まで長期的な変化がみにくい仕様になっています。 例えば、週ごと、月ごと、年ごとにはグラフ化されるのですが、直近半年のdailyの傾向などはみることができません。 運動、睡眠の習慣は…
はじめに 自分でかいたコードや、他の人のコードレビューをするとき、「なんとなくみにくいコードだけど、どこまでリファクタリングすべき?」という疑問がよくでてきます。 仮に、コードのみにくさ、つまり複雑性を定量化できれば、「このコードの複雑性がx…
Kimbalのディメンショナルモデリングは、データウェハウスのデータモデリングの中でも、広く採用されている手法で、近年のData Vault 2.0の基本となる考え方となっています。 こちらは、ディメンショナルモデリングのバイブルです↓ The Data Warehouse Toolk…
私は、データを扱う仕事について5年目になります。 普段は、ビジネス寄りのデータアナリストのポジションに近いのですが、データ基盤周りのエンジニアリング業務も増えてたので、いったんの基礎固めとして、基本情報技術者試験を受けることにしました。 「1…
本記事は、dbt advent calendarの内容です。 qiita.com オープンデータ+BiqQuery+dbt+Streamlitという構成で、東京都における犯罪ダッシュボードを作ってみました。 完成品とコードはこちら 東京犯罪ダッシュボード データ処理&アプリコード dbtプロジェクト…