しんゆう/ データ分析とインテリジェンス

データを使う側視点のデータ整備 / 第２回　データ整備を前向きに考える会

第２回　データ整備を前向きに考える会 (2026/09/08 19:00〜)

# この会について データを使いやすくしたり、ダッシュボードを作ったり、メタデータを書くといった、エンジニアとアナリストの間にある「誰かがやらないとみんな困るのに、やりたいと思う人が少ない仕事」である「データ整備」のスキル・ノウハウ・キャリアなどについて、恨みつらみだけではなくもっと”前向き”に考えようという会です。 # 今回のテーマ 「Biz担当者が当たり前にデータを使える状態」を実現する...

『現代語訳　資治通鑑』をAmazonで発売開始｜データ分析とインテリジェンス

『資治通鑑』を現代日本語に訳し、Kindleとペーパーバックで出した。現在、第1巻から第3巻まで発売中である。Kindle Unlimited対象。 既刊 1　周紀・秦紀（紀元前四〇三年〜紀元前二〇七年） 三晋の分立、商鞅の変法、合従連衡、長平の戦い、始皇帝の統一から秦の滅亡まで。 Kindle版 ペーパーバック版 2　漢紀Ⅰ（紀元前二〇六年〜紀元前一四一年） 鴻門の会から垓下まで、高祖の即...

その個別対応、いきなり実装していませんか？｜データ分析とインテリジェンス

個別対応への向き合い方をまとめる データ整備をしていると、特定のチームから「このケースだけこう処理してほしい」という依頼が頻繁に来る。特殊な事情があり、標準の処理では対応できない。 このような依頼を毎回そのまま受けてはいけない。個別対応を一つ受けるたびに工数は積み上がり、処理は複雑になり、ミスのリスクは上がる。個別対応は最終手段である。受ける前に試すべきことが何段もある。この記事では、その順...

データを

データを

止められないデータの民主化にどう向き合うか｜データ分析とインテリジェンス

データの民主化は止められない AIの発展によって、データの民主化は避けられなくなった。ビジネスサイドが自分でSQLを書かなくても、AIに聞けばデータが返ってくる時代が来ている。 これに対して「民主化には基本的に反対だ」といくら言っても、もはや止められる段階にはない。 なぜなら、止めるインセンティブを持つ人がいないからだ。 データの民主化が止まらない3者それぞれの構造 データの民主化が止まらな...

5つの「Analytic Standards」｜データ分析とインテリジェンス

データ分析に「基準」はあるのか どんなにデータ基盤を充実させて整備したとしても、分析がおかしければすべては無駄になる。 ところが、分析の成果物について、「これはこうあるべきだ」という体系的な基準が見当たらない（自分も書けていないので責任の一端は感じている）。SQLの書き方も可視化の作法も統計手法の選び方も、手段の教材は山ほどある。だが、良い分析と悪い分析を何が分けるのか、その基準を示したもの...

最小構成のダッシュボードならスプレッドシートで十分だ｜データ分析とインテリジェンス

BIツールの機能を分解する 現行のBIツールには「データ基盤の整備」と「可視化」の二つの機能が混在している。データの取り込み、変換、モデリングといったデータエンジニアリングの機能と、グラフやテーブルを表示する可視化の機能が一つの製品に同居しており、どこからがBIツールの仕事でどこまでがデータ基盤の仕事なのかが曖昧になっている。 この二つを分けて考える。データ基盤の整備をBIツールの外、たとえ...

DID（差分の差分法）反事実と平行トレンド仮定｜データ分析とインテリジェンス

状況とモチベーション 施策以外でも動く 4月に全会員へ500円割引クーポンを配信した。その月の購入件数は前月比12%増えた。チームはクーポンの効果だと報告した。 購入件数が増えたことは事実である（分析の話に絞るため、データは正しいとする）。しかし、その増加がすべて施策のおかげとは限らない。この点を混同しているレポートは多い。 指標は施策以外の理由でも動く。季節性、市況、競合の動き、価格変更、...

営業・マーケターがAIに書かせたSQLを自分で読んで確かめるための基礎｜データ分析とインテリジェンス

AIで簡単に書けるようになったが、確かめられるとは限らない 以前の記事で、AIにSQLを書かせることと依頼することの違いについて書いた。結論は「基本的には依頼しろ」だ。AIが生成したSQLの結果を自分で検証できないなら、最初から専門家に渡した方がいい。 ただ、自分でやらざるを得ない場面はある。会社の事情、タイミング、人的リソース。そういう状況のための記事だ。 「書ける」「読める」「確かめられ...

技術的制約が消えてもデータ整備はなくならない｜データ分析とインテリジェンス

技術的制約がすべて解決したらデータ整備はどうなるか。 その世界ではストレージや処理の能力・費用に限界がなく、SQLは自然言語から全自動で生成・実行できる。最小粒度のイベントログが全部取れて、システム間の結合キーも完備されている。もしこの前提が満たされるなら、データ整備のいくつかの仕事は不要になるだろう。 SQLを書く作業：AIが自然言語から生成・実行できる データマートの事前作成：クエリを固...

分析の出番はPDCAのCではなくPだ｜データ分析とインテリジェンス

Pはどうやって決めるのか PDCAを知らないビジネスパーソンはまずいないだろう。Plan・Do・Check・Actionの頭文字を取ったこのフレームワークは、業種や職種を問わず広く使われている。 しかしこの言葉を聞くたびに思う。そのPは、どうやって決めるのか。 PDCAの議論ではDの実行力やCの精度が話題になることが多い。Pについては「まず決めることができる」が前提になっており、どうやるのか...