K-meansみたいに「球状クラスタを仮定して個数を決めなきゃいけない」問題を、密度で解決する手法について整理。
「密集しているデータ同士だけをクラスタにする」という人間の直感に一番近いクラスタリング手法・DBSCANの仕組みから、パラメータの意味・他手法との違いまで一気に掴めます。
・コア点・到達可能範囲(ε)・minPtsの概念を図で直感的に理解できる
・アルゴリズムの流れ(ランダムに点を選んで密度をチェック→クラスタ拡張→ノイズ判定)をステップごとに追える
・K-meansや階層的クラスタリングとの違い(任意形状OK・ノイズ識別・クラスタ数不要)と、パラメータ調整の難しさ・高次元の課題まで押さえられる
顧客の行動ログや位置情報、異常検知タスクで「明らかに密なグループとノイズを切り分けたい」ときに、K-meansに頼らず根拠を持って手法選択・パラメータ検討ができるようになります。
大学の授業資料らしい丁寧な図解とアルゴリズムのステップ解説が揃っていて、Hands-on用のデモサイトまで用意されています。単なる概要紹介ではなく「実際にどう動くか」まで追えます。
speakerdeck.com/trycycle/ji-…
生成AIからAIエージェントを経て「フィジカルAI」へ、さらにその先のAgentic Roboticsへと繋がる技術の流れと、社会実装に向けた現実的な課題・解決アプローチが体系的に整理されています。
・VLA(Vision-Language-Action)モデル、Diffusion Policy、世界モデル、模倣学習+強化学習など、フィジカルAIを支える主要技術の役割と使い分け
・データ収集の難しさ、連続稼働時の信頼性、安全性・説明責任、現場ごとの個別対応、環境変化による忘却といった「社会実装で本当にぶつかる壁」とその対処例(MPRGの研究事例含む)
・AIエージェントが「実行時の判断」だけでなく「開発・改善プロセス自体」を担うAgentic Roboticsという新しい考え方
AIエージェントで効率化できる部分と、物理世界でまだ人間が責任を持たなければいけない部分の境界線がクリアになります。自社の自動化・ロボット導入検討時に「どこまで現実的か」を判断する材料として使えます。
流行りの「フィジカルAI」という言葉を曖昧に使わず、技術の進化段階・具体的な手法・現場課題・研究者視点での取り組みを一気通貫で繋げられます。単なる解説ではなくこれから何が起きそうかの解像度が高くなります。
speakerdeck.com/hf149/fijika…
日本がなぜ独自のLLMを作る必要があるのか、データ・計算資源・人材のリアルな壁と、それをどう乗り越えているのかが具体的にわかります。オープンサイエンスで進めるLLM-jpの裏側が丁寧に整理されています。
・日本語オープンデータが約1兆トークン程度しかない中で、どうコーパスを組んでいるか(国立国会図書館などとの連携含む)
・並列化(DP/TP/PP)やWarmup-Stable-Decayスケジューラ、Adamのε設定など、実際の学習でつまずきやすいポイントと対策
・失敗事例も含めて公開するLLM-jpの方針と、Apache 2.0へのライセンス整理の背景
自社で日本語LLMを導入・継続学習する際の「データはどこまで足りているか」「計算コストの現実感」「オープンモデルを選ぶ判断基準」を具体的に持てる。政府支援の全体像も把握しやすいので、補助金や計算資源の話が出たときの判断材料になります。
技術詳細だけでなく「なぜ日本がやるのか」「何がボトルネックで、今どこまで進んでいるか」という政策・コミュニティ視点が同時に書かれていて、成功談だけでなく失敗や制約も共有しているので、実務的に参考にしやすいです。
speakerdeck.com/odashi/niini…
Kaggle 2x Masterが実際のコンペで成果を出した手法を、現場の制約に落とし込んだ実践知です。
LLMの性能改善・軽量化・高速化の「考える順番と判断軸」。プロンプトからファインチューニング、推論高速化までを、制約下でどう選ぶかが整理されています。
・Few-shot / CoT / Self-ConsistencyからRAG、LoRA/QLoRAまでの段階的な性能向上の考え方
・量子化(QLoRA・GPTQなど)やvLLMを使った軽量化・高速化の実践ポイント
・Kaggle実例:Gemma2 9BのQLoRAで上位5%、vLLMで推論時間を40分→10分に短縮、合成データでデータ不足を克服した手法
GPUメモリやコストの制約がある中で「次に何を試すべきか」の優先順位が明確になり、検証→改善のサイクルを高速化できます。
一般論や理論の解説で終わらず、Kaggleで実際に成果を出した具体的な手法と、「現場でどう判断するか」の思考プロセスがセットになっています。
speakerdeck.com/sinchir0/llm…
DAGを使った統計的因果推論の基礎から、構造的因果モデル(SCM)、d分離、因果探索(LiNGAM)まで一気に押さえられます。
・DAGを使って因果関係を表現し、条件付き独立性をd分離で判定する方法
・構造的因果モデル(SCM)の考え方と、確率分布の分解
・LiNGAMを使った因果探索の基礎と、モデルの妥当性を確かめる視点
施策の効果検証や交絡の調整をする前に「因果グラフを描いて仮定を可視化する」習慣がつき、誤った結論を出しにくくなります。分析設計の質が上がり、説明責任も果たしやすくなります。
グラフィカルモデルに特化して、理論(SCM・d分離)から因果探索(LiNGAM)までをコンパクトにまとめており、入門しながら「次のステップ」まで見通せる点が強みです。
speakerdeck.com/tetchi/gurah…
SGDの限界から自然勾配法の理論的基盤(Riemann幾何・Fisher情報行列)、Mirror Descentとの関係、KFACなどの実用的近似、RL・深層学習への応用までを体系的に整理した内容です。
・非ユークリッド空間でのSGDの問題点と、自然勾配がRiemann多様体上の最急降下方向になる理由
・Fisher情報行列の逆行列による更新が、Mirror Descent(Bregman divergence)と等価になる関係性
・KFACやAdamなどの近似手法が自然勾配の実用化にどう寄与しているか、Natural Policy Gradientの考え方
モデルの学習が不安定なときや、Adamなどの挙動を深く理解したいときに「パラメータ空間の幾何」を意識したオプティマイザ選択・調整の判断材料になります。研究や高度な実装で自然勾配系手法を検討する際の出発点としても使えます。
理論の導出から近似手法・応用までを一気通貫でカバーしており、単なる解説ではなく「なぜ自然勾配が優れているか」と「どう近似して使うか」の両方をバランスよく押さえられます。
speakerdeck.com/mkimura/zi-r…
少し古いスライドですが、今でも十分使える。むしろ「ChatGPT以降のNLP」の出発点として読み返す価値が高い、横井祥さんの「ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送。
2023年のものですが、ChatGPTの影響を冷静に整理した上で、最適輸送(OT)で言語の意味をどう計算・アラインメントするかがコンパクトにまとまっています。
・Word Mover’s Distanceなどで「文書を点群として輸送コストで類似度を測る」考え方
・不均衡最適輸送による言い換え表現の単語アラインメント(null alignmentも自然に扱える)
・Gromov-Wasserstein距離を使った、直接対応がない多言語埋め込み空間の重ね合わせ
意味的な距離や単語対応を設計するときに、「最適値(距離)」だけでなく「最適解(どの単語がどの単語に対応するか)」まで得られる枠組みとしてそのまま使えます。LLMの評価や多言語対応の設計でも参考になります。
ChatGPTの話題から自然にOTの魅力へ繋げていて、最適値と最適解の両面をNLP視点で直感的に解説してくれています。少し前の資料ですが、考え方の土台として今でも有効。
speakerdeck.com/eumesy/chatg…
事前学習済みTransformer(BERT)の中に「知識ニューロン」が存在し、それを特定・操作することで事実知識を更新・削除できる可能性を示した研究の解説です。
・FFNをkey-value memoryと捉える先行研究の視点と、Integrated Gradientsを使った知識ニューロンの識別方法
・知識ニューロンの活性化をゼロにする/2倍にすると予測がどう変わるかの実験結果
・valueベクトルを操作するだけで特定知識を更新(成功率34.4%)・削除できるケーススタディと、他の知識への影響の小ささ
モデルが覚えている事実をピンポイントで修正したいときや、知識の格納場所を調べたいときの具体的なアプローチの参考になります。
論文のアイデアから実験結果、知識編集の具体例までを日本語でコンパクトにまとめてあり、数値も丁寧に紹介されています。
speakerdeck.com/kogoro/knowl…
生成AIにKaggleの「アイデア探索〜実装〜実験」をどこまで任せられるか、ROGIIコンペでの実体験ベースでわかります。3週間で341実験を回しつつ13位(金メダル相当の成果)を出した進め方と、失敗から得た具体的なTipsが詰まっています。
・公開ディスカッション767件をAIに読ませて「画像化+物理的に筋の通った合成データ」という解法の骨格を見つけさせる方法
・1〜3行の指示でAIに自律的に実験を回させ、人間は方針・評価基準・最終提出だけを判断する役割分担
・AIがやりがちな失敗(間違ったカットオフ基準、リーク見逃し、過剰に複雑化する、本質的な改善を避けて微調整ばかり提案する)とその対策(事前ルール設定・定期的な外部ベンチマーク確認・「これもっと単純にできない?」と問い直す習慣)
Kaggleだけでなく、社内のデータ分析やモデル開発でも「AIに任せる部分/人が判断すべき部分」の線引きが明確になります。実験の進め方やツール連携(Kaggle CLI、nvidia-kaggleなど)の知見をそのまま業務の効率化に転用しやすいです。
単なる「AIでコードを書かせた」話ではなく、アイデア探索まで踏み込んだ実例と、失敗を詳細に振り返った実践Tipsが豊富。ツールの具体的な使い方や「人間に残った役割」が明確に書かれている点が強いです。
speakerdeck.com/k951286/ima-…
AIエージェントにデータ分析を任せる前提で、データ基盤をどう作り直すかを、メルカリの分析エージェント「Socrates」の実例から追える資料です。
会話で要求を具体化し、カタログと説明文からデータを見つけ、クエリとPythonで分析まで進める流れが整理されています。社内にデータ基盤やBigQueryはあるが、AIエージェントに渡すとテーブルを間違える・列の意味を取り違える、という人に向きます。
・分析要求の理解から仮説、クエリ生成、Pythonでの加工・可視化、結果の解釈、レポート化までの機能分解 ・「AIエージェント=LLM+Context」と切り、知識の選択・圧縮やツール側でどこを直すかの見取り図
・発見可能性を最優先にし、テーブル名・データセット名・列descriptionをエージェントが正しく読める状態にするポイント
効果測定の定型集計をエージェントに任せるとき、どのテーブルを渡すか・説明文をどこまで書くかの設計レビューに使えます。広告や満足度のアドホック分析でも、「目的に対応するデータを自分で見つけられるか」を基盤側のチェックリストに落とせます。
エージェントのデモ紹介やプロンプト例の羅列と違い、データ基盤との対話(カタログ・説明文・権限・長期記憶)まで一気通貫でつながっており、基盤改修の優先順位を決めるときに見返せます。speakerdeck.com/na0/ai-ezien…
因果推論における「効果の異質性」を、MTEとCausal Tree/Forestの両面から整理できる。観察できない要因まで含めた検証の考え方と、観察できる属性でCATEを推定する実務寄りの流れが掴めます。
・ATEとCATE、効果修飾の違いを押さえたうえで、異質性を「観察可能/観察不可能」の両軸でどう切り分けるか
・MTEの定義・導出のイメージと、大学進学の限界収益のような実例での読み方
・決定木・ランダムフォレストの前提からCausal Tree/Forestへつなぎ、ホームエナジーレポートの節電効果のようなCATE推定の使いどころ
「全体平均はプラスなのに、一部セグメントでは逆効果」といった施策の当たり外れを、事後的に分解して次の対象選定に回す判断材料にできる。誰に介入すべきかを平均効果の外から見る視点が身につきます。
MTEとCausal Tree/Forestを一つの流れで対比している点が強いです。理論の導出で終わらず、実例まで落としているので「どっちの手法をいつ使うか」の分岐が残る。
保存して、次に施策効果の内訳を見るときに開く用にしておくと便利です。
speakerdeck.com/taka88/fores…
数理最適化と機械学習の融合アプローチ(久保幹雄先生)が、予測してから最適化するだけでは足りない理由と、実務で使える6つの融合パターンを体系的に整理した資料です。
「予測して最適化」だけでは失敗しやすい理由と、ML→MO / MO⊃ML / ML⊃MO / RL・MPC融合までの6分類、および在庫・配送・スケジューリングへの落とし方。
・MLでコストや需要を予測してから数理最適化するパターンと、SPO(Smart Predict-then-Optimize)で「最適化結果の差」を直接最小化する方法
・MIPLearnやOptimization Proxyのように、過去の最適解からヒントを学習してMIPを高速化するML4MOの考え方
・最適決定木や区分線形回帰など、分類・回帰そのものを数理最適化で解くMO4MLと、動的ロットサイズ・配送計画へのMPC+シナリオ生成の枠組み
需要や移動時間の予測値をそのまま目的関数に入れるのではなく、文脈付きシナリオやリコースを持った多期間モデルに置き換える判断基準が得られます。在庫・配車・起動停止のような「予測が外れると計画が崩れる」業務で、どこまでMLに任せてどこから最適化に戻すかの切り分けに使えます。
単なるサーベイではなく、分類・推薦・スケジューリングまで同じ枠組みで横断し、「なぜ予測→最適化が失敗するか」と新しい動的フレームワークまで一気に繋がっています。
speakerdeck.com/mickey_kubo/…
機械学習・深層学習・統計の先で、写真や動画から「立体の形と動き」を復元する流れを一本で追える資料です。
点の集まりの統計処理から、NeRF、3D Gaussian Splatting、写真を入れるだけで立体を出す基盤モデルまで、名前と役割が先に揃います。
・箱のマス目・点の集まり・面のつなぎ、という昔からの持ち方と、関数で形を表す深層モデルの違い
・写真を重ねて立体を学ぶやり方(NeRF)から、粒を置いて速く描くやり方(3D Gaussian Splatting)への移り変わり
・1枚ずつ最適化せず、写真を入れるだけで奥行きやカメラ位置まで出す新しい型(DUSt3R、VGGT)と、文章と立体をつなぐ入口
店舗なら棚や売り場を写真から立体にして、欠品・死に筋・導線の確認を週次の需要予測に足す。広告なら商品を1回撮って任意の角度の静止画・動画素材に回す。工場や物流なら形状のばらつきを、目視から点のずれの数値監視に落とす。満足度調査なら店舗体験の自由記述を、混雑や棚の見え方の空間データと突き合わせる下準備にも使えます。
個別論文の「動かしてみた」や手法名の辞書と違い、表現・計測・生成・言語接続が120枚超で時系列につながっており、案件の前に「今どの世代の手法か」を見返す地図としてブックマークしやすい完成度です。
speakerdeck.com/nnchiba/miru…
「モデルを大きくすれば性能が上がる」はどこまで本当で、どこからデータや推論の質に切り替わるのか。スケーリング則の理論的な根拠と、Transformer・拡散モデル・Chain-of-Thought・In-context learningまでを数理で追える資料です。
深層学習の経験則は知っているが「なぜその伸び方なのか」を説明できない人、LLMの事前学習・事後学習・テスト時推論の設計を理論側から見直したいデータサイエンティストに向きます。
・古典的な学習理論でも現れるスケーリングの形と、深層学習が低次元・非均一な関数で有利になる理由の違い
・Transformerがトークン選択で次元の呪いを避け、無限次元入力でも多項式オーダーで収束する推定理論
・CoTで中間結果をトークン化するとデータ効率が改善する話と、ICLを「事前学習で特徴、テスト時で係数」と分ける定式化
広告・満足度のLLM活用では、教科書並みの高品質データや自動生成をどこに効かせるかを切り分ける材料になります。
経験則のグラフ紹介や「スケールすれば上がる」まとめと違い、古典理論との接続からCoT・ICLの数理、良質データとテスト時計算の位置づけまで一本でつながっており、次の学習設計を決めるときに見返せる完成度です。
speakerdeck.com/taiji_suzuki…
Kaggleの過去コンペ上位解法を、参加せずにAIエージェントでレポート化する手順がわかります。Meta KaggleのDiscussionを前処理して、Codex・Deep Research・自作エージェントの出力品質まで比較できます。
未参加コンペの勝ち筋を短時間で把握したい人、解法調査を手作業から外したいデータサイエンティストにオススメです。
・Meta Kaggleからコンペと上位投稿を抜き、キーワードでノイズを落としてMarkdown化する前処理
・Codexは概要と画像挿入は速いが深掘りが薄い、Deep Researchは共通点・相違点と引用URLまで厚い、という使い分け
・LangChain+ベクトル検索で順位とKaggle URLを正確に引くカスタム構成と、実用ではDeep Research API自動化が現実的、という判断
需要予測なら類似の時系列コンペ上位の特徴量・検証設計を、効果測定なら因果・アップリフト系の勝ちパターンを、広告ならCTR予測の前処理とアンサンブルを、満足度調査ならテキスト分類の上位解法を、社内レビュー用の比較表に落とせます。
「上位解法を要約しました」で終わる紹介と違い、データ準備から3種類のエージェント比較、引用の正確さ、実用時の自動化方針まで一本なので、次のコンペ前に見返してブックマークしやすい完成度です。
speakerdeck.com/kuto5046/kag…
GPUに載らない大規模モデルを、精度を落とさず「どの順番で小さくして育てるか」まで一本で決められる資料です。量子化×ファインチューニングの試す順番、メモリ不足、精度と推論速度のトレードオフの理解が深まります。
・重みを小さい整数に丸めてメモリを減らす「量子化」と、自社データで答え方を寄せる「再学習」は、先に小さくしてから少しだけ育てるやり方と、先にしっかり育ててから小さくするやり方がある
・まずは定番の「小さくしてから一部だけ学習(QLoRA)」を試し、精度が足りなければ「全部学習してから圧縮」に切り替える、という判断の順番
・Kaggleの実コンペで同じ土俵比較し、全部学習してからGPTQで圧縮した方が検証スコアは高く、QLoRAは推論が一番遅かった、という結果と理由(推論時に元の精度へ戻す処理が残る)
需要予測なら週次コメント生成や欠品理由の分類モデルを、売上データを社外に出さず自社GPUに載せる手順に落とせる。効果測定・広告なら文案判定や施策要約を「まず安く回す/精度が足りなければフル学習後に圧縮」で予算とレイテンシを切り分けられる。満足度調査なら自由記述の分類モデルを、メモリ上限の中でどこまで精度を取りに行くかの説明資料にも使えます。
どの組み合わせから試すかの方針・同じデータでのスコアと推論時間・再現用コードまで一本なので、案件ごとに見返してブックマークしやすい完成度です。
speakerdeck.com/sinchir0/lia…
東大松尾研サマースクール2023「大規模言語モデル」Day5の講義資料です。
「プロンプトを足すだけ」では口調も形式も安定しない壁を、ファインチューニングで越える地図です。指示の型を教えるか、全部は触らず一部だけ直すか。追加学習の要否と、自社データでどこまで寄せるかが先に決まります。
・事前学習のあとに何をするか。指示と理想回答の組で話し方・形式を教えるファインチューニングと、全部の重みを更新するファインチューニングの違い
・教えるデータは量より質。1000件の良い例で、人の評価で直したモデルより良い回答が出た、という報告と、有害な例は入れない・指示の言い回しは散らす、という作り方
・全部を更新せず、後付けの小さな部品だけ・一部の層だけを更新するファインチューニングの地図。精度は近く、保存は部品だけ、推論が重くなるもの/ならないものの使い分け
需要予測なら週次コメントの口調と項目順を自社フォーマットに固定する、効果測定なら実験結果の読み方を「結論→数字→注意」の型で一次レポートまで揃える、広告なら禁止表現を避けた文案の型を担当者ごとに切り替え、満足度調査なら自由記述の要約粒度を設問単位で揃える、といった下書きの型づくりにそのまま使えます。
全部をファインチューニングし直す前に「部品だけ足して試す」判断にも落とせます。
補足として、2023年の講座資料なので、実装手順や量子化を組み合わせた最新の追加学習までは入りません。
speakerdeck.com/schulta/llm-…
AIが「知らないことは答えられない」壁を、質問と一緒に教える・苦手は手伝わせる・次回のために覚えておく、の3つで越えて、段取りと役割分担まで自分で回す仕組み(AIエージェント)を、専門用語なしで追える資料です。
・対話できるAIは、脳のつながりをマネした計算から、文字を書く・ネットの知識を入れる・話し方を教える、と段階を踏んで出てきた、という前史
・知らないことに答える3つの手当。質問の横にルールや資料を添える、検索や社内データを代わりに取る、好みや前回の反省を残して次に使う
・難しい依頼は、段取りを切る・得意な役に分ける・自動で下ごしらえする・大事な判断は人に戻す、までを1枚の流れで示す
需要予測なら週次の欠品確認を「段取りを切って在庫と販促を分担させる」下書きに、効果測定なら実験結果の読み取りを役割分けして一次レポートまで進める、広告なら文案と配信結果の突き合わせを自動下ごしらえ+出稿判断は人、満足度調査なら自由記述の要約と前回指摘の持ち越しを同じ型で回す、といった社内説明にそのまま使えます。
非エンジニア向けの導入1枚にも落とせます。用語集から入る解説や「動かしてみた」記事と違い、歴史・できない理由・3つの手当・段取りと役割分担まで、初見でも追いながら最後に用語が付くので、説明資料として先にブックマークしやすい完成度です。
speakerdeck.com/segavvy/ben-…
深層モデルは重みも作り方も分かっているのに、入力から答えまでの「手順書」だけが見えない。その手順書をリバースエンジニアリングする 回路分析・解釈可能性の新しい潮流 を、用語の地図から手法の分け方まで追える資料です。
・よくある説明(入力を少し動かして効き方を見る)は「入出力の対応」まで。こちらは中の部品とつながりの因果まで読む、という立場の違い
・部品の単位(特徴)、部品のつなぎ方(回路)、1つの部品が複数の意味を持つ問題、次元より多い情報を圧縮して持っている問題、まで先に揃える見取り図
・触らずに観察するやり方と、途中の値を入れ替えて「本当に効いているか」を確かめるやり方の使い分け。分解して読みやすくする道具と、大規模だと手作業が追いつかない限界まで
需要予測なら「なぜこの週だけ跳ねたのか」を変数寄与で終わらせず、モデルがどのパターンを内部で組み立てたかの説明方針に使える。効果測定・広告なら判定根拠を出稿前レビューや監査資料に載せるときに、「表面の効き方」と「中の手順」のどちらを出すかを切り分けられる。社内LLMを信用してよいか、という経営・リスク向けの導入資料にもそのまま落とせます。
手法名の紹介や「可視化してみた」記事と違い、他の説明手法との境界・基本概念・観察と介入・課題(規模・評価・部品の多義性)まで41枚で一本につながっており、説明方針を決めるときに見返せる完成度です。
speakerdeck.com/koshiro_aoki…
予測は当たるのに「なぜそう出たのか」を説明できない問題を、事後説明・自己説明・説明でモデルを直す・説明の悪用まで一本で追える資料です。
複雑なモデルほど中身が見えにくい、という前提から入ります。精度は出せるが、事業部や監査から「どの変数が効いたか」を聞かれたときに詰まる人、統計の回帰係数までは読めるが深層モデルの説明に踏み出せていない人に特に向きます。
・学習済みモデルに後から「この一件で効いた変数」を付けるやり方(入力を少し動かして近似する/勾配を積む/一部を隠して見る)の使い分けと、計算の速さの差 ・説明の良さの測り方(人間が使えるか、モデルの動きに本当に近いか、似た入力で説明がぶれないか)
・説明は人に見せるためだけではない、という論点。説明を学習に戻してモデルを整える、知識を小さなモデルへ移す、逆に説明から元データが復元される危険まで
効果測定なら「施策群に乗った人のスコアがこう出た理由」を一件ずつ分解する、広告ならクリエイティブ判定の根拠を出稿前レビューに載せる、満足度調査なら低スコア要因を設問単位で説明する、といった説明資料と監査対応にそのまま使えます。説明を出して終わりにせず、効いてほしくない変数が効いていたら学習側を直す、という改善ループにも回せます。「説明は人のためか」を軸に評価・学習への再利用・悪用の防御までつながっており、案件の説明方針を決めるときに見返せる完成度です。
speakerdeck.com/yuyay/jsai20…
