Sho Shimauchi (@shiumachi) profile picture

Solutions Architect at @databricks / English Account: @shoshimauchi_en / Amazonアソシエイト参加中 / Bluesky: https://xitter.cf/t.co/LVbOpE5Bn6 投稿は個人の意見であり会社の公式発信ではありません

Tokyo, Japan
Joined December 2007
Photo by Sho Shimauchi (@shiumachi)Photo by Sho Shimauchi (@shiumachi)Photo by Sho Shimauchi (@shiumachi)Photo by Sho Shimauchi (@shiumachi)Photo by Sho Shimauchi (@shiumachi)Photo by Sho Shimauchi (@shiumachi)Photo by Sho Shimauchi (@shiumachi)Photo by Sho Shimauchi (@shiumachi)Photo by Sho Shimauchi (@shiumachi)Photo by Sho Shimauchi (@shiumachi)
【連載第3回公開📣】 そのAI、将来も自由に選び直せますか? 進化の速いAIエージェント。特定のモデルや製品に業務の仕組みを合わせすぎると、より適した選択肢が登場しても、乗り換えが難しくなることがあります。 🔗news.mynavi.jp/techplus/arti… 今回のテーマは、AI活用を支える「4つのC」の一つ、Choice(選択肢)。データと業務の文脈を自社の資産として持ち続けながら、用途やコストに応じてAIを選べる設計を解説します。 ✅ 業務に合わせたLLMの比較・評価 ✅ AIの実行を支える「ハーネス」の選択 ✅ MCPやAgent Skillsによるツール・スキルの再利用 ✅ オープンなデータ形式を活用した基盤づくり モデルや製品が変わっても、業務データやAIの利用ログ、評価結果は、将来のAI選定にも生かせる企業の資産です。選択肢を広げる際には、統制もセットで考えることが重要です。 AIエージェントの本番活用に向けて、将来の選択肢を守る設計のポイントをぜひご覧ください。 #Databricks #AIエージェント #データ活用
4
15
1,063
Sho Shimauchi retweeted
#dbts2026 でお話させていただいたスライドです! コミュニティ枠ということでお話頂いていましたので、色々悩みましたが、「Databricksの技術の源泉である論文と、ドッグフーディング」的なお話をさせていただきました😅 JEDAIも赤煉瓦倉庫もですが、ドンドン盛り上げていければと思いますので今後ともDatabricksをよろしくお願いいたします! DBTS2026 盛り上がってますか!?Databricksが実現するAI時代のデータ基盤 speakerdeck.com/akuwano/dbts…
11
52
2,500
🧠 AIエージェントに、過去の学びを次の仕事へ活かす「記憶」を 🔗databricks.com/jp/blog/memcu… 永続メモリアーキテクチャ「MemCurrent」は、ユーザーの好みや過去の修正、業務知識、成功した手順を記憶し、次のタスクに活用。バックグラウンドで重要な学びを抽出し、重複や矛盾を整理します。 社内ベンチマークでは、メモリなしと比較して ✅ タスク達成率が約3倍に ✅ トークン使用量を31%削減 ✅ レイテンシを26%削減 Genieや、Lakebaseを活用したAgent Bricks Memoryを支える設計と検証結果をご紹介します🔥 #Databricks #AIエージェント #生成AI
4
21
1,309
Sho Shimauchi retweeted
Databricks で Kimi K3.1 も Day 0 で即時リリース! オープンウェイトモデルもすぐ使えるDatabricksです!
Kimi K3.1 Pro is available on Databricks on day 0. Build governed AI apps and agents on Lakehouse data with Kimi K3.1 Pro and 70+ other models. Unity Gateway lets you govern, monitor and secure calls, and test models without changing app code.
2
5
853
📊 データを移行せずに、投資判断のインサイトを引き出しませんか? Databricks Lakehouse Federation で実現する分析をご紹介します! ▶︎databricks.com/jp/blog/unloc… 🔗 外部データを、その場で分析できます SQL Server、PostgreSQL、Snowflake などに接続し、Databricks から標準 SQL で直接クエリできます。分析用のコピーや同期、複雑な ETL パイプラインの構築を減らせます。 💼 社内の保有データ × 外部の財務データを組み合わせます 記事では、オンプレミス SQL Server のポートフォリオ保有データと、Databricks Marketplace の FactSet 財務データを活用しています。Unity Catalog 上で管理し、1 本の SQL で結合できます。 💬 ダッシュボードでも、自然言語でも確認できます 同じクエリをダッシュボードと Genie に活用します。ビューなどの永続化オブジェクトを作らず、SQL を書けない担当者も保有資産合計や予想収益、高リスク比率を把握できます。 🏥 投資以外にも応用できます 医療の患者記録、製造の IoT、小売の POS へ。「データを動かさずに分析する」可能性が広がります。 #Databricks #LakehouseFederation
2
10
865
Sho Shimauchi retweeted
a16z の Ben Horowitz 氏らによる、Databricks に関するエッセイです。AI エージェントの時代に企業組織がどう変わるのかを論じた内容で、大変示唆に富んでいました。 ・AI 活用の課題は、モデルの性能よりもコンテキストにある。何が正しい情報で、それが何を意味し、誰にどこまでの権限があるのか。この知識をエージェントが扱える形で整えることが、今後の競争力の源泉になる ・階層型の組織は、もともと情報を伝えるための仕組みだった。その役割を AI が担うことで、組織はネットワーク型へと移っていく。それでも、人材を育て判断を下すマネージャーの役割はなくならない ・同じモデルを使っていても、判断と結果を記録し、学習のループを回せる企業が優位に立つ エージェント活用とエージェントによる組織変革へ挑戦されている方はよろしければ、お読みください。 a16z.news/p/databricks-and-t… #databricks
2
6
490
Databricks Japan の採用チームが、DSA (Delivery Solutions Architect) のメンバー4人へのインタビュー記事を公開しました。 DSAは、お客様が導入を決めた後、本番運用で成果が出るまでを技術面からリードする職種です。前職はコンサル、SIer、ベンダー、事業会社とさまざまで、Databricksの製品経験は必須ではありません。 気になった方はぜひ読んでみてください。 qiita.com/DatabricksJapanTA/…
2
24
3,567
💡 AIは「どれだけ使ったか」から「どれだけ価値を生んだか」へ。コスト管理の新たな経済学を、Databricksがお届けします。 ▶︎databricks.com/jp/blog/ai-co… 📊 評価軸は消費量からROIへ トークン消費量を追う「tokenmaxxing」ではなく、1ドルあたりのビジネス価値を高める「valuemaxxing」が重要です。チーム・プロジェクト・顧客・機能ごとに支出を紐づけ、投資効果を測ります。 ⚙️ 必要な情報とモデルを、必要なときだけ 情報はツール経由でオンデマンド取得し、コンテキストの肥大化を抑えます。タスクの難易度に応じてモデルを選び、高性能モデルへの過剰な依存を減らします。 🛡️ 予算には段階的なガードレールを チーム別予算や利用上限を設定します。予算の70%消費時点で高コストモデルの利用を絞るなど、使い切る前に対策します。 🔍 AI Gatewayで全体を可視化 すべてのAI通信を一元管理し、監視・コスト配分・予算適用を集約します。処理全体のトレーシングと実験で、無駄の削減と品質維持を検証します。 🚀 「測定できないものは管理できない」。エージェント活用が本格化する前に、管理基盤を整えましょう。 #Databricks #AI #コスト最適化
1
8
941
🔓「オープンフォーマット対応」だけで、本当にオープンと言えますか? 真にオープンなカタログを見極める3つの条件と、Unity Catalogの取り組みをご紹介します。 ▶︎databricks.com/jp/blog/what-… ✅ データは「お客様のもの」 ・テーブルはプロバイダー所有ではなく、お客様自身のクラウドストレージに置くことが重要です。Unity Catalogでは、マネージドテーブルの99%がお客様所有のストレージ上にあります。 ⚙️ 自分のストレージでも機能はフル活用 ・「マネージド」は所有ではなく、保守を担うという意味です。自動最適化や不要ファイルの削除、削除したテーブルの最大30日間の復元などを利用できます。 ・Zeptoでは、年間100万ドル以上のストレージコスト削減を実現しています。 🔄 コピーせずにカタログを移行 ・DatabricksはApache Iceberg RESTカタログ仕様にUNREGISTERを寄贈しました。REGISTERとの組み合わせで、データをコピー・移動せずにテーブルの登録先を変更できます。 ・現在はプライベートプレビューです。ご希望の方は担当アカウントチームへご相談ください。 #Databricks #UnityCatalog #レイクハウス
2
1
19
2,570
🧠 AIエージェントが「覚えて、学び、次はもっと賢く動く」。 Databricksが発表した本番環境向け永続メモリ設計「MemCurrent」をご紹介します! ▶︎databricks.com/jp/blog/memcu… 📚 記憶は「履歴」と「学び」の2層です 会話履歴を残す「エピソードメモリ」と、知識や手順を構造化して蓄える「派生メモリ」を組み合わせます。学びを活用しながら、必要な詳細も振り返れます。 🔄 記憶の使い方は3通りです 自動で読み書きするプラグイン、エージェントが呼び出すツール、裏側で記憶を整理・統合する「ドリーミング」を使い分けます。Agent Bricks MemoryやGenieの基盤として稼働しています。 📊 精度と効率を両立します 公開ベンチマークでは、入力トークン数を約1/12に抑えながらフルコンテキストと同等の精度を達成しました。社内評価では、メモリなし比でパス率が22.3%→68.4%に向上し、高速化・低コスト化も実現しました。 ⚡ 経験を次の行動に生かします 約6分・11回のツール呼び出しを要した調査手順を記憶し、類似タスクを41秒・2回で完了した事例もあります。 #Databricks #AIエージェント
4
1
43
2,757
🚀 レイクハウスでのデータウェアハウジングが、さらに進化します! Databricksのマルチステートメント トランザクションが一般提供(GA)を開始しました。Delta LakeとApache Icebergの両方に対応します。 ▶︎databricks.com/jp/blog/trans… 🔄 複数の処理・テーブルの更新を「すべて成功」または「すべてロールバック」で実行できます。たとえば、売上テーブルと在庫テーブルをまとめて更新し、途中で失敗したら両方を元に戻せます。 💡 トランザクション制御のために別のデータウェアハウスを用意する必要がなくなります。データの重複コピーや移動、ガバナンスの二重管理、整合性を保つための独自コードを削減できます。 ⚡ 行レベルの並列処理により、同じ行を更新しない複数のトランザクションが、同一テーブルへ同時に書き込めます。整合性を守りながら、処理の並列性を高めます。 🛠️ ストアドプロシージャや一時テーブル、Unity Catalogの行レベルセキュリティ・列マスキングにも対応します。複数テーブルを更新するETLや既存プロシージャの移行を、オープンなレイクハウス上で支えます。 #Databricks #Lakehouse
5
1
27
1,831
Sho Shimauchi retweeted
Databricksは本番環境のエージェントがゼロからやり直すのを防ぐために設計された永続的なメモリアーキテクチャとしてMemCurrentを作りました! MemCurrentは、3つのアクセスパターンにわたってエピソードメモリと派生メモリを組み合わせています • コンテキストを自動的にログに記録し、読み込むためのプラグイン • エージェントがオンデマンドで呼び出すツール • バックグラウンドでメモリを統合するオフラインの"Dreaming"パイプライン エージェントは、ユーザーの好み、以前の修正、指標の定義、および成功したワークフローを毎回のセッションで毎回再発見するのではなくそれらを引き継ぎます! 実際の企業データから構築した内部ベンチマークでは、MemCurrentはエージェントのパス率を3倍、トークンを31%少なく使用、26%高速に動作! これはAgent BricksのMemory機能に組み込まれており、すでにGenieのメモリとしても活用されています!! databricks.com/blog/memcurre…
3
11
1,265
🔥JEDAI特別回🔥 Databricks DevConnect Tokyo開催します! ▶︎jedai.connpass.com/event/407… いつものJEDAI Meetupとは少し趣向を変えた特別回となる、『Databricks DevConnect Tokyo』を11/5に開催いたします! ✨Databricks本社のDeveloper Relationsチームが世界各地の都市で開催している技術ミートアップ「Databricks DevConnect」の東京版を、JEDAIとの共同開催でお届け! ✨今回はDatabricksのメンバーが登壇し、最新技術を実践的な視点でご紹介いたします、セッションはデータ基盤の最新機能、AIを活用した開発ワークフロー、そしてデータの専門家以外への成果の届け方などなど多種多様なテーマでお話します! ✨会場は豊洲、イベントパートナーにはNTTデータ様をお迎えしてお届けいたします セッション後は軽食とドリンク付きのネットワーキングもありますので、ぜひお気軽にご参加ください🥤 📅日時:2026年11月5日(木)17:00受付開始、18:00イベント開始 📍場所:INFORIUM豊洲イノベーションセンター(東京都江東区豊洲3-3-3 豊洲センタービル10F) 👤主催:Databricks Developer Relationsチーム、データブリックス・ジャパン 👤イベントパートナー:株式会社NTTデータ 💰参加費:無料
10
1
32
3,695
Sho Shimauchi retweeted
📣 東京のDATA+AIの皆さん、さらなるスキルアップがきましたー! Databricks DevConnect!東京開催です! 東京に最高の熱気をお届けします!🔥 🔹 Tech Deep Dive:Lakehouse//RT や LTAP を活用したリアルタイム配信から、Omnigent、Managed MCP、Unity AI Gateway によるエージェントガバナンスまで徹底解説。 🔹 ライブデモ:Genie ZeroOps による自己修復パイプラインや、Slack・Teams 向けに構築された最新トレンドのアプリの動きを間近で体感。 🔹 ローカルネットワーキング:MVP、Databricks のプロダクトマネージャー、そして東京のDATA+AIリーダーたちと直接交流! 🔹 最高の環境:美味しい食事、限定ノベルティ(Swag)、そしてデータ領域における最高のコミュニティがあなたを待っています! エンジニアによって、エンジニアのために作られたイベントです!🏗️ 席数には限りがありますので、今すぐ参加を!👇 events.databricks.com/devcon… #DevConnect #Databricks #meetup #data #AI
1
4
1
23
2,870
Lakebase Searchが日本語・中国語・韓国語の全文検索に対応🔥 lakebase_tokenizer 0.2.0では、形態素解析と内蔵辞書で文章を意味のある単語に分割。辞書の自作なしで利用でき、BM25ランキングとも併用可能です。既存の設定・インデックスを変更せずに更新できます。 #Databricks #Lakebase docs.databricks.com/aws/en/r…
5
2
26
3,463
Sho Shimauchi retweeted
Databricksはリアルタイムデータウェアハウスである、Lakehouse//RTを使った、空間SQLおよび空間結合のサポートを開始しました!!(現在ベータ版) これにより、別途専用のシステムを構築・同期することなく、ガバナンスの効いたレイクハウスデータに対して直接、超低遅延かつ高同時実行の地理空間クエリを実行できるようになります! 従来のクラウドデータウェアハウスと比較したベンチマークでは、50人の同時接続環境下で最大38倍(平均でも3倍以上)の高速化を達成しています! 既存のクエリのコードを変更せずに移行可能で、通信、エネルギー、保険、物流などのリアルタイムな位置情報分析のパフォーマンスを劇的に向上させます! Reydenの新たな力です! databricks.com/blog/geospati…
5
14
1,460
Sho Shimauchi retweeted
DatabricksのノーコードパイプラインツールであるLakeflow Designerの最新アップデートです! データクレンジング、重複排除、品質チェックがノーコードで行えたり、JoinやFilterが拡張され、動的な列選択や入出力のパラメータ化に対応したり、MVなど出力オプション拡充もしています、既存テーブルへのマージ、ファイルへの直接出力もできるように! 今後はレポート機能なども追加される予定となっております! パイプラインを簡単に!Lakeflow Designerです! databricks.com/blog/whats-ne…
4
20
1,588
Sho Shimauchi retweeted
DatabricksのLakebaseは、テラバイト規模のデータロードを劇的に高速化し、OLTPをも保護するLTAPアーキテクチャを導入しました! 従来のPostgresは一括ロード時に単一のプライマリノードへ負荷が集中し、稼働中のアプリのパフォーマンス低下を招く課題がありました LTAPは、この重いバッチ処理をSparkなどの分散エンジンにオフロードします! Sparkが並列でページとインデックスを構築し、直接ストレージに書き込むことで、プライマリへの負荷を完全に回避することに成功しています! 結果として、本番環境の処理に影響を与えることなく、ロード速度が最大147倍向上し、1TBのデータを5分未満で処理可能になりました! OLAPからOLTPへの低コスト、低レイテンシでのデータ連携を実現するLTAP!ぜひお試しください!
1
6
39
3,150