オーガニックソフトウェアの会社を立ち上げました
・熟練プログラマーが、バグが出ないよう祈りながら、一行一行心を込めて書き上げます
・AI生成コードにはない、人の手による温かみ
・ 人間による手作業のためまれにバグが混入しております。それも手仕事ならではの味わいとしてお楽しみください
Sotaro Katayama retweeted
Introducing GEN-1.
Our latest milestone in scaling robot learning.
We believe it to be the first general-purpose AI model to master simple physical tasks.
99% success rates, 3x faster speeds, adapts in real time to unexpected scenarios, w/ only 1 hour of robot data.
More🧵👇
大学の研究室の後輩(一年しか被ってないけど)が頑張っててすごい!
本日、トヨタからヒューマノイド技術の記事が投稿されました!新卒1年目で実機歩行まで達成したバケモノみたいな同期の執筆です🥲
未来創生センターに興味・関心ある学生さんには特に仕事の内容が直接見える、オススメの記事です!
global.toyota/jp/mobility/fr…
Sotaro Katayama retweeted
I’m so tired of writing rebuttals to this kind of “lack of novelty” review: “This paper trivially combines A, B, and C, so the algorithmic novelty is limited.”
Technically, most (if not all) robotics papers are convex combinations of existing ideas.
I still deeply appreciate A+B+C papers—especially when they deliver:
- New capabilities: the “trivial combination” unlocks behaviors we simply couldn’t achieve before
- Sensible & organic design: A+B+C is clearly the right composition—not some arbitrary A′+B+C′
- Nontrivial interactions: careful analysis of the dynamics, coupling, or failure modes between A, B, C
- Rehabilitating old ideas: A was dismissed for years, but paired with modern B/C, it suddenly works—and teaches us why
- System-level & "interface" insight: the contribution is not any single piece, but how the pieces talk to each other
- Scaling laws or regimes: identifying when/why A+B+C works (and when it doesn’t)
- Engineering clarity: making something actually work robustly in the real world is not “trivial”
- New problem formulations: sometimes the real novelty is in the reformulation—only under this view does A+B+C make sense.
Maybe worth keeping these in mind when reviewing the next A+B+C paper : )
Sotaro Katayama retweeted
SONIC is now open-source!
Generalist whole-body teleoperation for EVERYONE!
Our team has long been building comprehensive pipelines for whole-body control, kinematic planner, and teleoperation, and they will all be shared.
This will be a continuous update; inference code + model already there, training code and gr00t integration coming soon!
Code: github.com/NVlabs/GR00T-Whol…
Docs: nvlabs.github.io/GR00T-Whole…
Site: nvlabs.github.io/GEAR-SONIC/
Sotaro Katayama retweeted
【衝撃】Claude Code開発チームが「手の内」を全公開。中の人たち、ガチでヤバい使い方してた。Anthropicが公式ドキュメントでClaude Code開発チームの「実際の使い方」を公開。これ、AI支援開発の新しい「型」を定義してる。
詳しく解説する👇
①開発チームの実態がヤバすぎる
・開発チームの一人「6ヶ月以上、SQLを1行も書いていない」
・Claude Code開発者「先月一度もIDEを開いてない」(前回の取材で判明)
・バグ修正は「fix」の一言で完了。マイクロマネジメントしない
・Slackのバグ報告スレッドをペーストして「fix」だけ。コンテキストスイッチングゼロ
もうコードを「書く」仕事じゃない。AIのワークフローを「設計」する仕事になってる
②3つの核心テクニック
【Parallel Workflows(並列ワークフロー)】
・開発チームが「一番の生産性向上」と断言
・普通の人→Claude Codeを1つ起動して順番に作業
・開発チーム→3〜5個のgit worktreeを同時起動、それぞれでClaude Codeを並列実行で待ち時間がゼロ。1つが処理中でも別のworktreeで次のタスクを進められる
具体的なセットアップ:
・worktreeに名前をつけて、シェルエイリアス(za, zb, zc)を設定
・ワンキーで各worktree間を瞬時に切り替え
・「分析専用」のworktreeを用意して、ログ確認やBigQueryだけを実行
【Adversarial Reviews(AI同士のレビュー)】
・Claudeを「部下」ではなく「厳しいレビュアー」として使う
・1つ目のClaudeに計画を書かせる
・2つ目のClaudeに「シニアエンジニアとしてレビュー」させる
・「この変更について厳しく質問して。テストに合格するまでPRを出すな」と指示
中途半端な修正の後はこう言う:
「今わかっている全てを踏まえて、これを捨てて、エレガントな解決策を実装して」
【Agentic Architecture(サブエージェント活用)】
・AIにAIを管理させる
・リクエストの末尾に「use subagents」と追加
→Claudeが問題により多くの計算リソースを投入
・個別タスクをサブエージェントにオフロード
→メインエージェントの文脈を汚さない
・フックでOpus 4.5に権限リクエストをルーティング
→安全なものだけ自動承認
③CLAUDE.mdで「学習するAI」を作る
・これが一番エグい
・開発チームは毎回同じミスを指摘しないでこう言う↓
「このミスを二度としないように、CLAUDE.mdを更新して」
・Claudeは自分自身のルールを書くのが異常にうまい
・時間をかけてCLAUDE.mdを編集し続ける
・Claudeのミス率が測定可能なレベルで下がるまで繰り返す
・タスク/プロジェクトごとに「notesディレクトリ」を作り、PRごとに更新させる
・AIが自分のルールを書いて自分で改善していく
・これ、前回話した「再帰的ループ」の小規模版
④カスタムスキルをgitにコミット
開発チームのルール:
「1日に2回以上やることは、スキルかコマンドにしろ」
実際に使われているスキル例:
・/techdebt → セッション終了時に重複コードを検出・削除
・/sync → 7日分のSlack・GDrive・Asana・GitHubを一括取得
・カスタムエージェント → dbtモデル作成・コードレビュー・devテスト
・一度作ったら全プロジェクトで再利用。自分だけの「AI武器庫」を構築する発想
⑤その他の実践テクニック
【Plan Mode(計画モード)】
・いきなりコードを書かせない。まず設計図を完璧にする
・うまくいかない時に無理やり押し進めるな。計画モードに戻れ
・8割の時間を計画に、2割を実装に
【ターミナル環境】
・開発チームの推し:Ghostty
・音声入力を使え。「タイピングの3倍速で話せる。プロンプトが圧倒的に詳細になる」
・macOS: fnキーを2回押し
【学習モード】
・/configで「Learning」出力スタイルを有効化
→変更の「理由」まで説明してくれる
・「このコードを説明するHTMLプレゼンテーションを作って」
→驚くほど良いスライドができる
正直に言うと、この公開情報を見て確信したのは開発者がコードを書く時間は極限まで削られ、代わりに「AIのワークフロー設計」がメイン業務になる。
これ、1年後の開発現場のスタンダードになってる可能性がマジで高い。
だからこそ逆説的に、今AIど真ん中に全振りするのは超危険だと思ってる。
むしろAIから遠い領域を見つけて、そこに少しずつAIを適用していく。そっちの方が競合がいない。この認識のズレが1年後に致命的な差になると思ってる。
I'm Boris and I created Claude Code. I wanted to quickly share a few tips for using Claude Code, sourced directly from the Claude Code team. The way the team uses Claude is different than how I use it. Remember: there is no one right way to use Claude Code -- everyones' setup is different. You should experiment to see what works for you!
Sotaro Katayama retweeted
We believe robots need instinct, not only reasoning.
Introducing Project-Instinct — a full-stack, instinct-level whole-body control toolkit for legged & humanoid robots.
🔗 project-instinct.github.io
(1/3)
Sotaro Katayama retweeted
• Edge-Aware Safety: Novel volumetric edge penalization prevents slipping on terrain edges.
• Extremely dynamic: Robust traversal at up to 2.5 m/s!
• Open-sourced: All codes for training, deployment are open-sourced!
👇 Check out the project page!
project-instinct.github.io/h…
Sotaro Katayama retweeted
Using attention-based map encoding, we enable robots to traverse extremely sparse terrains. We are now developing a new architecture that explicitly plans contact points, rather than latent representations, enabling whole-body contact planning for humanoid robots. Stay tuned.
Sotaro Katayama retweeted
We just released results for our newest VLA from Physical Intelligence: π*0.6. This one is trained with RL, and it makes it quite a bit better: often doubles throughput, enables real-world tasks like folding real laundry and making espresso drinks at the office.
Sotaro Katayama retweeted
I'm very excited to finally announce one of the most ambitious projects we've worked on — which makes the front cover of Science Robotics today:
☀️ Learning a Thousand Tasks in a Day ⭐️
Everyday tasks — like those below — can now be learned from a single demonstration each...
Sotaro Katayama retweeted
How do you give a humanoid the general motion capability? Not just single motions, but all motion?
Introducing SONIC, our new work on supersizing motion tracking for natural humanoid control.
We argue that motion tracking is the scalable foundation task for humanoids. So we "supersized" it: 9k+ GPU hours and 100M+ motion frames.
But tracking alone is not enough; we show how to make a useful control system out of it:
- Universal Kinematic Planner: Enables game-like gamepad control and high-level teleoperation, just like controlling a character in a game.
- VR Full-Body Teleop: Direct, real-time whole-body control by a human wearing a VR headset.
- VR Keypoint Teleop: Control the upper body (hands/head) while our planner handles robust locomotion automatically.
- VLA Integration: We connect this motion tracker to autonomous Visual-Language-Action (VLA) models for autonomous task execution!
We use a Universal Token Space to UNIFY this command space, turning our robust tracker into a general-purpose, programmable humanoid brain.
This is the generalist "System 1" for humanoids. 🚀
Project: nvlabs.github.io/SONIC/
#Humanoids #Robotics #AI #FoundationModels #NVIDIAResearch 🧠🔥
Sotaro Katayama retweeted
Meet BFM-Zero: A Promptable Humanoid Behavioral Foundation Model w/ Unsupervised RL👉 lecar-lab.github.io/BFM-Zero…
🧩ONE latent space for ALL tasks
⚡Zero-shot goal reaching, tracking, and reward optimization (any reward at test time), from ONE policy
🤖Natural recovery & transition
Sotaro Katayama retweeted
Excited to introduce TWIST2, our next-generation humanoid data collection system. TWIST2 is portable (use anywhere, no MoCap), scalable (100+ demos in 15 mins), and holistic (unlock major whole-body human skills).
Fully open-sourced:
yanjieze.com/TWIST2
Sotaro Katayama retweeted
What if robots could improve themselves by learning from their own failures in the real-world?
Introducing 𝗣𝗟𝗗 (𝗣𝗿𝗼𝗯𝗲, 𝗟𝗲𝗮𝗿𝗻, 𝗗𝗶𝘀𝘁𝗶𝗹𝗹) — a recipe that enables Vision-Language-Action (VLA) models to self-improve for high-precision manipulation tasks.
PLD couples real-world residual reinforcement learning with standard supervised fine-tuning — letting robots discover, recover, and distill their own data flywheel.
Quick 🧵
Sotaro Katayama retweeted
米中中心のフィジカルAIの急発展を背景に、日本語話者がちゃんと中国の関連のニュースに触れられる機会を作った方がいいのではないか、と思っており、「ロボット大講堂」(leaderobot.com/)の新着記事を(LLMで)日本語訳して通知するbotを作りました。ご活用ください。
@leaderobotbotja
Sotaro Katayama retweeted
Simulation drives robotics progress, but how do we close the reality gap?
Introducing GaussGym: an open-source framework for learning locomotion from pixels with ultra-fast parallelized photorealistic rendering across >4,000 iPhone, GrandTour, ARKit, and Veo scenes!
Thread 🧵





















