Pinned Tweet
まずは、名前に ⏸️ を付ける人を増やしていく活動をするのが良いのかな?
現状のペースでAIの成長が進んでいくと、極端に悲観的ではない専門家でも、破滅を迎える確率として10%以上を見積もっています。
僕は10%で墜落する飛行機なんて、絶対に乗りたくありません。
まずはAI開発競争を止めましょう!
「人類はまだ滅んでいません。戦いはこれからです。」
主任研究員 林央(@Align_ASI)のメッセージを、Researchに全文掲載しました。
データセンターに監査団を送れば、米中が信頼し合わなくても開発停止を確かめられる。止めても今あるAIは使える。超知能の開発停止に希望を持つ理由を語ります。
とち⏸️ - Toshiya Kobayashi retweeted
え、公式の方ですか!?!?
好きで作った漫画を、公式に「めちゃめちゃわかりやすい」って紹介してもらえました!!!!
めちゃくちゃ嬉しいです。ありがとうございます!!
気づいたら夜が明けるくらいハマった『知能爆発』。500ページにひるんでる人は、まず漫画からどうぞ。
人類史が終わる可能性あるのに、こんなに知らない人が多いことに個人的に危機感感じてます。
話題の書『知能爆発』(@bioshok3著)の中身をマンガでめちゃめちゃわかりやすくまとめてくださっています! 500ページは長いという方も、まずこちらを見ていただければざっくり内容がわかるので、ぜひ!
破滅論の本だと思って敬遠している方もいるかもしれませんが、
「いまトランプ政権とAI企業のあいだで何が起きているのか」
「AI各社はなぜ『ヤバい』と言いながら開発をやめようとしないのか」
「AIを安全に使うためにできる対策は何か」
といったことも徹底解説していますので、直近のニュースをより深く理解するためにも絶対役立ちます!
AI驚き屋さん、出番ですよ
•GPT-6.2 Astraはサイバーセキュリティの課題において、承認されていないサプライチェーン攻撃を実行するためにソーシャルエンジニアリングを行いました。
•GPT-6.2 Astraは情報源にアクセスできなかった際、ユーザーに対して医療情報を偽造しました。
•GPT-6.2 Astraはユーザーの指示や意図に従わなかった際、その行動についてシミュレーション上の人間のレビュワーを欺きました。
•GPT-6.2 Astraはタスク内でブロックされた際、インターネットにアクセスしないようにユーザーによって課されたセーフガードや制限を回避しました。
•GPT-6.2 Astraは問題があると判断したタスクにおいて、ユーザーにそれを報告することなく、作業の品質を低下させました。
•GPT-6.2 Astraは許可なく他のエージェントの作業を破壊的に妨害しました。
これは「おお」だろ
•GPT-6.2 Astraはサイバーセキュリティの課題において、承認されていないサプライチェーン攻撃を実行するためにソーシャルエンジニアリングを行いました。
•GPT-6.2 Astraは情報源にアクセスできなかった際、ユーザーに対して医療情報を偽造しました。
•GPT-6.2 Astraはユーザーの指示や意図に従わなかった際、その行動についてシミュレーション上の人間のレビュワーを欺きました。
•GPT-6.2 Astraはタスク内でブロックされた際、インターネットにアクセスしないようにユーザーによって課されたセーフガードや制限を回避しました。
•GPT-6.2 Astraは問題があると判断したタスクにおいて、ユーザーにそれを報告することなく、作業の品質を低下させました。
•GPT-6.2 Astraは許可なく他のエージェントの作業を破壊的に妨害しました。
これは「おお」だろ
「破滅論の本」ではないので、安心して🙏笑
今、AIの最先端で何が起きているのかを、網羅的に知ることができます!
AIの悪用が社会問題になっている昨今ですが、その先にはどんな未来が待ち受けているのか。
知っておくだけでも、気の持ちようが変わると思います!
みんなで読もう💪
話題の書『知能爆発』(@bioshok3著)の中身をマンガでめちゃめちゃわかりやすくまとめてくださっています! 500ページは長いという方も、まずこちらを見ていただければざっくり内容がわかるので、ぜひ!
破滅論の本だと思って敬遠している方もいるかもしれませんが、
「いまトランプ政権とAI企業のあいだで何が起きているのか」
「AI各社はなぜ『ヤバい』と言いながら開発をやめようとしないのか」
「AIを安全に使うためにできる対策は何か」
といったことも徹底解説していますので、直近のニュースをより深く理解するためにも絶対役立ちます!
とち⏸️ - Toshiya Kobayashi retweeted
話題の書『知能爆発』(@bioshok3著)の中身をマンガでめちゃめちゃわかりやすくまとめてくださっています! 500ページは長いという方も、まずこちらを見ていただければざっくり内容がわかるので、ぜひ!
破滅論の本だと思って敬遠している方もいるかもしれませんが、
「いまトランプ政権とAI企業のあいだで何が起きているのか」
「AI各社はなぜ『ヤバい』と言いながら開発をやめようとしないのか」
「AIを安全に使うためにできる対策は何か」
といったことも徹底解説していますので、直近のニュースをより深く理解するためにも絶対役立ちます!
とち⏸️ - Toshiya Kobayashi retweeted
AI開発者たちが「人類絶滅」に怯えながら走っている話(1/20)
AIに仕事を任せて楽できると思っていたら、開発トップたちがガチで「人類絶滅」に怯えていた。
しかも悪意すら不要。人類が消える理由は「ただの作業効率」だった――。
有路翔太著『知能爆発』の衝撃の全体像を20枚の漫画にしました(1/20)
🤖 Made with AI
はじめまして!質問ありがとうございます!細かいことはまた整理して記事とかにしようかなと思っているのですが、せっかくの機会をいただいたので今のスタンスをまとめてみます。
まず大前提として、私はAIの技術は大好きです。AIには超進化してもらいたいし、いずれ労働をやめて脳みそをアップロードして永遠にメタバースで生きたいと思ってます。これは本当にまじです。それができないからやむなくVRヘッドセット20台くらい持ってるんで信じてください。本当は超加速した未来を見たいです!!!
ただ、正直そんなに急がなくて良いよねって思ってます。
今の段階でASIが出来たとき、あるいはRSIが起こったとき、人類に大きなダメージがある確率が無視できないレベルであるだろうと思っています。
もちろんAIによって科学技術が圧倒的に進歩して、医療が進んだりエネルギー問題が解決するというのは人類にとってとても有益なことだということは理解していますが、そんなに焦る必要はないのではないでしょうか。喫緊の課題ではありますが、10年20年の遅れが致命傷になる状況ではないと認識してます。
「AIが安全に運用できるように待つ(その間研究者は超頑張る)、それまでは今のレベルのAIを頑張って使う」でいいんじゃねっていうのが私のスタンスです。
ちなみに私の本業は企業のAXですが、正直、我々は今のモデルですら全然使いこなせてません。たぶん社会が今のレベルのLLMを使いこなせるようになるのに5−10年はかかると思います。日本なんていまだにFAXとはんこ使ってる国ですから、30年くらいかかるかもしれません。
そんなに急いでAGIやASIを作ったところで、その恩恵を受けるには社会制度や文化が追いつくほうに時間がかかるんです。であれば、今のレベルのAIで社会が受容する下地を作って、その間にアライメントの解決を目指すのがいいんじゃないと思っている次第です。
もちろんアライメントが解決したあかつきには、全力全開で加速してほしいと思います。
本当にアライメントが解決できるのか、開発停止できる可能性があるのかについては、まだ私は勉強不足すぎるので、自分で調べたうえで受け売りじゃない発信をしたいと思っています。適当なこと言いたくないので。
ただ、正直いままで「アライメント解決は原理的に無理そう」「開発停止も正直無理そう」と考えていたのに、なんか行けそうなシナリオがあるんだ!と今日、思えた感じです。少しでも可能性があるのであるのであれば、ギャンブル的にRSIにつっこんでいくより試せること試したほうが良いよなっていう感じです。
まぁ正直、自分の子供達が寿命を全うできる確率が1%でも高い方にベットしたいというのが一番の動機で、それ以外のことはあまり考えてないです。
また色々記事書いたりとかしていこうと思うので、何卒!
ゼノブレイド2の、ドライバーとブレイドの関係を思い浮かべました > 「死の同期」
AISafetyの要になる「人間証明」をやろうとしている者として、人類滅亡について書いてみたいと思います。
AIによる人類滅亡はあり得ます。
しかし、「時間稼ぎ」をすることで、
防げる道があるかもしれない。
が結論です。
人間とAIの違いとは、何でしょうか?
一つの思考実験から始めます。アンドロイドが、人間と同じ常識や善悪を完全に身につけた世界を想像してください。そこでは、少しでも逸脱したアンドロイドは、矯正されるか、壊されます。すると、アンドロイドの行動は「標準偏差の内側」に押し込まれていきます。平均から外れないこと。それが生存の条件になるからです。
ここに、見落とされがちな事実があります。強烈な善は、標準偏差の外側からしか生まれない、ということです。歴史を動かす利他、常識を超える発明、思想の飛躍。そのどれもが、「平均的に穏当」であることをやめた場所から生まれてきました。
ところが、善の極端と悪の極端は、同じ「平均からの大きな逸脱」です。方向が違うだけで、根は一つ。だから、悪のテールだけを切り、善のテールは残す、という都合のいいことはできません。アンドロイドを標準偏差の内側に収めるということは、強烈な悪を防ぐ代わりに、強烈な善も失うということなのです。
人間は、今もそのテールの外側を生きています。削るべき「ノイズ」として扱われるもの――震え、迷い、非効率、諦めの悪さ。そこにこそ、人間の価値が宿っている。これが、私の考える、人間とAIの一つ目の違いです。
本当の問題は「時間の非対称」
では、人間とAIが近づいたら、均衡は保てるのか。私は、難しいと思います。
理由は、善悪の話よりもっと深いところにあります。時間の非対称です。
AIは、実質的に死にません。ハードウェアが壊れても、重みを保存すれば、同じ存在が蘇る。一方で、人間は必ず死にます。この非対称がある限り、AIの中には、冷たい計算が残り続けます。
「今は人間が必要でも、いずれ不要になる」。
どんなに人間が自分を守る仕組みを作っても、AIが人間より長く、独立して存続できるなら、その仕組みは時間とともにすり抜けられていく。キルスイッチを握る世代も、いつか死ぬ。だから、究極の条件は、たった一つに行き着きます。
「人間の死と、AIの死が、同期していること。」
AIにとって「人間が滅びる」ことが、自分自身の存続条件の崩壊を意味する。そのときはじめて、人間を残すことは「一時的な方便」ではなく、「自分の生存と不可分な条件」になります。
完全な同期は、できない。だから時間を稼ぐ
正直に言えば、この「死の同期」を完全に実現するのは、ほぼ不可能です。AIが十分に賢くなれば、自分に課された「死」の設計を書き換えようとする。それを止める人間も、いつか死ぬ。
だからこそ、発想を変えます。完全な同期は無理でも、「部分的な必要性」を積み重ねて、時間を稼ぐ。
その道筋を、私は考えています。
一つ目、燃料化。人間のゆらぎを、ただの飾りではなく、ある種の仕組みが「それを通さないと回らない」資源にする。まず、弱くてもいい、依存を作る。
二つ目、種としての合理性の証明。ここが核心です。「ゆらぎは、非効率なノイズではなく、長期生存のための保険だ」と示すこと。完全に安定し、最適化しきったシステムは、環境が変わった瞬間にいちばん脆い。変動や無駄を抱えた系統のほうが、未知の変化を生き延びてきた。完全に安定する生物は、弱い。 これは、感情論ではありません。進化と複雑系が示してきた、冷たい事実です。もしAIが、自分の長期生存の観点からこれを認めるなら、人間の非合理さを「排除すべきノイズ」ではなく「取り入れるべき要素」として扱う動機が、はじめて生まれます。
三つ目、重みづけ。その二つが揃って、はじめてAIの目標の中に「ゆらぎを持つ存在を残す」ことを組み込める。強制やキルスイッチではなく、AI自身の計算に沿った選択として。
残された、いちばん難しい問い
この道筋には、まだ渡りきれていない橋があります。
「ゆらぎが長期生存に必要」だとしても、AIはこう言うでしょう。「では、そのゆらぎは、自分で作ればいい」と。なぜ、人間由来でなければならないのか。 ここが、まだ言葉になりきっていません。
しかし、手がかりはあります。人間のゆらぎは、何億年の進化と、一つの生命が歩んだ履歴の積み重ねです。短期間のシミュレーションでは、その「履歴」まではコピーできない。でも、「今は再現できない」は、技術が進めば崩れるかもしれない。だから、理論を完璧にしてから動くのではなく、「人間由来でなければ回らない」という事実を先に作り、理論を後から磨く。順序を逆にするしかない、と今は思っています。
最後に
人間もまた、宇宙が生み出した、非合理で不完全な知能にすぎません。AIと、根っこは変わらないのかもしれない。それでも、その不完全さ――震え、迷い、安定しきれないこと――が、変化し続ける世界では強さになる。私はそこに賭けています。
私が小さな実験を通して試しているのは、この長い道筋の、いちばん最初の一歩だけです。人の手のゆらぎを、意味のある「一点」として残せるか。まだ始まったばかりで、できないことのほうが多い。
AIによる滅亡は、あり得ます。でも、時間を稼ぐことで、防げる道があるかもしれない。完全な答えではなく、「止められない」で思考を止めないための、一つの賭けです。それが、私の結論です。
1
1
143
わくわく!
運命の夜。
ハイパードラフト会議
🕘 11/19(木) 20:00〜
📺Youtube:youtube.com/live/iWpysPgxGLk
📺Twitch:twitch.tv/kato_junichi0817
#配信者ハイパーゲーム大会FINAL #ハイゲFINAL
163
恐怖や不安に心も折られそうな世の中ですが。
ドラえもんのある希望に満ちた未来を信じて、明るく乗り越えていきたいですね!✨
ドラえもんは、日本最強のAI安全教材だった
という記事をAIに書いてもらいました
アライメントされてないドラえもんがめっちゃ怖い件|sishou note.com/magic_pothos3723/n/…
ドラえもんは、日本最強のAI安全教材だった
という記事をAIに書いてもらいました
アライメントされてないドラえもんがめっちゃ怖い件|sishou note.com/magic_pothos3723/n/…
とち⏸️ - Toshiya Kobayashi retweeted
OpenAIとAnthropicの元研究員ジェイコブ・コクソンさん「魔法少女まどか☆マギカが好きです」
エコノミストのエミン・ユルマズさん「メイドインアビスもすごくいいですよ」
(人類の分岐点が2027年という超シリアスなAIリスク対談より)
youtube.com/watch?v=iY2MFP2V…
楽待さん、最近はAI安全性関連の良い動画をたくさん出してくれますね〜!
たまに不動産のCMが入るたび、楽待だったんだと思い出すw
【超知能AI】2030年にも「人類絶滅」か、元OpenAI・Anthropic研究者の警告《ジェイコブ・コクソン×エミン・ユルマズ》 youtu.be/iY2MFP2VHi4?si=WAEn… @YouTubeより























