Nick retweeted
我可以接受行政官員在接受質詢時有更明確的責任規範,但立法院擴權到人民身上,只要立委覺得「重大公眾利益」就可以,然後如果做過頭後人民「可以用司法救濟」,這對於我來說是完全不能接受的。任何小政府的支持者都該出來反對這部分的立法,因為這就是走向極權社會的預備步驟。
Nick retweeted
Gemini Pro 1.5 确实牛皮,Mckay Wrigley把整个代码库给他并且用摄像头拍了一下出错的程序界面表现,Gemini 就直接给出了问题代码位置和解决方案。
Nick retweeted
(21:10更新)
針對今日以國家級警報通知全民「中國發射衛星已飛越南部上空」事件,國防部於晚間8點10分以影片發布聲明,並公開中方載運衛星的「長征二號」火箭航線示意圖。國防部參謀本部情次室次長顏有賢表示,美國聯邦航空總署(FAA)原判斷該火箭將行經台灣─菲律賓間海域,但飛越中國境內的湖南省郴州市時,火箭偏離原軌道,路徑往北移,最終從台南進入本島上空,此時高度約500公里。
至於本次應對層級為何與過往不同?國防部說明,是因「飛行軌跡異常,可能對地面造成風險」,國軍才動用國家級警報。國防部參謀本部作計室防空暨資戰處處長莊鴻文表示,最後經監控確認,該衛星的助推火箭殘骸都落於中國境內,對台灣並無影響。
顏有賢再次為英文誤用一事再次對民眾致歉,國防部也在晚間7點10分,以英文向外國媒體、網友致歉。顏有賢表示,近年解放軍動作頻頻,本次發布警報便是國軍吸取社會監督的成果,所有未經許可、申請進入台灣防空識別區和領空的所有航空器都會遭全程監控,有異常狀況將適時公布。
「相關作業以國防安全為考量,依專業及權責辦理,不會因政黨政治而受到干擾,」國防部發言人孫立方重申,下午4點15分發表的聲明無誤,國家警報的發布權責也是依法由相關指揮官下令處理,任何行經台灣周遭的飛行器,都會視飛行高度和可能形成的危害,做出適切處理。(文/許詩愷)
Nick retweeted
OpenAI 最新的一篇论文《Weak-to-strong Generalization》,cdn.openai.com/papers/weak-t…,读起来还是很让人兴奋的,它甚至提供了 1000 万美元的资助计划,期望更多人参与进来解决这篇论文提出的问题:如何让弱监督模型强化比它更强的模型,以构建超人类人工智能系统,例如,如何使用 GPT-2 作为监督模型让 GPT-4 变得更强。
为什么这件事情如此重要?之前我们聊过,“人类反馈的强化学习”(RLHF)在 ChatGPT 的训练过程中起到了至关重要的作用,xitter.cf/Barret_China/sta…,可随着 GPT 能力的提升,人类也开始从强监督者角色转变成了弱监督者,举个栗子,GPT 未来能够编写数百万行新颖且具有潜在危险的计算机代码,即使是人类专家也很难理解,那这个时候人类就无法去指导和控制 AI 进行工作了,更不用说帮助 AI 变得更加智能。
那 AI 的进化岂不是要停止不前?需要怎么办呢?很显然,提升人类自己肯定是不够的,因为再怎么努力也赶不上机器的学习效率,因此 OpenAI 提出了一个让弱监督 AI(替代人类身份)来调优更强的 AI 的想法。
它们通过实验证明,GPT-2 调优 GPT-4 可以得到一个 GPT-3~3.5 的水平,但额外发现了一个有趣的现象是,GPT-2 在调优的过程中变得更加聪明了,假设有一个跟人类差不多水平的 AI 去调优一个更强的 GPT(如 GPT-5),在调优的过程中,这个 AI 可以获得比当前更强的水平,从而就可以更进一步让 GPT-5 演化到 GPT-6 了,听起来还是比较振奋人心的。
为了让大家可以更好地参与到这个项目中,OpenAI 开源了他们使用弱监督 AI 调优更强 AI 的代码,github.com/openai/weak-to-st…,感兴趣的可以去学习下。
OpenAI 联合创始人、研究科学家 John Schulman 认为,RLHF 才是 ChatGPT 的秘密武器(secret sauce)。训练数据的体量固然重要,但是让 ChatGPT 更容易推断出用户的意图,产生质变的根本原因是已在 InstructGPT(ChatGPT 前身)使用的 “人类反馈的强化学习(RLHF)” 技术。
Google 最近写了一篇论文《RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》,arxiv.org/abs/2309.00267,提出了使用 AI Feedback (RLAIF) 来进行强化学习,根据人类评估者的评价,在摘要、有帮助的对话生成和无害对话生成等任务中,RLAIF 取得了与 RLHF 相当或更好的性能。
结合 OpenAI Q*(Q-Star)项目的爆料,“AI 具备了自主学习和自我改进的能力,模型可进行自主决策,并且可能已具备轻微自我意识”,有研究者猜测与强化学习中的 Q-learning 算法相关。这个方向的最新资料值得跟踪学习下。
奖励模型是强化学习中的重要组成部分,OpenAI 训练中涉及到这一块的公开内容是比较少的,《The History and Risks of Reinforcement Learning and Human Feedback》,arxiv.org/abs/2310.13595,这篇论文强调了奖励模型缺乏透明度和严格评估,并呼吁在该领域进行更全面的研究和透明度。
奖励模型的设计直接影响了 AI 与用户进行正常交流时所表现出的道德判断、价值观念和偏见,如果 AI 具备了轻微的自我意识,那么这部分内容的公开透明在未来也会变得更加重要。
Nick retweeted
目前看到的最接近事实真相的讨论:
GPT5 已经取得某种颠覆性突破。关于下一步如何发展,Sam 和 Ilya 产生了巨大的分歧(有效加速主义 vs. 超级对齐),导致了这场周末宫斗
两天前,Sam在APEC上随口提到OpenAI最近取得了一项巨大突破,并将其称之为“其8年历史中的第4次突破,将知识的界限向前推进”
然后 Sam 就被减速派(decel)突然罢免了
这是巧合吗?
硅谷企业家 Chen Siqi 的推测是,「GPT5的实力超出了所有人的预期,Ilya感到恐慌,他影响了董事会的决策,董事会以最笨拙的方式解雇了Sam,每个风投和微软都施加压力,员工起义,董事会像纸巾一样屈服,Sam和Greg在周日中午回来」
那么 Sam 和 Ilya 的分歧点是什么呢?心识宇宙的创始人陶芳波总结为:有效加速主义 vs. 超级对齐
有效加速主义:一帮硅谷精英搞出来的科技价值观运动,缩写为 e/acc, 大量的 Twitter 账号带有这个后缀,包括YC 当前的掌门人 Garry Tan, Marc Andreessen 也放在了自己的简介里
简单说,就是人类应该无条件的支持和加速技术创新,来使得社会变得更好( Marc Andreessen 刚刚写了一篇文章《科技技术主义》来摇旗呐喊
Sam Altman 的大量支持者都是「有效加速主义」,Sam 本人也在不断的把 ChatGPT 推向公众,本质上也是「加速派」的一员
超级对齐:Ilya 在 OpenAI 领导的项目,旨在解决将超级智能人工智能系统(superintelligent AI systems)与人类价值观和意图(human values and intentions)对齐的挑战。该项目的主要内容包括:
1. 目标:该项目旨在开发方法来引导和控制比人类智能更高的 AI 系统,确保这些系统遵循人类意图,避免有害的偏差。
2. 方法:项目的目标是创建一个大致相当于人类水平的自动对齐研究员,以扩大对齐工作的规模。这包括开发可扩展的训练方法,验证模型,以及对对齐流程进行压力测试。技术包括可扩展的监督、自动寻找问题行为的方法,以及对抗性测试。
3. 承诺与团队组成:OpenAI 已经将未来四年内 20% 的计算资源分配给了这个项目。该项目涉及多学科团队,由 Sutskever 和 Leike 领导
该项目代表了一项战略性努力,旨在主动应对与超智能 AI 相关的潜在风险,强调将这类系统与人类价值和意图对齐的重要性。
Ilya 认为必须先有一个已经对齐的 AI, 才能推向大众,否则可能产生毁灭性的影响,不能「先上线,再迭代」,于是和「有效加速主义」产生了分歧
Anyway, 可以确认的一点是,OpenAI 取得了某些关键突破,甚至接近 AGI. 期待早日见到这些突破。
Reference: mp.weixin.qq.com/s/6q03R_Z0G… 《Sam 和 Ilya 的深层矛盾:有效加速主义 vs. 超级"爱"对齐》
Nick retweeted
OpenAI 最近发生了哪些大事?
> 11月2日 -> 当团队展示了新的重大进步时,Sam 正在场内。OpenAI 在过去,尤其是在 GPT-4 的开发中,已经三次推动了技术突破。看着这最新的进展,Sam 已经开始规划下一步:筹集资金,安排资源。
> 11月4日 - Ilya 感到不安。他们的自主技术已经到了一个令人担忧的程度,但团队还只是在增加能力,而不是真正的对人类的关爱。他们需要更多时间来确定研究方向,而不是匆忙推出产品。
> 11月6日 - OpenAI 的开发者日非常成功,赢得了众多赞誉。接下来的几天,他们陆续发布了之前宣布的产品。
开发者日过后,Greg 和 Sam 开始全力筹资。他们的目标是将公司估值提升到 900 亿美元,是之前的 300 亿美元的三倍。OpenAI 的招聘人员已经开始联系谷歌员工,提供四年总额达 1000 万到 2000 万美元的合同,诱惑他们在估值上升前加入。
11月9日 > Greg 与法国总统 Emanuel Macron 会面,进行了一次合影,随后在巴黎举行了投资者会议。OpenAI 正在吸引主权财富基金和欧洲家族式的大额投资。
11月13日 > 在伦敦接受《金融时报》的采访时,Sam 首次确认他们已经开始开发 GPT5,并正在为此筹集资金。
11月14日 > 由于计算能力已达极限,OpenAI 暂停了 ChatGPT 的订阅服务。开发者日后,使用量激增。
11月16日 > 在 APEC 首席执行官峰会上,Sam 确认了 11 月 4 日的技术突破。
此时,Ilya 既愤怒又害怕。他没想到会有这样的筹资巡演。随着使用量的激增,他们的服务器已无法满足研究团队的需求,这意味着他们需要再次筹资以支持研究工作。事态已经超出了他的掌控。
11月17日 上午10点 > 董事会会议开始。Ilya 带来两名 23 岁的资深工程师(据传闻)向董事会报告了项目的进展和潜在风险。当他表示他们不应该再筹资,不应该扩张,以及 Sam 擅自进行巡演时,会议变成了一场辩论。
Sam 强调,作为 CEO,他必须领先团队,提前为团队的需求管理新闻流动。“我们将需要更多资金来建设更多的数据中心。”
Ilya 大发雷霆。局面升级。最终进行了表决。结果,Sam 被解职。由于 Greg 没有出席会议,Sam 代表他投票,董事会还将 Greg 降职。
What happened at OpenAI?
> Nov 2 -> Sam was in the room, when the team demonstrated the next big improvement. 3 times before in OpenAIs history, most recently with GPT-4, they’d pushed back the veil of ignorance and pushed forward the frontier of discovery. As he watched the latest advance, he was already planning for the next moves: the funds that would have to be raised, the resources that would have to planned for
> Nov 4 - Ilya was unsettled. They’d reached a threshold of autonomy that was concerning, while the alignment team was still just adding capability instead of emotion, actual love for humanity. They needed more time to figure out the research pathway instead of hurrying to deploy product.
> Nov 6 - OpenAI dev day goes well. Lots of kudos. They release the announced products over the next several days
After dev day, Greg and Sam are in full on fund raising mode. They’re targeting 90 billion valuation, a 3x lift from 30 billion. OpenAI recruiters are already calling Google employees with 10-20 mil 4 year packages telling them if they join now they’ll make it in before the valuation increase.
Nov 9 > Greg meets Emanuel Macron for a photo op, afterwards take investor meetings in Paris. OpenAI is now at the sovereign wealth fund, European family money sized investment
Nov 13 > in an interview with the Financial Times in London, Sam confirms for the first time that work has begun on GPT5 and that he’s fundraising.
Nov 14 > OpenAI pauses ChatGPT subscriptions, as they’re totally out of capacity for inference. Usage has spiked post dev day.
Nov 16 > APEC CEO summit, Sam confirms the Nov 4 next step up discovery
By this point Ilya is pissed and scared. The fundraising tour has caught him by surprise. The usage numbers have spiked and now they don’t have enough servers for the research team, meaning they have to fundraise again to support research. Events are starting to move beyond him.
Nov 17 10 am > board meeting starts. Ilya produces 2 23 year old staff engineers (rumor) to describe progress and dangers to the board. Turns into a battle when he says they shouldn’t be fundraising and shouldn’t be expanding and that Sam was out on tour without board agreement.
Sam points out that as the CEO he has to stay ahead of the team and manage news flow in advance of the team’s needs. “We’re going to need more money for more data centers”
Ilya has a fit. Things come to a head. A vote is taken. Sam is out. The board demotes Greg, who is not at the meeting as Sam is authorized to cast his vote.



















