monozuki retweeted
吃尸体到杀活人吃
谢天奇:中共甘肃省委办公厅1961年3月3日收到的由“慰问团宁夏分团”所做的一份关于“人吃人案件的统计和分析”的调查报告中,人吃人方式被分为三种:挖吃尸体、吃尸体(即未埋葬之尸体)、杀吃(活人)。
其中杀吃案件多起:在临夏市,1959年11月,队寨子村贫农朱五十七将同村人 王玉成杀吃;1960年1月2日,韩集公社曹家坡圣家坪富农马文德将同村人马田奴杀吃;1960年2月25日,红台公社腰合家村贫农杨忠生杀吃亲弟弟杨三顺;1960年3月13日,红台公社赵家大队贫农赵香香杀吃小孩;1960年4月,4名外地人、2名同村人在队寨子村被杀吃;1960年,西河公社一贫农将一个“流窜人口”杀吃。在和政县,1960年1月9日,买集公社崖市张洒麻村贫农康尕麦将同村人马哈买吉“用斧砍死烧吃”。
图:中共甘肃省委办公厅1961年3月3日收到的由“慰问团宁夏分团”所做的一份关于“人吃人案件的统计和分析”的调查报告。
monozuki retweeted
戴森写的《发明》这本书值得一看,特别是那些要做硬件的产品经理, 硬件真是要掌握系统、软件、材料、工艺、物理、空气动力学等很多交叉领域的知识才弄得好。
我觉得书中写的更好的是戴森本人的专注和韧劲,值得钦佩。
manateelazycat.github.io/rea…
monozuki retweeted
托马斯·M·斯特纳这本《练习的心态》虽然写的很薄,但是却写的很深刻,很流畅, 教每个人怎么做到 “活在当下”,过不纠结的人生, 推荐给大家。
manateelazycat.github.io/rea…
monozuki retweeted
这是一篇打破GPT“涌现”概念神话的论文,终于说出了我一直以来的一个直觉,这才是比较符合事物发展规律的
一句话总结,所谓GPT“涌现”能力,是因为人为修改了“达标”的评价标准,给人"涌现"的错觉
一旦使用更合理的评价指标,就会发现GPT能力值随着模型增大是线性增长的,从评价指标上直接解构了“涌现”
先说说什么是“涌现”,这是LLM引起爆炸式关注的一个非常重要的原因,“涌现”来自于复杂系统: 秩序从复杂系统中演进出来
当大模型的规模量级逐渐升高,到达某个临界点时会突然质变 ,无中生有出来一种新的能力的现象,就叫做“涌现”,比如在八位数加法这个任务上,随着模型规模变大,当计算训练量超过 10^23 flop 之后,准确度突然开始飞跃,突然涌现出 100% 正确的加法
类似的,微软和openAI也发了很多论文论述GPT突然“涌现”出来的多种能力,比如空间想象能力,推理能力,甚至简单的debug能力
回到论文,<Are Emergent Abilities of Large Language Models a Mirage? 为什么说GPT的“涌现”是海市蜃楼?
因为一旦使用更合理的评价指标,就会发现GPT能力值随着模型增大是线性增长的,并不是突然增长
举个例子,涌现能力的文章中,评价标准一般是非黑即白,“exact match”就是精确对应,但exact match这个评价标准就是一个非黑即白非线性的标准,比如说一个模型只预测对了一大部分,只要没达到精确对应,分数都是0,只有0和1的区别
在这个非线性标准下,意味着LLM模型能力一旦过了一个门槛,能力分数就会突然惊人的爆发,也就是所谓的“涌现”,可是把标准修改为精准答对,分数的爆发并不代表真实能力爆发
(如图)论文里举的例子是把精确答案的评价标准修改成了“edit distance”,也就是和标准答案之间的距离,结果发现随着模型的增大,离标准答案的距离也越来越近,所以实际上这项能力就是线性增长的。这就是典型的因为非线性评价指标得到了“涌现”的表象
论文的总结语说的非常有力:emergent abilities may be creations of the researcher’s choices, not a fundamental property of the model family on the specific task(“涌现”能力的出现是人为刻意标准下的筛选,而不是模型自己的真实能力)
这篇论文为什么这么重要?
因为在根本上否定了涌现,让我们把时间线拉长时可以不用再考虑AI能力突变这样的神话故事,LLM模型的能力发展更顺滑,可预测性变得更高,这可以让我们更冷静而客观的看待AI的发展速度了
统计推理能力也是如此,以后AI也许会发展出来的“组合”能力也是如此(组合能力就是想象力创造力的重要基础能力,详见我三月关于“想象力”的推文)。我们可以发展出更好的评价标准,来很好的预测LLM在统计推理和想象力创造力上的长足线性发展。任何新能力达到某个阈值之后,也能逐渐被人类所注意到,而不是突然“涌现”
这也是为什么我一直认为AI的能力值和准确率,都是随着算力scaling up的(见引文),不存在突然涌现的东西,顶多只有线性增长之后达到了人类认知的某个门槛而已。
还是那句话,AI的能力并不是一蹴而就的,降低cross entropy loss机器学习损失函数,每前进一步其实都异常的艰难,耗费的算力都是指数级上升,真的是路漫漫其修远兮,吾将上下而求索
把时间线拉长,AI在更长时间尺度上会以什么速度发展?
对此我有三个AI猜想:
第一猜想:AI算力每十年加速六个数量级
第二猜想:AI全方位能力(感知/决策/生成)错误率每十年下降一个数量级
第三猜想:AI错误率每下降一个数量级(加上新能力涌现),应用范围和领域(市场规模)上升一个数量级
【长推】
第一猜想:AI算力每十年加速六个数量级
这十年深度学习的复兴,本质上也是因为和20多年前上一轮神经网络浪潮相比,硬件大概加速了六个数量级以上(CPU加速4个数量级,GPU并行计算架构的兴起加速了2~3个数量级),软件算法也快了六个数量级以上(包括编译器,模型改进,对深度学习可解释性的认知都在改进),这才迎来了深度学习的量变到质变
这个速度是软硬件加起来二十年加速了12个数量级
而未来十年,AI算力也许会再次加速六个数量级【图一】
把这六个数量级分解一下,硬件通过架构加速十倍(DSA黄金年代延续),半导体工艺如tech node scale down二十倍,interconnect和chiplet技术让规模增大数倍,软件算法变快1000倍(新模型新算法)
软硬各加速三个数量级,合起来六个数量级
上一轮到这一轮深度学习浪潮相隔20多年加速12个数量级,未来十年加速6个数量级,摩尔定律继续生效
第二猜想:AI的错误率每10年下降一个数量级
先介绍一个概念:cross entropy loss,这是常用的机器学习损失函数,衡量的是预测的概率分布和真实的概率分布之间的差异,Cross entropy loss反应到结果就是更精确,错误率更低
从【图二】里来看,算力/模型大小每增加6个数量级,Entropy loss 减小3个数量级,但Entropy loss减小无法直接对应错误率,可以拿imageNet这十年的错误率发展作参考
【图三】imageNet错误率按TOP5来算(生成5个答案,有一个对就算过,这也是为什么bard会生成3个答案供选择),每十年的错误率降低17倍,按TOP1来算(生成1个答案),10年的错误率降低5倍
ViT和十年前的AlexNet比较训练所需的硬件算力增长大概在2~3个量级之间,也就是说软硬件加起来按加速5个算力,错误率下降一个数量级来算
再看从GPT3.5到GPT4之间,算力增长2个数量级,错误率下降一倍,换算过来也是六个量级算力换错误率下降一个数量级
而5~6个量级大概是十年AI算力加速的量级,所以也就是十年大概能降低一个数量级的错误率
AI要维持现在的发展速度,算力需求每3.5个月倍增,也就是每年十倍,这是目前的硬件软件算力加速长期进度无法赶上的
比如微软今年刚买了7万个A100花7亿美元,不可能十年后花7万亿美元买显卡。所以长期来看,AI十年能降低一个数量级的错误率是比较切实际的
第三猜想:AI错误率每下降一个数量级(加上新能力涌现),应用范围和领域(市场规模)上升一个数量级
这个猜想详见引用的推文或者【图四】,实际上就是AI“取代”人类的部分任务的过程
当AI的可靠性可以发展到AI医生(美国医疗占GDP18%),AI律师(美国法律服务占GDP 6%),L4全自动驾驶(美国交通行业占GDP 6%),想象力将会更一步扩大
在这三个猜想的基础上,其实能推出很多有意思的结论,比如我们是不是马上要进入AGI取代所有人工作的时候了?从这三个猜想的基础上来看,起码还没有那么快
降低cross entropy loss机器学习损失函数,每前进一步其实都异常的艰难,耗费的算力都是指数级上升,真的是路漫漫其修远兮,吾将上下而求索
monozuki retweeted
前天与一位在美科大校友聊天,聊到郝致京惨死,她不知道科大有校友惨死六四。要我把纪念文章投放到群里。
群里另一位校友把文章转发到另一个科大群。坏了,平时安安静静的群炸窝了。瞬间几百评论,乌泱泱的都是谴责这个校友不爱国。
这是科大同学第一次知道他们师兄惨死的反应。我惊呆了!
monozuki retweeted
推荐一本书《Hello 算法》,每个算法章节最开始都画了一张图帮助我们理解算法的原理,懂了原理,实现就有耐心看了。
hello-algo.com
monozuki retweeted
终极 GPT-4 指南
The Ultimate GPT-4 Guide
国外网友整理,该指南包含50多章节、100 多种资源,500多个AI人工智能工具、1000+个人工智能提示,可帮助你了解如何使用 GPT3 和 GPT4 来改善你的生活 doc.clickup.com/37456139/d/h…
monozuki retweeted
以下是今天发生的事情:
- 人工智能首席执行官在白宫会面
- Deepmind 首席执行官说我们将在几年内拥有 AGI
- 微软称人工智能将造成一些 "真正的破坏"
- Bing 向所有人开放
- 从 PDF 中提取数据的 AI 工具
monozuki retweeted
秋葉原と福岡以外、銀座、大阪、神戸、名古屋も、中国の「秘密警察」拠点があるとみられる。
fnn.jp/articles/-/518447
monozuki retweeted
试了试可以,又是一个天王级公链,估计明天教程一大堆了,熬夜给你们写首发教程,卷起来,给我点点关注第一时间看教程~~冲~!
#交互教程 #空投教程 #VenomTestnet
#Airdrop #给葡萄点关注
monozuki retweeted
細葉榕如何處理捐款安全:
1. 使用「歐盟第三方捐款平台」,銀行轉帳紀錄不會顯示「細葉榕」的名稱。
2. 提供加密貨幣(crypto)捐款方式,保護個人私隱。
3. 細葉榕全體成員均身處海外。
「誠請捐款為在囚手足重燃希望。」
如欲捐款及了解更多詳情,請瀏覽我們的網頁:
bonhamtreeaid.org
monozuki retweeted
Replying to @maoshen
2019年在悉尼auburn附近的一家妓院,里面就有真母女下海做的。妈妈还说女儿接客水平没有当妈的水平高。我还知道一个江苏过来的妈妈(溜冰)在悉尼做,大女儿跑到墨尔本做。很多情况都是生活所迫。
monozuki retweeted
I’m seriously thinking to wear a “HongKonger” t-shirt 7 days a week after having been asked too many times whether I’m a Chinese.
Watch this extraordinary documentary about Jimmy Lai, a multi millionaire who gave up everything for the fight for freedom. We are fighting the same fight here in America.
Find out why the people of Hong Kong call themselves Hong Kongers not Chinese (refers to the Mainland Chinese). The former are free people (until now), the later slaves of the CCP.
Movie link: freejimmylai. com (Twitter won’t let me tweet the link. Please omit the space after . to access the movie)
monozuki retweeted
过去一段时间做 AI 产品的一些思考。
wangloong.notion.site/AI-3f5…
monozuki retweeted
🧵最近使用 ChatGPT 总是出现「Something went wrong」,在生成时经常断掉,甚至一开始就生成不了,还得需要我们手动刷新页面…
今天手把手解决 ChatGPT 挂掉的简单方法
1⃣ 安装油猴插件(如果已经安装过了,请忽略)
chrome.google.com/webstore/d…
👇👇👇
monozuki retweeted
八十名歐洲議員要求法國政府驅逐中國駐法大使盧沙野 rfi.my/9PMP.t
monozuki retweeted
被执政党自民党推荐,并且得到包括首相岸田文雄在内的党内高层的支持的维吾尔裔日本人Arfiye Ablet @eri_arfiya 今天正式当选为了代表千叶县第五区(市川市,浦安市)的日本众议员,她也因此成为了有史以来第一个在民主国家当选为国会议员的维吾尔人。祝贺全世界的维吾尔同胞们!!!
#Uyghurs #Japan
维吾尔裔日本人Arfiye Ablet @eri_arfiya 被执政党自民党推荐为即将到来的千叶县第五区(市川市,浦安市)众议院选举的候选人,并且得到了包括自民党主席,首相岸田文雄在内的自民党高层的支持。如果当选,她将会是第一个在民主国家当选为国会议员的维吾尔人。选举将在4月23日举行。
#Uyghurs #Japan
monozuki retweeted
在 chat.forefront.ai/ 无限制白嫖上了GPT-4。免费还不会像ChatGPT官网那样动不动跳验证🤣
GPT-4的API那么贵,应该没法长期免费。点输入框右边的➕号可以切换成GPT-4模型













































