tiny viber retweeted
Stop caring so much about model releases.
Focus on the harness, and improving the environment your agent operates in.
You'll find yourself far ahead of the curve.
tiny viber retweeted
ADHD 是我见过脑回路最清奇的一类人。
可以一边说自己没时间,
一边花 40 分钟研究为什么企鹅走路这么跩。
可以 ddl 快到了还没动,
然后凌晨 2 点突然决定整理人生。
可以房间乱到像灾后现场,
但对一个新兴趣突然爆发出博士级研究精神。
tiny viber retweeted
日本科学家开发突破性疗法,有望将猫咪平均寿命翻倍——从约15年延至近30年。
关键在于一种名为AIM的蛋白质。虽然猫咪体内天然产生AIM,但无法有效激活它,导致肾脏废物堆积,这是家猫的主要死因。
宫崎透博士团队研制出注射型激活AIM,能直接恢复肾脏自洁功能。临床试验显示,晚期肾病猫咪治疗后显著好转。
预计2025年在日本商用,2027年更广泛推广。这项研究也引发人类医学应用的期待。
tiny viber retweeted
我发现中文圈没人提这个⬇️
刚刚英伟达完成了一件很多人以为做不了的事。
他们用4bit精度,在10万亿tokens上,预训练了一个12B参数的大语言模型。
其实预训练方向一直陷入停滞很久了,过去几年,预训练基本被16bit和8bit统治。
你可以在推理阶段做4bit量化,可以省显存,可以让模型跑得更便宜。
但真拿4bit去做预训练,就是另一回事。
训练不是把模型压小然后跑起来。
训练是每一步都要算梯度,每一步都要更新参数,每一步都可能被数值误差放大。
精度降太狠,loss会飘,梯度会偏,它会变得不稳定,自己“幻觉”出错误的计算,最终崩溃。
但英伟达证明了“不可能”只是一个数学问题。
他们使用了一种名为 NVFP4 的新格式,与标准结构不同,NVFP4 采用“微缩放”。
它不是粗暴地把所有数字砍成4bit,而是把数字切成很小的block,给每一小块单独配scale。
你可以理解成,以前是一把尺子量一整间屋子,现在是每一小格都有自己的尺子。
其结果是一次彻底的范式转变:
性能提升 2× 到 3×
内存使用减少 50%
最重要的是智能几乎无损
研究人员将该 4 位模型与庞大的 8 位基线进行了比较。曲线完全一致。
在 MMLU、GSM8K 和编程基准测试中,“微小”4 位版本的表现与更昂贵的模型相差不到 0.1%。
当然,它不是整个模型从头到尾全部纯4bit。
embedding、norm、attention相关部分、optimizer states这些地方,仍然有高精度保留。
但最重的那部分linear GEMM,已经可以被NVFP4接管,而且模型没有炸。
训练一个前沿模型过去需要数万块 GPU 和数月时间。NVIDIA 刚刚证明我们可以用一半的硬件和极少的电力得到相同的结果。
这对整个行业的意义很简单:
大模型训练不会因为算力贵就停下来。
英伟达正在把那张训练账单,一刀一刀往下切。
这会是一个非常颠覆的事情。
Paper:arxiv.org/abs/2509.25149


































