大语言模型具备稳定推理能力吗？ 「来自上海 AI 实验室 @OpenCompassX 的研究，通过创新的评估方法揭示了一个关键问题：尽管大语言模型在单次测试中可能表现出色（如 OpenAI 最新模型单次准确率达 66.5%），但在需要持续稳定输出的场景中，几乎所有模型的表现都会大幅下降（降幅普遍超过 60%），这说明当前 AI 模型的"思考能力"仍不够稳定和可靠」 论文目前在 HF Papers 当日排名居首位，关注度很高 @_akhaliq 👍 一、研究背景和问题 · 虽然大语言模型在数学推理等复杂任务上表现优秀，但基准测试成绩与实际应用效果存在差距 · 现有评估方法无法真实反映模型在实际应用中的稳定性 二、主要创新 · G-Pass@k评估指标：评估模型在多次尝试中保持正确答案的能力 · LiveMathBench测试集：收集最新数学竞赛题目，确保评估的时效性和难度 三、关键评测发现 · 通用大模型表现 - Gemini-1.5-Pro表现最佳：单次测试49.2%，但在严格标准下降至26.8% - GPT-4和Claude-3.5表现相近：单次成绩约40%，严格测试均降至20%以下 · 数学专用模型表现 - Qwen2.5-Math-72B潜力最高：单次可达50.4%，但稳定性测试降至26.8% - 其他专用模型表现不佳：DeepSeek-Math和NuminaMath在严格测试中均低于6% · o1系列模型亮点 - OpenAI o1-mini最为稳定：单次66.5%，严格测试仍保持42.0% - QwQ-32B紧随其后：严格测试保持33.3%的水平 展现出更好的推理稳定性 四、核心启示 · 稳定性挑战 - 几乎所有模型在严格测试下表现显著下降 - 平均性能衰减超过60% - 即使是专门优化的数学模型也难以保持稳定表现 · 规模效应局限 - 增加模型参数量并不能显著提升推理稳定性 - 如72B和32B版本的Qwen模型表现相近 · 未来方向 - 需要更注重模型的稳定性而非单次表现 - o1系列的架构创新可能提供了提升稳定性的新思路 - 评估方法需要更贴近实际应用场景