aiminute. ← 全部AI新闻
研究 AI Minute Newsroom 2026-08-16

他们造出一个从未读过五年级以上内容的语言模型——然后发现自己教不会它更多东西

他们造出一个从未读过五年级以上内容的语言模型——然后发现自己教不会它更多东西

马克斯·普朗克智能系统研究所、图宾根 ELLIS 研究所与苏黎世联邦理工学院的研究者发布了 LittleLearner:参数量分别为 6 亿、13 亿和 50 亿的语言模型,从零开始训练于一个 880 亿 token 的语料库。该语料由 FineWeb-Edu 经五道过滤流程蒸馏而成,对齐美国 Common Core 标准,并剔除了五年级以上教授的全部内容。每个模型都有一个经过同一流程但不加过滤的对照版本。核心发现是:扩大模型规模、用 SFT 与 GRPO 做后训练、以及上下文学习,都会放大课程中本已包含的内容——但没有一项能显著提升课程范围之外的知识表现。语料与模型作为研究知识习得的实验沙盒一并公开。

为什么重要?几乎所有关于模型「学到了什么」的说法都无法检验,因为没人说得清训练数据里有什么。而这个模型有一条刻意划定的边界,于是成了一个受控实验室,用来回答该领域反复争论的问题:那些改进模型的标准手段,究竟是真的增加了知识,还是只是把本就存在的东西挖得更多?在这条边界内,答案是后者——而这是拿一个食谱不明的前沿模型怎么试也得不出的结论。
#科学研究

✓ 已核实 · 2个来源

WhatsApp X Telegram
在App中阅读——免费,9种语言

相关新闻

OpenAI称新模型几乎挡住了所有窃取推理过程的攻击。
2026-11-22
Lean社区称AI辅助的黎曼猜想证明正确无误。
2026-11-22
研究者称一款开源AI模型靠修改自身权重变得更强。
2026-11-21
美国审计机构发现没有一款AI心理咨询机器人获FDA授权。
2026-11-21
独立数学家称AI辅助的黎曼猜想证明通过了初步检验。
2026-11-21