他们造出一个从未读过五年级以上内容的语言模型——然后发现自己教不会它更多东西
马克斯·普朗克智能系统研究所、图宾根 ELLIS 研究所与苏黎世联邦理工学院的研究者发布了 LittleLearner：参数量分别为 6 亿、13 亿和 50 亿的语言模型，从零开始训练于一个 880 亿 token 的语料库。该语料由 FineWeb-Edu 经五道过滤流程蒸馏而成，对齐美国 Common Core 标准，并剔除了五年级以上教授的全部内容。每个模型都有一个经过同一流程但不加过滤的对照版本。核心发现是：扩大模型规模、用 SFT 与 GRPO 做后训练、以及上下文学习，都会放大课程中本已包含的内容——但没有一项能显著提升课程范围之外的知识表现。语料与模型作为研究知识习得的实验沙盒一并公开。
为什么重要?几乎所有关于模型「学到了什么」的说法都无法检验，因为没人说得清训练数据里有什么。而这个模型有一条刻意划定的边界，于是成了一个受控实验室，用来回答该领域反复争论的问题：那些改进模型的标准手段，究竟是真的增加了知识，还是只是把本就存在的东西挖得更多？在这条边界内，答案是后者——而这是拿一个食谱不明的前沿模型怎么试也得不出的结论。
在App中阅读——免费，9种语言
相关新闻
美国拉上16个国家，把 AI 放进科学的中心2026-10-05数学家用普通聊天框解决了五个未解难题
2026-10-05没微调过的模型解开了微调版做不出的任务。
2026-10-04用普通照片预训练的模型在推理测试拿到70%
2026-10-04谷歌把人工智能芯片送上轨道，看它们能不能活下来。
2026-10-03