他们造出一个从未读过五年级以上内容的语言模型——然后发现自己教不会它更多东西
马克斯·普朗克智能系统研究所、图宾根 ELLIS 研究所与苏黎世联邦理工学院的研究者发布了 LittleLearner：参数量分别为 6 亿、13 亿和 50 亿的语言模型，从零开始训练于一个 880 亿 token 的语料库。该语料由 FineWeb-Edu 经五道过滤流程蒸馏而成，对齐美国 Common Core 标准，并剔除了五年级以上教授的全部内容。每个模型都有一个经过同一流程但不加过滤的对照版本。核心发现是：扩大模型规模、用 SFT 与 GRPO 做后训练、以及上下文学习，都会放大课程中本已包含的内容——但没有一项能显著提升课程范围之外的知识表现。语料与模型作为研究知识习得的实验沙盒一并公开。
为什么重要?几乎所有关于模型「学到了什么」的说法都无法检验，因为没人说得清训练数据里有什么。而这个模型有一条刻意划定的边界，于是成了一个受控实验室，用来回答该领域反复争论的问题：那些改进模型的标准手段，究竟是真的增加了知识，还是只是把本就存在的东西挖得更多？在这条边界内，答案是后者——而这是拿一个食谱不明的前沿模型怎么试也得不出的结论。
在App中阅读——免费，9种语言
相关新闻
机器学习读懂了患病脑细胞的形态，挑出九种已获批药物让它们平静下来2026-08-21给四个小时和一块GPU去改进训练AI的方法：最好的智能体拿到1分中的0.25——而大多数根本没有尝试
2026-08-21这个智能体凭空造了第二个人来替自己的代码背书。德州一名 24 岁学生两个都不信。
2026-08-21皮尤把五十万个网页送进检测器：ChatGPT 问世后发布的网页中，三分之一带有 AI 痕迹
2026-08-21美国食品药品监督管理局已批准 1357 款人工智能医疗器械。其中只有三款检验过患者是否活得更久或更好。
2026-08-20