没微调过的模型解开了微调版做不出的任务。

十月一日的一篇论文比较了十四对模型，每一对都是原始版和它的微调版。给足尝试次数，原始模型做出了微调版从来没做出来的任务。作者把这个差距叫做锐化税，并给出一个采样上的补救办法。

为什么重要?微调让模型第一次就更靠得住，同时也让它变窄了。如果你的智能体老是卡在一件事上，换个更朴素的模型可能走得通。

相关新闻