o1 不是通向大模子推理的唯通盘径！

MIT 的新盘问发现，在测试时对大模子进行测验，不错让推理水平大幅进步。

在挑战超难的 ARC 任务时，准确率最高可进步至本来的 5.83 倍。

这么的发达不仅优于 GPT-4 和 Claude，如果与其他推理方法相联结，还能超过东谈主类的平均水准。

OpenAI o1 团队成员Noam Brown示意，o1 的大界限运筹帷幄可能不是最佳的方法，很闲散看到有学者在提高推贤达商上探索新的方法。

在测试中测验模子

不同于传统的先测验后测试花式，测试时测验（Test-Time Training，TTT）在部署阶段面临新的测试样本时，不径直用测验好的模子去推理。

在推理之前，测试样本自己佩带的信息，和会过快速的测验经由被用于调整模子参数。

总体来说，TTT 经由中一共有三个要道阶段——测验数据生成、模子稳妥范式瞎想以及推理阶段的计谋。

数据生成的中枢是将测试任务中蕴含的输入输出对关系，通过数据增强的面容最大限制地欺诈，可具体分为两个本领。

起头是基于 leave-one-out 构造新的任务。

关于包含 K 个输入输出对的测试任务，纪律将每个样本留出行动测试样本，其余 K-1 个行动测验样本 , 由此构造出 K 个新的 TTT 测验任务。

这么就不错从一个测试任务开拔，构造出 K 个结构一致但现实互补的新任务，从而膨大了 TTT 测验数据。

在此基础上，作家还进行了数据增强，主要包括对输入输出施加各种几何变换，以及打乱测验样本对的步伐。

经过这一步，TTT 测验集的界限不错得到显耀扩大。

整个 TTT 数据构造经由可高度自动化，不依赖东谈主工标注。

欺诈构造好的 TTT 数据集，就不错对预测验好的话语模子进行测试时测验。

磋议到测试时的资源限度，作家选定了参数高效的 LoRA，为每个测试任务学习一组落寞的 adapter 参数，附加在预测验模子的每一层之上，通过一个低秩矩阵与原始权重相乘起到调整作用。

经由中还突出加入了对所有前缀序列的瞻望，标的是通过在各种长度的演示样本上都运筹帷幄蚀本，饱读吹模子尽早地从小数信息中转头出详细限定，从而提高鲁棒性。

临了，为了终了 TTT 效果的最大化，作家在推理阶段应用了数据增强和集成学习计谋。

推理经由中，先欺诈一系列预界说的几何变换算子（如旋转、翻转等）膨大原始输入，生成多少等价视角下的输入变体。

之后将每个变体输入并行地送入 LoRA-tuned 模子，落寞完成瞻望，然后再对皆和归附到原始输入空间，由此得到一构成对的瞻望。

在成对瞻望的基础上，通过分两层投票的面容完成集成交融：

第一层在每种变换里面进行投票，选出置信度最高的 Top-3 个瞻望 ;

第二层在不同变换的 Top-3 瞻望之间进行全局投票，选出最终的 Top-2 行动输出。

这一推理计谋，既通过数据增强引入了输入的各种性，又用分层投票的面容对不同来源的瞻望进行了结构化的组合，进一步进步了 TTT 方法的效果。

ARC 任务准确率最高升至 6 倍

为了评估 TTT 方法的效果，盘问团队以 8B 参数的 GPT-3 行动基础模子进行了测试。

如果不使用 TTT 仅进行微调，模子在 ARC 数据集上的准确率唯有 18.3%，加入 TTT 后进步到 47.1%，增长率达到了 157%。

另外，作家还从 ARC 数据接续立地选拔了 80 个任务行动子集进行了测试。

测试发现，TTT 方法关于 1B 模子的进步效果愈加明显，调整后模子的准确率接近调整前的 6 倍。

况且在调整前后，1B 和 8B 两个界限的模子之间的相对差距也在收缩。

进一风光，作家还将 TTT 方法与之前在 ARC 任务上获取优异得益的BARC（Bootstrapping Approach for Reward model Construction）方法进行了相比和联结。

具体来说，作家起头落寞启动这两个系统，得到它们在每个测试任务上的输出。

如果两者输出裕如一致，则径直合计推理收尾是正确的；

如果输出不一致，则看 BARC 是否约略生成细办法、独一障翳所有测试样本的解题圭臬，如果则合计 BARC 的输出更可靠；

反之，如果 BARC 生成了多个候选圭臬但无法细目最优解，或者干脆无法生成任何满足拘谨的圭臬，则合计 TTT 的输出更可靠。

两种面容互助使用后，获取了 61.9% 的 SOTA 得益，照旧最初了东谈主类的平均水平。

One More Thing

左证作家在推文中的先容，在这篇论文发布前，一个叫作念 MindsAI 的团队照旧发现使用了相通的技艺。

欺诈 TTT 技艺，该团队照旧用 58% 的正确率获取了 ARC 挑战的第又名。

作家的论文发布之后，MindsAI 团队沟通者 Jack Cole 也发文进行了道贺：

很闲散，咱们掀翻了这场对 TTT 的敬爱风暴。

同期，Jack 还保举了另又名盘问 TTT 的学者——斯坦福大学华东谈主博士后Yu Sun，示意他的盘问值得被看重。

Sun 的个东谈主主页知道，他针对测试时测验进行了大批盘问，联系收尾入选过 ICML、NeurIPS、ICLR 等多个顶级会议。

论文地址：

https://ekinakyurek.github.io/papers/ttt.pdf万博体育