成人 男同 o1突发内幕曝光？谷歌8月论文已揭示旨趣，大模子光有软件不存在护城河

发布不到 1 周成人 男同，OpenAI 最强模子 o1 的护城河照旧莫得了。

有东说念主发现，谷歌 DeepMind 一篇发表在 8 月的论文，揭示旨趣和 o1 的责任相貌险些一致。

这项扣问标明，增多测试时（test-time）筹备比膨胀模子参数更灵验。

基于论文提倡的筹备最优（compute-optimal）测试时筹备膨胀战术，范畴较小的基础模子在一些任务上不错高出一个14 倍大的模子。

网友默示：

这险些即是 o1 的旨趣啊。

大家皆知，奥特曼心爱逾越于谷歌，是以这才是 o1 抢先发 preview 版的原因？

有东说念主由此感触：

照实正如谷歌我方所说的，莫得东说念主护城河，也遥远不会有东说念主有护城河。

就在刚刚，OpenAI 将 o1-mini 的速率提高 7 倍，每天王人能使用 50 条；o1-preview 则提到每周 50 条。

筹备量节俭 4 倍

谷歌 DeepMind 这篇论文的题目是：优化 LLM 测试时筹备比扩大模子参数范畴更高效。

扣问团队从东说念主类的想考方法延长，既然东说念主面临复杂问题时会用更长技能想考改善有筹议成人 男同，那么 LLM 是不是也能如斯？

换言之，面临一个复杂任务时，是否能让 LLM 更灵验诳骗测试时的额外筹备以提高准确性。

此前一些扣问照旧论证，这个标的照实可行，不外恶果相比有限。

因此该扣问想要探明，在使用相比少的额外推理筹备时，就能能让模子性能进步若干？

他们联想了一组推行，使用 PaLM2-S* 在 MATH 数据集上测试。

主要分析了两种才略：

（1）迭代自我改变：让模子屡次尝试恢复一个问题，在每次尝试后进行改变以获取更好的恢复。

（2）搜索：在这种才略中，模子生成多个候选谜底，

不错看到，使用自我改变才略时，跟着测试时筹备量增多，圭臬最好 N 战术（Best-of-N）与筹备最优膨胀战术之间的差距冉冉扩大。

使用搜索才略，筹备最优膨胀战术在初期弘扬出相比光显上风。并在一定情况下，达到与最好 N 战术疏导恶果，筹备量仅为其 1/4。

在与预考验筹备特别的 FLOPs 匹配评估中，对比 PaLM 2-S*（使用筹备最优战术）一个 14 倍大的预考验模子（不进行额外推理）。

截止发现，使用自我改变才略时，当推理 tokns 远小于预考验 tokens 时，使用测试时筹备战术的恶果比预考验恶果更好。然而当比率增多，或者在更难的问题上，照旧预考验的恶果更好。

也即是说，在两种情况下，把柄不同测试时筹备膨胀才略是否灵验，要害在于领导的难度。

扣问还进一步相比不同的 PRM 搜索才略，截止显现前向搜索（最右）需要更多的筹备量。

在筹备量较少的情况下，使用筹备最优战术最多可节俭 4 倍资源。

对比 OpenAI 的 o1 模子，这篇扣问险些是给出了疏导的论断。

o1 模子学会完善我方的想维经过，尝试不同的战术，并意识到我方的失实。况且跟着更多的强化学习（考验时筹备）和更多的想考技能（测试时筹备），o1 的性能抓续提高。

不外 OpenAI 更快一步发布了模子，而谷歌这边使用了 PaLM2，在 Gemini2 上还莫得更新的发布。

网友：护城河只剩下硬件了？

这么的新发现难免让东说念想法象客岁谷歌里面文献里提倡的不雅点：

咱们莫得护城河，OpenAI 也莫得。开源模子不错击败 ChatGPT。

如今来看，各家扣问速率王人很快，谁也不成确保我方恒久逾越。

惟一的护城河，能够是硬件。

（是以马斯克哐哐建算力中心？）

有东说念主默示，现时英伟达径直掌控谁能领有更多算力。那么要是谷歌 / 微软开发出了恶果更好的定制芯片，情况又会奈何呢？

值得一提的是，前段技能，将禁受台积电动身点进的 A16 埃米级工艺，专为 Sora 视频应用打造。

显着，大模子战场，仅仅卷模子本人照旧不够了。

参考运动：

https://www.reddit.com/r/singularity/comments/1fhx8ny/deepmind_understands_strawberry_there_is_no_moat/成人 男同