奇米网 陶哲轩提前实测满血版o1：能当商量生使唤

好珍视！正本早在 8 月份奇米网，陶哲轩就还是用上了 OpenAI o1。

如故目下环球齐用不上的满血版块（眼泪不争光地从嘴角流出来）。

提前批大佬是如何玩最新天花板的呢？

他向 o1 模子建议一个措辞恍惚的数常识题，发现它尽然能到手识别出克莱姆定理。

况兼谜底是"澈底令东谈主悠然的"那种。

天然，陶哲轩还作念了一些其它测试，肉测下来总体体验等于：

比往常的模子更牛，多堆点教导词弘扬还可以，但仍然会犯不小的狂放，也莫得产生啥我方的想想。

陶哲轩是这样形容的：

这种嗅觉，就像给一个世俗无奇但又有点小能力的商量生提供建议。

不外，这还是比往常的模子有所纠正，因为往常的模子的能力更接近于骨子上不尽责的商量生。

但要是赐与前的模子加点助力，比如筹算机代数包和领悟注解扶植器用啥的，纠正一两次，就能好意思满进一步迭代，白云苍狗，成为"有能力的商量生"。

陶哲轩对使用体验的这个神奇比方在 HackerNews 等多个平台引起了热烈筹商。

有网友愤愤：GPT 是什么 **！我承认 LLMs 对写代码有很大匡助，但事实上有一些至极好的器用可以匡助解决这一问题，举例代码片断、模板和代码生成器。

有东谈主就用陶哲轩的话回复了他：

"任何贤慧到足以以编程为生的东谈主，才能齐足以成为一个平平无奇但又小有能力的数学商量生。"

陶哲轩实测 ChatGPT vs o1

陶哲轩展示了他我方的三轮测试。

第一轮，用旧年 3 月份测试 ChatGPT 的题目，条目大模子回答一个措辞暧昧的数常识题，唯有从文件中找出一个相宜的定理（克莱姆法规）就能解决。

Say I have a positive measure whose closure ( support ) = some compact convex subset S. I convolve n times to get a measure on nS. Scale down by n， take log， divide by n， take the limit to get some rounded thing on S. Does it depend on the original measure?

其时，ChatGPT 倒是像模像样地回答了，时代还提到了一个高度干系的术语：对数矩生成函数，甚而在给出的谜底中还筹商了一个具体的例子。不外不可提防细节，全是幻觉，况兼谜底亦然错的。

这一次，相通像模像样，但相较之下更有档次（更长还有大小标题分离度）。

最进攻的是，o1 到手找到了克莱姆定理，并给出了澈底令东谈主悠然的谜底。

ps，看记载，早在 8 月份陶哲轩就用上了 o1。

第二轮，上少许难度，挑战复杂分析商量生课程的一个问题。

（之前他用来测试 GPT-4 的，条目他来协助编写一个领悟注解）

奇米网

铁心此次陶哲轩的论断是，是要比之前 GPT-4 好些，但仍有点失望。

要是提供多半的教导和饱读动，新模子可以通过我方的致力于得到一个正确的（况兼写得很好的）解决决议，但它我方并莫得产生要津的想法想法，况兼照实犯了一些非同儿戏的狂放。

光看到这几轮教导交互，照实是有点不悠然的。

也难怪陶哲轩代入我方，把调教 o1 像是在教一个世俗、但又不是澈底不尽责的商量生。

紧接着来第三轮测试，这一次是条目将质数定理的一种式样转动为 Lean 中的定理式样，标准是将其明白为若干个子问题分别描写，但不给出领悟注解。

铁心模子很好地理会了这个任务，并进行了合理的初步明白，不外代码中出现了几个小狂放。

陶哲轩解释谈，这是由于测验时枯竭计议 Lean 及其数学库的最新信息。

并透露，要是能有益针对 Lean 和 Mathlib 进行微调，并集成到一个 IDE 中，那应该会对公式化款式很有效。

在商量数学层面的实用性在增多

用大模子来搞商量，其实还是飞入寻常匹夫家了。

一位账号名为 wenc 的网友共享了 ta 使用大模子来作念商量的资格。

wenc 从事着运筹学干系的职责，而 OpenAI 的模子们，从 GPT 4o 开动，就接纳了豪阔多的运筹学数据，大约输出好多至极有效的混杂整数筹备（MIP）  公式。

举个栗子：

给 4o 一个逻辑问题，如"我需要把柄分数将 i 个款式放入 n 个桶中，但我想按端正填充每个桶"，4o 会输出一个至极有效的数学公式。

经常情况下，只需要把公式微调一下就能澈底贬降低题了。

此外，一些 prompt 太弱了的时候，4o 还会预警：这可能导致输出不尽如东谈主意——可以说对幸免无效回答至极有效了。

推辞顶看咱还用不上大模子的时候，传统标准是需要环球在周末苦思冥想，试图找出计议 MIP 优化问题的趁火篡夺的公式。

关于非直不雅问题来说，这少许经常齐令东谈主头秃。

wenc 很刚硬地透露，每月从 ChatGPT 上得到的价值，远远超出了 20 好意思元（每月订阅用度）。

一朝 GPT 在 Lean 上得到更多调度——就像在 Python 上一样——我展望它在商量数学层面的实用性会有进步。

wenc 还对那些挟恨 Claude 和 GPT 最新模子不好用的网友进行了分析：

不知谈如何最大化我方的上风来使用大模子们；

把大模子想得无所不可，抱着"这玩意儿是解决一切的灵丹灵药"的期待；

大模子照真实他们的领域不适用。

wenc 在终末弱弱补了一句，好多挟恨的东谈主，其实齐是属于前两种啦～～～

陶哲轩回复争议

尽管大多数网友齐以为大模子能匡助我方省下许多功夫，如故有东谈主对陶哲轩"调教大模子如同调教不咋靠谱的商量生"的言论，充满了疑忌和不明。

有网友在陶哲轩的 mathstodon 下面留言：

亲，也许你可以伸开说说"商量生"这块不？

我理会一下子，你的意义是 o1 之前大模子放在 Lean 微调，再聚总筹算机代数包，那输出效用就可以忘形商量生水平？

浅易点来说，这种情况下的大模子大约解决一些新发现的进攻课题？

陶哲轩倒是很实时地回复了这条褒贬。

他透露，他正在接洽一个具体的筹划，即"助手大约在大师数学家的沟通下，协助完成复杂数学商量款式中的一个或多个具体任务"的程度。

一个有能力的商量生可以为这样的款式作出孝敬，且这种孝敬比"让学生加速款式程度并监督他们出了几成力"更有价值。

不外，即使使用最新的器用，让大模子输出正确且有效的回答，其实比输入精确 prompt 和考证铁心齐要难多了——天然，这之间的差距并不是出奇宏大，前者大摘录难个 2-5 倍的神态。

陶哲轩透露我方多情理笃信，将来几年内，这个差距会裁减到 1 倍以内（其实有些特定子任务，比如语义搜索、数据神态化或生成数字代码以协助数学商量探索，这个比率还是低于 1 了）。

他视"差距降到 1 倍以内"为数学领域将更宽泛取舍这些的转念点。

至于"商量生水平"嘛——

陶哲轩透露，我方这样说，仅仅为了便捷环球感知啦！

天然大模子可以协助商量东谈主员完成现时的款式，但培养商量生的目标，是为了以后有更多的下一代独处商量者。

"我意外默示商量生学习的各个方面，与数学中 AI 扶植的各个方面之间存在逐一双应的关系。"

One More Thing

终末，共享一则陶哲轩这个话题下，咱们发现网友筹商出的、呼声挺高的一个论断——

天然很难量化学会用大模子到底省了若干时候，但跟着一个东谈主教导词工程能力的进步，大伙儿能用更少的时候得到更好的效用。

然则！

不言而喻，大模子的价值是因东谈主而异的，它险些取决于每个东谈主的教导词水平。

呃，忸怩中……

不说了，过什么中秋节假期，咱这就去精进我方的 prompt 妙技去！

参考贯穿：

[ 1 ] https://mathstodon.xyz/@tao/113132502735585408

[ 2 ] https://news.ycombinator.com/item?id=41540902

[ 3 ] https://mathstodon.xyz/@tao/109948249160170335奇米网