jk 黑丝 OpenAI o1模子引颈大模子结合强化学习新范式，推理模子为AI Agent带来哪些利好？

文 | 王吉伟jk 黑丝

OpenAI最新发布的o1模子有什么特色？对AI Agent有什么影响？

从想维链到强化学习到智能体，系统解读o1模子对AI Agent的影响

想维链+强化学习大模子推理才调大增，基于o1模子的AI Agent能否蝶变？

o1模子引颈的大模子结合强化学习新范式，为AI Agent带来哪些利好？

又贵又慢功能少的o1模子成AGI关节旅途，基于推理模子的AI Agent才调大增

o1模子等于智能体？它有哪些特色？对AI Agent有什么影响？一文看懂

9月13日，OpenAI发布了最新的o1模子，再度引起全球热议。

对这个最新的具备高等推理才调的模子，群众宗旨不一。有东说念主以为o1模子独创了开启「后老师」期间强化学习新范式，有东说念主以为它代表着坐褥力和创造力的症结飞跃，还有东说念主以为它"又贵又难吃"。

对于大谈话模子厂商来说，大模子+想维链的玩法确乎算是新的范式。OpenAI让群众知说念了原本大模子不再只柔和预老师，强化学习的后老师可以让引入想维链的大谈话模子性能更强。

表面上采用这种老师方式，以后每个领域都有可能跑出一个性能超越AlphaGo的超等模子。那么，基于每个模子的AI运用都将完了功能与体验上的质变。

在坐褥力方面，多个行业的代表性东说念主物也已身先士卒。

杰克逊履行室的免疫学家Derya Unutmaz，尝试使用o1-preview模子编写了一份癌症解救提案。收尾它在一分钟内创建了花样的完好框架，且目的极具创意，致使接洽了诸多潜在的风险问题。对于领有30年行业教导的Derya来说，广泛写这样的花样框架至少需要几天时刻。

天体物理学家凯尔·卡巴萨雷斯（Kyle Kabasares）博士使用o1-preview，在1小时内完成了攻读博士学位所破耗的约莫一年的时刻。要知说念在狡计流体能源学和免疫学等领域，挥霍时刻与元气心灵的复杂狡计和数据分析属于通例操作，o1模子通过加速磋议过程和提供新的见识阐明了它的价值。

对于性能这样强悍的o1模子，却有东说念主说它又贵又难吃。主要原因在于，o1模子的推理价钱很高。单从输出价钱来看，o1-preview版的API是GPT 4o的四倍，输出用度高达60好意思元/百万token。Hacker News评测数据走漏，API最终使用本钱可能比GPT-4o跳跃1000倍。

况且，因为采用了想维链进行推理，o1模子输出的速率也不是一般的慢。此外，o1模子的功能有限，咫尺并不援手联网搜索、文献操作等常勤快能。

价钱贵速率慢功能少，对于个东说念主用户来说o1模子确乎"又贵又难吃"。

但o1模子自己是一个交易滋味很浓的模子，主要等于面向教学、科研、金融及医疗等需要更强推理的领域，以及更多的工夫公司。在B端市集的眼里，各式不爽的体验已被其高等推理这一项隆起性能强势消灭。

鉴于其所引颈的大模子工夫宗旨偏激在改日行将带来的交易价值，o1模子的背后工夫大模子与强化学习的结合，已被看作是迈向AGI的关节旅途。

o1模子依然发布10多天，对于OpenAI下一步奈何走，各界尤为柔和。有东说念主以为可能会进一步强化大模子推理，也有东说念主以为会重心押注AI Agent。9月21日，OpenAI磋议员诺姆・布朗（Noam Brown）在X平台的发布算是给出了谜底：组建"多智能体"multi-agent 磋议团队。

事实上，在之前OpenAI公布的五级量表中，最新推出的o1模子处于第二阶段即"推理者"（reasoners）阶段，斥地multi-agent合乎其第三阶段的目的要求。这样，o1模子的运用宗旨也进一步指向了AI Agent。

引入了想维链的o1模子自己就依然算是AI Agent了，OpenAI的下一步势必会在AI Agent方面有大动作。

为什么说o1模子等于AI Agent？o1模子有哪些特色？对AI Agent有什么影响（该部老实容占全文1/4）？想维链和强化学习若何塑造o1模子？本文，王吉伟频说念就跟群众聊聊这些。

先来了解一下o1模子

这个模子等于听说中的Strawberry（草莓）或Q*花样。此次发布的o1模子两个版块，差别是o1-preview和o1-mini。o1-preview更提神深度推理处理，o1-mini则更工致、更高效，适用于编码任务。

这两个版块，都不是绝对版的o1模子。据说完好版的o1模子太刚劲了，现时莫得完善安全保护步调的情况下不敢放出来。而在风险级别上，这两个版块依然被OpenAI归类为中等风险。

o1模子的主要特色是，具备高等推理才调，性能大幅栽培，幻觉昭着减少。具体如下：

高等推理才调：o1模子在处理数学、编程和科学等领域的复杂问题时发达出色，能够进行深度推理，效法东说念主类逐渐处分问题的过程。

强化学习老师：o1模子通过自我对弈的老师方法，栽培了其推理才调，访佛于AlphaGo的老师方式。

性能栽培：在多个基准测试中，o1模子展现出了权贵的性能栽培，举例在Codeforces编程竞赛中特出了89%的参赛者，以及在物理、生物和化学问题的基准测试中超越了东说念主类博士水平的准确率。

减少幻觉：o1模子在生成演叨或不准服气息的情况（称为"幻觉"）比拟之前的模子有所减少。

更大的输出窗口：除了鼎新的性能和精度外，o1 还领有昭着更大的输出窗口。这意味着与其他 OpenAI 模子比拟，它更有才调生成完好申诉、编写通盘这个词代码库或为复杂查询提供详备反馈。

天然在性能的展示上，OpenAI莫得让o1模子像其他模子一样再去跑分评分，而是让他像东说念主一样参加了海外数学奥林匹克阅历考验，它的正确率达到了83%，远超GPT-4o的13%。在编程竞赛Codeforces中，o1模子也达到了89%的百分位名次。

采用强化学习老师方式以及想维链，让o1模子的推感性能有了质的转变。

o1模子优点昭着，缺欠也很权贵。

本钱较高：o1模子的使用本钱相对较高，举例o1-preview的输入用度为每百万个token 15好意思元，输出用度60好意思元。而GPT-4o的用度差别为5好意思元和15好意思元，远高于GPT-4o的用度。

速率较慢：o1模子在提供回话之前需要更多时刻进行深入想考和推理，导致回话速率变慢。

运用范围王法：o1模子咫尺仅援手文本，不成处理图像、视频或音频数据，也莫得浏览网页的才调，王法了它在某些运用场景中的实用性。

浅陋说等于，性能栽培了，速率变慢了，才调变弱了，价钱更贵了。

有东说念主可能会问，既然才调不举止什么还用它呢？很浅陋，因为推理才调强。

天然o1模子挥霍token更多，但能够处分复杂的问题。GPT 4o消耗token少，然而干不了深度推理的活儿。同期，这也比通过各式器用、插件、AI Agent等技巧让推理不够强的模子去作念推理以及实施任务消耗的token更少。

是以jk 黑丝o1模子更适如医疗保健、量子磋议、高等编码等诸多领域，多个行业的从业者都对o1模子有目共赏。

o1模子更多是为企业准备的，并非个东说念主。如果你不需要处分复杂问题，咫尺基本用不到o1，GPT 4o依然满足大部分用户的需求。况且办公运用中需要的搜索、图像处理、文献阅读等功能，o1模子咫尺并不援手。天然个东说念主有高等推理需求且不差钱的，亦然随时可用。

各大工夫厂商早依然磨刀霍霍，后头会有普遍AI运用样式进行工夫对接，到时群众就能体验基于o1模子的AI运用。比如GitHub Copilot准备集成o1系列模子，许多东说念主立即嗅觉Cursor不香了。

新模子叫作o1而是GPT 4.5/5，很昭着亦然跟GPT系列模子作念一个区隔。能感受到o1是一个愈加交易化的模子版块，专门为一些有高等推理需求的企业提供相应服务。相对于GPT系列模子，o1更像是分出来的专用于推理的垂直模子，目的是为了满足现时的市集需求。

奥特曼说o1是推理大模子的GPT 2，意味着以后会有多个版块，可能会从o1-o5诚笃更多版块。天然也不摒除在时机稳妥之后，再把o系列并入到GPT系列模子中，或者径直推出推理才调更强的GPT系列模子。

天然o1是一个C端用户感受不深的模子，但对行业的影响照旧蛮大的。比如月之暗面创始东说念主杨植麟以为，o1模子的发布标记着大模子发展的新范式，尤其是在强化学习方面的尝试，对于谋害数据和算力的瓶颈具有症结真谛。

对于企业客户来说，新的o1模子代表负责要飞跃。从金融到医疗保健，百行万企的企业越来越多地转向AI，不仅是为了完了自动化，而且是为了处分东说念主类专科学问有限的复杂、高风险问题。o1模子推理、鼎新政策和识别诞妄的才调使其成为这些使用案例的联想取舍。

这些功能对于处理复杂数据集和服务流的公司尽头有引诱力。举例，o1-preview模子可以匡助物理学家生成复杂的量子光学公式，匡助医疗保健磋议东说念主员扫视大鸿沟基因组数据。这与早期主要处理重迭性、初级任务的AI模子形成昭着对比。

o1模子资源

文档

OpenAI官方文档

勾搭：https://platform.openai.com/docs/guides/reasoning

博客

底下这几篇博客，详备先容并解读了o1模子的工夫旨趣与完了。

1、Learning to Reason with LLMs

学习使用 LLM 进行推理

作家：OpenAI

勾搭：https://openai.com/index/learning-to-reason-with-llms/

2、OpenAI o1-mini

先容o1-mini

勾搭：https://openai.com/index/openai-o1-mini-advancing-cost-efficient-reasoning/

3、Finding GPT-4’s mistakes with GPT-4

用GPT-4查找GPT-4的诞妄

勾搭：https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4/

4、Summary of what we have learned during AMA hour with the OpenAI o1 team

回来了OpenAI o1团队的AMA时刻中学到的东西

作家：Tibor Blaho

勾搭：https://twitter-thread.com/t/1834686946846597281

推文勾搭：https://x.com/btibor91/status/1834686946846597281

5、OpenAI’s Strawberryjk 黑丝， LM self-talk， inference scaling laws， and spending more on inference

OpenAI的草莓、LM自言自语、推理推广王法以及增多推理支拨

作家：Nathan Lambert（Allen AI 磋议科学家）

勾搭：https://www.interconnects.ai/p/openai-strawberry-and-inference-scaling-laws

6、Reverse engineering OpenAI’s o1

逆向工程OpenAI的o1

勾搭：https://www.interconnects.ai/p/reverse-engineering-openai-o1

论文

底下是几篇与o1关系的论文，感风趣的一又友可以了解一下。

1、Training Verifiers to Solve Math Word Problems

老师考据器处分数学问题

机构：OpenAI

勾搭：https://arxiv.org/abs/2110.14168

2、Generative Language Modeling for Automated Theorem Proving

自动定理阐明的生成谈话建模

勾搭：https://arxiv.org/abs/2009.03393

3、Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

想维链辅导激发大型谈话模子的推理

机构：谷歌大脑

勾搭：https://arxiv.org/abs/2201.11903

4、Let's Verify Step by Step

让咱们逐渐考据

勾搭：https://arxiv.org/abs/2305.20050

5、LLM Critics Help Catch LLM Bugs

LLM月旦者匡助发现LLM舛错

勾搭：https://arxiv.org/abs/2407.00215

6、Self-critiquing models for assisting human evaluators

辅助东说念主类评估者的自我批判模子

勾搭：https://arxiv.org/pdf/2206.05802

更多可能与 OpenAI o1关系的论文，限于篇幅这里只加一个截图。对这些论文感风趣的一又友，可以到底下的Github页面查阅每一篇论文。

勾搭：https://github.com/hijkzzz/Awesome-LLM-Strawberry

想维链是推理才调栽培的关节

想维链（Chain of Thought，CoT）是东说念主工智能领域中的一种工夫，旨在通过模拟东说念主类处分问题时的想维过程来提能手工智能系统处分复杂问题的才调。

相对于传统算法更侧重于遵守和收尾（在已知章程和结构化数据上发达更好），想维链的处分问题的方法更接近于东说念主类的想考方式，通过模拟东说念主类的想维过程来提高AI系统的推理才调解问题处分遵守。因此这种方法尽头适用于需要多智力推理的问题，如数学问题、逻辑谜题或编程挑战。

在骨子运用中，CoT主要用于栽培大型谈话模子（LLMs）在处分需要推理的问题上的性能。凭据搜索收尾，CoT在数学和象征推理任务上的遵守尤为权贵，而在其他类型的任务上栽培较小。

在东说念主工智能中，想维链常常波及以下几个智力：

问题深入：AI系统当先深入问题的基本要乞降目的。

智力剖析：将复杂问题剖析成一系列更小、更易于管理的子问题或智力。

逐渐推理：对每个子问题进行一一处分，每一步都确立在前一步的基础上，形成一条逻辑链。

诞妄识别与修正：在推理过程中，系统能够识别并修正我方的诞妄，或者在现时列法无效时尝试不同的处分决策。

最终谜底生成：经过一系列推明智力后，系统得出最终谜底。

想维链工夫的一个关节上风在于，它能够提高AI系统在处理需要深入想考和逻辑推理的问题时的准确性和可靠性。通过模拟东说念主类的想维过程，AI系统可以更接近东说念主类的处分问题方式，从而在复杂任务上发达得更好。

想维链是o1模子的中枢性格之一，它允许模子在生成最终谜底之前，进行里面的多智力推理。通盘这个词过程也分为以下几个关节智力：

开动编码：模子当先处理输入，生成开动的想维链推理令牌。

迭代细化：通过想维传播网罗，模子反复处理这些令牌，束缚细化和推广推理过程。

管制查验：决策门评估推理是否达到了迷漫的深度或明晰度。

反馈生成：一朝决策门自在，输出解码器将推理玄虚成一个连贯的反馈。

这种里面推理机制使得o1模子能够在处理复杂问题时，展现出深度和渺小之处，这是以往AI系统所无法达到的。o1模子的这种才调是通过强化学习老师得到的，它通过奖励和刑事使命机制优化模子的推理才调，使得模子能够逐渐想考问题，提供更精细的谜底。

在OpenAI的o1模子中，想维链是内置的性格，模子在老师时就依然学会了若何进行这种多智力的推理。这意味着在使用o1模子时，用户不需要在辅导中明确指出每个推明智力，因为模子依然能够自动进行这样的里面推理过程，使得o1模子在处理复杂问题时愈加高效和刚劲。

值得一提的是，对于想维链最早的论文也出身在谷歌。2022年，Google在其发布的论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》中初度提议想维链，将其形容为一系列中间的推明智力(a series of intermediate reasoning steps)，通过让大模子逐渐参与将一个复杂问题剖析为一步一步的子问题并瓜代进行求解的过程可以权贵栽培大模子的性能。

可惜的是，此次发布带有想维链的大谈话模子，又是OpenAI快一步。而在谷歌发表想维链论文的作家Jason Wei，咫尺是OpenAI的职工，正在磋议若何进一步将想维链经过集成到o1模子中。

OpenAI老是能先一步作念出制品推向市集，你就说谷歌气不气。

对想维链感风趣的一又友，推选参考以下Github关系资源库。这个库将现时推理关系的论文分红走访、分析、工夫、小模子推广、多模态推理等多个类别，悉数收录了110多篇论文，并勾搭了其他关系资源库。

勾搭：https://github.com/atfortes/Awesome-LLM-Reasoning

强化学习是性能栽培的症结技巧

强化学习（Reinforcement Learning， RL）是东说念主工智能和机器学习（ML）领域的一个症结子领域，与监督学习和无监督学习并排。它效法了生物体通过与环境交互来学习最优举止的过程，主要柔和如安在环境中遴选行动以最大化某种蕴蓄奖励。

与传统的监督学习不同，强化学习莫得预先标记好的数据集来老师模子。相背，它依靠智能体通过束缚尝试、失败、顺应和优化来学习如安在给定环境中完了特定目的。

它能够使智能体在与环境的交互过程中，通过学习政策以达成答复最大化或完了特定目的。强化学习的关节特色包括智能体必须通过尝试和诞妄来发现最优举止政策，它依赖于从环境中得到的奖励信号来指令学习过程。

强化学习算法的想路相配浅陋。以游戏为例，如果在游戏中遴选某种政策可以取得较高的得分，那么就进一步"强化"这种政策，以期赓续取得较好的收尾。这种政策与日常生计中的各式"绩效奖励"相配访佛。咱们平时也常常用这样的政策来提高我方的游戏水平。

强化学习在许多领域都有运用，包括游戏、机器东说念主戒指、自动驾驶汽车、资源管理等。有名的强化学习例子包括DeepMind的AlphaGo，它在围棋游戏中打败了天下冠军，以及OpenAI的Dota 2和StarCraft II的AI代理。

o1模子通过强化学习老师，能够生成解题的想维链，并在奖励或刑事使命的机制下，束缚提高推理才调。o1模子的老师使用了访佛于AlphaGo的蒙特卡洛树搜索（MCTS）工夫和自我对弈的方法，通过这种方式，模子能够学习若何通过多智力推理来处分复杂问题。

强化学习对o1模子的影响权贵，主要表咫尺栽培推理才调、自动化链式想维、后老师推广律的运用、数据飞轮效应、安全性和对都、政策推演与奖励攻陷，以及隐式想维链的构建。

通过强化学习，o1在处分数学、编程和科学问题等复杂任务中展现了超卓的性能。它能够自动生成解题的想维链，削弱用户在辅导词工程中的使命。o1的老师过程中，后老师阶段的强化学习老师和推理阶段的狡计量增多，对模子性能的栽培起到了关节作用。

此外，o1的推理过程还能产生普遍高质地的老师数据，形成数据飞轮，进一步栽培模子性能。在安全性方面，o1融入了安全章程，减少了诞妄设置的风险。它还具备政策推演的才调，能够发现完成任务的快速方法，尽管这可能带来奖励攻陷的风险。o1通过强化学习老师，构建了隐式想维链，灵验栽培了处分复杂问题的才调。

o1模子的推理时刻成为了性能栽培的新维度，也意味着AI的才调栽培不仅限于预老师阶段，后老师阶段的推联想考相似症结。

强化学习在o1模子中的运用，不仅栽培了模子的推理才调，也为改日AI的发展提供了新的宗旨，尤其是在逻辑推理和复杂任务处分方面。强化学习的老师方法为o1模子带来了性能上的飞跃，也为改日AI模子的发展提供了新的宗旨。

强化学习的论文等关系资源，推选底下这个资源库。

勾搭：https://github.com/aikorea/awesome-rl

o1模子对AI Agent有什么影响？

东说念主工智能的下一个症结阶段，是能够手脚智能体行动而不单是是擅长对话的系统。

但将现存模子运用于智能体框架，总会遭遇许多问题以致于让使用者和斥地者都会感到持狂。许多时候，实施任务的智能体们在原地打转，在束缚的任务与实施之间来回操作乃至误入邪路，直至临了健忘它们的任务目的。斥地者在屡次尝试为智能体缔造王法后，最终照旧无奈放手。

这种情况的直接收尾是，浪费了不少的token却够不上预期的目的，在企业坐褥中可能会酿成更大的本钱浪费。是以，许多企业咫尺不敢贸然引入AI Agent。

发生这种情况的主要原因，照旧在于大模子的才调。遐想再合理的AI Agent工夫框架，在推理才调不够的大谈话模子上也够不上更高的任求实施遵守。此外，器用调用和环境模拟等工夫身分也王法了AI Agent的才调。LLM和AI Agent的工夫稳妥度，举座影响了AI Agent的运用遵守。

其中的关节点，在于LLM的推理才调不及。从AI Agent工夫框架来看，Agent在预备组件中也运用许多算法和工夫，其中也包括反馈、自我月旦、想维链、子目的剖析等。

但把想维链放在Agent框架中，去更正和戒指推理才调不及的LLM，付出再多的奋发也够不上更好的预期遵守。吴恩达讲授使用四种遐想方法遐想的AI Agent能够特出GPT 3.5，恰正是以反例的花样阐明了这个问题。

是以，栽培AI Agent实施才调及运用遵守的主要身分仍然在于LLM自己。

推选阅读：Agentic Workflow加速Agentic AI到来，AI Agent成为症结完了方式

咫尺，想维链的的引入让o1模子的推理才调栽培了一大截，LLM更强的推理可以将任务目的剖析的愈加精确和精良，并能预备出愈加完善的实施规画并更准确的调用关系的器用和插件去实施任务目的，任求实施的告捷率也就能进一步栽培。

此外，o1模子幻觉的减少，也能让AI Agent对外界环境领有相瞄准确的深入和判定，相似有助于更准确的分析、拆解及实施任务。

推理才调栽培，幻觉问题缩小，便能灵验处分AI Agent咫尺所濒临的实施才调差的大部分问题。以后跟着o系列模子的束缚迭代，影响AI Agent实施才调"推理不及"的问题也将澈底得到处分。

o1模子在完了能够胜任智能体脚色的模子方面，取得了权贵进展。与GPT 4o模子比拟，尽管在万古刻对话和复杂情境中仍然容易分神，却能够在更长的时刻范围内保持目的专注。

需要阐明的是，强化学习的老师方式自己等于针对某种智能体的，它通过束缚尝试、失败、顺应和优化来学习如安在给定环境中完了特定目的。

强化学习使得o1模子能够通过与环境的交互来学习政策，优化其决策过程，从而在复杂任务中完了性能的权贵栽培。这种老师方式尽头适用于需要永恒预备和决策的场景，如游戏、机器东说念主戒指和自动驾驶等。

澄莹，这会让o1模子与智能体合营得更好。

由o1模子驱动的AI Agent的潜在运用是庸俗且有影响力的。在科学磋议中，这些Agent可以匡助制定假定、分析复杂数据，致使有助于斥地新表面。他们可以在软件斥地中编写、调试和优化代码，从而权贵加速斥地过程。

在教学领域，这些Agent可以是个性化的导师，提供量身定制的解释，生成进修题，并提供深入的反馈。可以在创意艺术中生成额外而迷东说念主的内容，从诗歌和故事到音乐和视觉艺术。

将AI Agent与o1模子集成，标记着东说念主工智能发展的一个症结里程碑。这些智能和自主的智能体有望改变行业，澈底改变磋议，并增强各个领域的东说念主类体验。

天然，由于o1模子的推理本钱很高，基于o1模子构建AI Agent会濒临本钱居高不下的问题。

其实这个本钱亦然相对的，如果对比咫尺用于办公场景业务流的轻量级Agent，本钱确乎高了不小。

但基于o1模子的AI Agent，主如果为了处分需要高等推理的复杂场景业务问题。相对于之前推理才调不够的模子在Agent运行中挥霍更多的token也处分不了这一问题而不得不赓续采用更原始的功课方式，o1模子险些算得上是省钱神器了。

此外，企业级Agent对大模子的推感性能要求也比较高，基于o1模子构建的AI Agent产物及处分决策也会更受浩繁组织的负责。

其实从吴恩达讲授提议的四种AI Agent遐想方式中的"预备（Planning）来看，"LLM+CoT"依然算是AI Agent了，他在这种方式中还特地提到了业界第一篇对于想维链的论文（上文有说起）。

而将想维链引入LLM，也算是进一步阐明了「大谈话模子Agent化」这一工夫发展趋势。

无额外偶，OpenAI的CEO在最近的采访中，提到了他们瞎想的AI的改日，将东说念主工智能的发展界说为5级，如下图：

浅陋翻译如下：

第一级：聊天机器东说念主，具有会话谈话的东说念主工智能

第二级：推理者，处分东说念主类水平问题的东说念主工智能

第三级：智能体，能够代表用户遴选行动的东说念主工智能

第四级：立异者，能够匡助发明的东说念主工智能

第五级：组织者，能够完成组织服务的东说念主工智能

PS：亦然到这里，才明白萨姆奥特曼在昨年发布GPTs时，为什么会将其称作Agent的"初期形态"，根柢原因照旧大模子的才调不行。但这个发展速率确凿太快了，不到一年时刻能推理的o1就出现了。

推选阅读：正在浓烈冲击AI Agent的"准Agent" GPTs，真的会杀死AI智能体吗？

况且，OpenAI依然在部署L3智能体了。从咫尺各式举措来看，OpenAI在同期鞭策L2和L3。如果来岁o系列模子能迭代到o2或者o3（好像率是o1绝对版），距离咱们预见的自主智能体也就信得过不远了。

天然，L3亦然2016年Ilya Sutskever、Greg Brockman、Sam Altman和Elon Musk提议的共同目的。其时他们曾为OpenAI预备了4个发展目的。需要阐明的是，其中两个目的都跟智能体关系。而第四个目的是打造功能刚劲的单一智能体，也就能深入OpenAI为何要招聘并组建多智能体团队了。

目的1：揣度咱们的进展；

目的2：打造一个家用机器东说念主；

目的3：构建一个具有实用天然谈话深入才调的智能体；

目的4：使用单一智能体处分多种游戏。

目的3构建一个具备深入才调的智能体，8年后OpenAI完了了，是以推理才调更强的o1模子的发布为代表的，萨姆奥特曼在X平台发文再次提到这个昔时的预备。

由此来看，AI Agent势必会成为OpenAI接下来重心发力的目的。

其实从自主性而言，咫尺的AI Agent仍然照旧过渡性产物形态。但与基于非推理模子构建的AI Agent比拟，依然有很猛进展。推理模子出现后，群众想要构建才调更强的Agent也更浅陋，只有找一个推理模子就行了。

凭据OpenAI的东说念主工智能五级量化，咫尺咱们依然处于L1，行将参预L2，而L3正在向咱们招手（OpenAI已在构建智能体工夫团队践行L3）。

当通盘的LLM都完成了交融想维链并采用强化学习进行后老师后，AI Agent也将信得过迎来它的爆发。而到阿谁时候，一款产物到底是大谈话模子照旧AI Agent，中间的界线可能就愈加混浊了。

如果一个LLM迷漫刚劲，或然也就不需要任何增强它的运用工夫框架了。

跋文：辅导词工程是否已死？

临了，再聊点与o1模子关系度不算太大的话题。

o1模子通过强化学习老师，具备了生成解题想维链的才调，这使得它在处理复杂问题时愈加接近东说念主类的推理方式。这种工夫的运用栽培了AI Agent在处理复杂问题时的才调，使其能够进行更深端倪的想考和分析。

o1模子具备很强的推理才调，通过处分问题并想考问题，直到找到处分决策来处理查询。它的出现也带来了新的辅导方法，不再需要用大段的辅导词告诉它奈何作念，只需要概述想要完了的目的的各个方面。

因此，有东说念主说辅导词依然不再症结了，致使有东说念主以为辅导词工程已死。

王吉伟频说念以为，o1模子的出现并不虞味着辅导词工程变得不再症结。相背，它对辅导词的编写提议了新的要求。

凭据OpenAI官方建议，对于o1模子，最好的辅导词应该是浅陋径直的，幸免使用链式想考（CoT）辅导，因为o1依然内置了推理才调。此外，使用分隔符来提奥妙晰度，并在提供额外高下文时王法信息量，以幸免模子过度想考。

o1模子的推出可能会减少对复杂辅导词工程的依赖，但也提高了对高质地、精确辅导词的需求。这是因为o1模子在处理无须婉词的辅导词时发达最好，而过多的指令可能不会栽培性能，有时致使可能妨碍其发达。

从运用角度而言，对LLM的伏击运用需求，让辅导词工程变得格外火热，依然出现了普遍辅导词关系的花样与产物，都在为辅导词自动化与易用化而不懈的奋发。事实上，AI Agent的运用，依然缩小了东说念主们使用辅导词的门槛，你只有对一个辅导词结构化关系的Agent提议你的需求，就能得到可以的辅导词。

现时基于LLM的AI Agent在构建时，仍然需要形容精确的辅导词。至少在通盘大模子都引入想维链之前，AI Agent与LLM的运用仍然依赖关节词。即便几年之后咱们依然参预前文所说的东说念主工智能的L2阶段，仍然需要愈加精确的辅导词。即便到L3阶段，AI Agent的创建应该也不会发展到少量辅导词也不需要的地步。

辅导词工程仍然是一个症结领域，只是需要顺应新的模子性格和优化方法。咫尺，依然有许多东说念主在磋议o1模子的辅导词了，感风趣并有条目的的一又友，可以用以下辅导词体验。

1. 火星地球化

辅导词：创建火星地球化的详备规画。嘱托发射驻守、大气营造和可连接资源管理等关节挑战。包括预想的时刻表并究诘所需的潜在工夫谋害。

2. 发明一种新的数学系统

辅导词：遐想一个不基于传统数字或逻辑的替代数学系统。解释其基高兴趣、操作和潜在的骨子运用。

3. 色彩象征到英文的翻译

辅导词：假定社区仅通过色彩象征进行换取。斥地一个迷漫全面的色彩象征到英语辞书，用于日常对话和工夫究诘。

4. 优化服务规画

辅导词：分析职工工时表和轮班数据，为零卖店创建最好服务规画。接洽购物岑岭时刻和职工个东说念主可用性等身分。

5. 复杂的编码任务

辅导词：凭据用户输入斥地用于财务预备的Python运用法度。包括预算器用、用度追踪和改日检朴瞻望等功能。提供代码片断息争释。

手脚LLM运用的必选前置项，辅导词依然发展成为一个症结产业，将会在很长一段时刻内阐述其作用并创造价值。在一些辅导词交游平台，一个好用的辅导词能卖到5好意思元以上。

是以，群众学的辅导词方法不会白学，况且这种结构化想维可以用到服务、学习、生计等许多地点。