精读 ReAct:让 Agent 在推理与行动之间形成闭环

从 Thought、Action、Observation 的交替轨迹出发,理解 ReAct 如何连接语言推理和外部工具,以及落地 Agent 时真正需要补齐的工程能力。

Read in English →
本篇目录

论文:ReAct: Synergizing Reasoning and Acting in Language Models,Yao 等,ICLR 2023。

纯粹的语言推理容易在错误前提上继续生成,纯粹的动作策略又缺少显式的任务分解。ReAct 的核心想法很朴素:让模型交替产生推理、行动和环境反馈,使计划能够被真实观察不断修正。

从一次性回答变成循环

ReAct 的典型轨迹可以抽象为:

Thought: 我还缺少什么信息?
Action: Search[查询词]
Observation: 工具返回的事实
Thought: 证据是否足够,下一步是什么?
Action: Finish[最终答案]

Action 把模型连接到搜索、知识库或交互环境;Observation 把外部世界重新带回上下文。推理不再是封闭生成,而是对最新证据进行状态更新。

为什么比单独推理更稳

Chain-of-Thought 可以分解问题,却仍可能依赖参数记忆中的错误事实。ReAct 允许模型在不确定时主动获取信息,并让后续步骤引用观察结果。在 HotpotQA 和 FEVER 上,论文展示了这种交互对事实性和可解释轨迹的帮助。

在 ALFWorld 和 WebShop 两个交互决策基准上,论文报告相对相应基线的绝对成功率提升分别为 34% 和 10%,而提示中只使用一到两个示例。这说明语言模型可以把任务描述、局部推理与环境动作组织成一个可执行策略。

从论文到工程系统

把 ReAct 写进 Prompt,只完成了最容易的一部分。一个可维护的 Agent 还需要:

  • 明确、稳定且最小化的工具接口;
  • 对参数、权限和副作用的校验;
  • 最大步数、超时、预算与停止条件;
  • 对每次工具调用和观察结果的结构化记录;
  • 失败重试、幂等性和人工接管机制;
  • 区分模型内部推理与面向用户的可审计说明。

生产系统没有必要把模型的原始思维轨迹全部展示出来。更可靠的做法,是记录结构化的计划状态、工具参数、返回结果和决策依据,让系统既可调试,也不会把冗长的自由文本当成唯一状态。

一个重要限制

ReAct 仍然高度依赖提示、工具描述和环境反馈。如果 Observation 含糊、工具返回脏数据,模型可能在错误状态上继续循环。长轨迹还会增加上下文成本,并积累早期决策造成的偏差。

因此,Agent 的可靠性不能只靠“更会推理的模型”。工具契约、状态机、评估集和可观测性共同决定了系统上限。

我的理解

ReAct 最重要的启示,是把智能看成一个闭环:提出假设,采取行动,观察世界,再修正下一步。模型负责在不确定性中做选择,工程系统负责限定选择空间,并保存可验证的事实。

真正可靠的 Agent,不是一次想得足够长,而是每一步都能从现实获得反馈。

RELATED WRITING

DISCUSSION

讨论