ARTICLE · 产品设计
AI Native 时代,产品经理到底在管什么?
一语总结一位产品经理复盘多 Agent 拆了又合、单 Agent 回潮的两年实战,提出 Harness 三层架构(编排层、能力层、连接层),主张 AI Native 时代产品经理应从管界面转向管契约,用上下文契约、输出边界和评测集守住输出一致性。
文章以作者在 OTA 商家智能体项目中的真实经历为线索:同一份数据、同一个 Skill 交给不同团队的 Agent,一个给出「入住率 76.3%,环比上涨 2.1%」,另一个只说「表现不错」,引发商户质疑和老板震怒。作者复盘了 2024 年多智能体狂热(拆成查询、诊断、操作三个 Agent,跨 Agent 通信丢语义、状态同步出错,Google Research 研究显示交互轮数随 Agent 数量呈 n^1.724 幂律增长)到 2026 年单 Agent + 多 Skill 回潮的钟摆过程,指出两种狂热本质相同:用技术叙事代替对问题的判断。文章提出 Agent = Model + Harness,把 Harness 拆成编排层(任务拆解、错误恢复、循环控制、人机协作)、能力层(上下文组装、记忆检索、Prompt 管理、上下文压缩)、连接层(MCP 工具调用、Skill 技能包、沙箱执行),并重新归位规划、记忆、工具、行动四要素。核心结论是:输出不一致的根源不在 Skill,而在其上的能力层与编排层;产品经理必须管住连接层契约、定义能力层上下文契约、给编排层前置条件建议,并把评测集当作新的 PRD,按三层结构建立评估框架。
- 多 Agent 与单 Agent 的钟摆式狂热,本质都是用技术叙事代替对问题的判断
作者团队曾把商家智能场景拆成查询、诊断、操作三个 Agent,结果跨 Agent 通信丢语义、状态同步出错、调试要翻三份日志。Google Research 的研究显示 Agent 间交互轮数随数量增长遵循 n^1.724 幂律,3 个 Agent 的交互开销是 1 个的 6 倍。模型能力跨过临界点后风向又倒向单 Agent + 多 Skill,但换旗帜的姿势一模一样。
- Agent = Model + Harness,模型提供智能,Harness 提供控制
经典四要素定义(规划、记忆、工具、行动)是从模型视角出发的认知框架,容易让人误以为接上工具就是 Agent。实际上模型和工具之间还需要一整套控制结构:谁决定何时调用哪个工具、出错怎么兜底、多步任务状态谁管、输出格式谁约束。Harness 设计得好,一个 Agent 就够;设计得烂,拆成十个也是十倍的烂。
- Harness 应拆成编排层、能力层、连接层三层协作结构,而非罗列组件清单
编排层相当于指挥官,负责任务拆解、步骤规划、错误恢复、循环控制、人机协作;能力层相当于参谋部,负责上下文组装、记忆检索、知识召回、Prompt 管理、上下文压缩;连接层相当于外交部,负责 MCP 工具调用、Skill 技能包、API 适配、沙箱执行。规划、记忆、工具、行动并未消失,而是被重新归位到三层之中。
- 输出不一致的根源不在 Skill,而在其上的能力层与编排层
两个团队接了同一个 Skill 和 MCP 工具,但 A 团队在调用前注入了店铺信息、历史偏好和对话摘要,编排上先查基础数据再做合理性校验,输出有标准话术模板;B 团队什么都没注入,模型想调什么调什么,调完就输出。Skill 是标准化的,能力层和编排层才是各团队的自留地。
- 产品经理应从管界面转向管契约,并让契约可验证
连接层必须强势管理,工具的 name、description、参数枚举值、返回 schema 必须原样使用,改一个词可能导致调用率从 90% 掉到 60%;能力层必须定义上下文注入契约,比如必须有店铺 ID 和时间范围、禁止注入超过 10 轮完整对话历史;编排层提供前置条件建议。同时评测集就是新的 PRD,要把模糊反馈转化为可复现、可衡量的测试任务。
- 评估 Agent 应按三层 Harness 从下往上建立结构化框架
连接层建 20 到 50 条黄金测试集,看工具调用准确率、参数正确性、数值误差是否在 1% 以内、格式一致性;能力层在上下文充分与残缺两种条件下测试,重点看追问能力;编排层给 3 到 5 步的复杂任务,看步骤规划是否合理、出错后能否断点恢复、多步结果能否合理整合。能解释清楚系统行为的团队才是真正理解自己在做什么的团队。
AI Native 时代,产品经理到底在管什么?
文章以作者在 OTA 商家智能体项目中的真实经历为线索:同一份数据、同一个 Skill 交给不同团队的 Agent,一个给出「入住率 76.3%,环比上涨 2.1%」,另一个只说「表现不错」,引发商户质疑和老板震怒。作者复盘了 2024 年多智能体狂热(拆成查询、诊断、操作三个 Agent,跨 Agent 通信丢语义、状态同步出错,Google Research 研究显示交互轮数随 Agent 数量呈 n^1.724 幂律增长)到 2026 年单 Agent + 多 Skill 回潮的钟摆过程,指出两种狂热本质相同:用技术叙事代替对问题的判断。文章提出 Agent = Model + Harness,把 Harness 拆成编排层(任务拆解、错误恢复、循环控制、人机协作)、能力层(上下文组装、记忆检索、Prompt 管理、上下文压缩)、连接层(MCP 工具调用、Skill 技能包、沙箱执行),并重新归位规划、记忆、工具、行动四要素。核心结论是:输出不一致的根源不在 Skill,而在其上的能力层与编排层;产品经理必须管住连接层契约、定义能力层上下文契约、给编排层前置条件建议,并把评测集当作新的 PRD,按三层结构建立评估框架。
一位产品经理复盘多 Agent 拆了又合的两年实战,把 Harness 拆成编排层、能力层、连接层,关键判断是输出不一致的根源不在 Skill 而在能力层与编排层。AI Native 时代产品经理管什么,落到上下文契约、输出边界与评测集,是一线少有的系统复盘。
文章金句
"模型提供智能,Harness 提供控制。
"没有约束的自由叫混沌,有约束的自由叫智能。
"你提供的不是一个确定性的接口,而是一个嵌入了不确定性系统的组件。
"上下文注入契约,是输出一致性的最大杠杆。
"PRD 定义功能边界,评测集定义质量底线——评测就是新的 PRD。