三个 AI 项目，四个共同的产品决策问题

为什么想写这篇

过去大半年我做了三个 AI 项目：药明生物官网 Pre-sales Agent、OpenClaw 企业内部效率工具、Inrepli 海外营销 SaaS。三个项目的业务场景、用户画像、技术方案完全不一样，但做产品决策时我发现自己反复在回答同一类问题。

比如：

• 为什么要用 Agent，不用传统方案？
• 什么交给 LLM，什么交给工具？
• 怎么衡量 AI 功能到底有没有用？
• 什么时候必须人工介入？

这些问题没有标准答案，但每个项目里我都得给出一个答案，然后为这个答案负责。

这篇文章把三个项目放在一起对比，不是讲某个具体项目的细节，而是讲我在做 AI 产品决策时的思考方式。

决策一：为什么用 AI，不用传统方案？

这是每个 AI 项目都要先回答的问题。不能因为"现在 AI 火"就上 AI，必须有明确的业务理由。

药明生物 Agent

传统方案：FAQ 列表 + 人工客服

FAQ 的问题是，B2B 售前咨询具有多轮追问和上下文关联的属性。用户问"你们做什么的"→"细胞系开发做吗"→"产能多大"→"Phase 2 项目怎么对接"，这一串对话不是几个 FAQ 条目能覆盖的。

选 AI 的理由： 用户问题是开放的、多轮的，需要 Agent 理解上下文并逐步深入。传统 FAQ 只能回答"已知的问题"，但售前场景下用户的问题千变万化。

OpenClaw

传统方案：做一个后台管理系统

把 Git 数据、K8s 数据、数据库查询都做进一个后台系统里，用户登录进去查。这个方案技术上很成熟，为什么不做？

因为目标用户是运营团队，不是技术团队。让他们学一个新系统、写 SQL、看各种图表，门槛太高了。而且这些查询需求是碎片化的——运营不会每天盯着后台看，他们就是偶尔想问一句"这周谁提交代码最多"。

选 AI 的理由： 入口零门槛（企业微信里说句话就行），不需要学习新工具，碎片化场景下效率更高。

Inrepli

传统方案：营销自动化规则引擎

"如果用户打开了邮件，就发下一封；如果用户点击了链接，就标记为高意向"——这种 if-else 规则引擎在营销自动化领域已经存在很多年了。

那为什么还要 AI？因为海外 B2B 营销的线索质量判断不是简单的规则能覆盖的。一个客户回复了邮件，但内容是"谢谢，暂时不需要"——规则引擎可能把它标记为"已回复=高意向"，但 AI 能读懂内容，知道这实际上是拒绝。

选 AI 的理由： 需要理解非结构化内容（邮件正文、客户回复、公司信息），规则引擎覆盖不了语义层面的判断。

对比一下

我的经验： 如果一个需求用传统方案能很好地解决，就别用 AI。AI 应该用在传统方案搞不定的地方——要么是成本太高，要么是体验太差，要么是根本做不到。

决策二：什么交给 LLM，什么交给工具？

这是做 Agent 产品最核心的决策之一。LLM 擅长理解、推理、生成，但不擅长精确计算、确定性操作、大规模数据处理。工具正好相反。

药明生物 Agent

交给 LLM 的：

• 意图识别（判断用户问的是什么类型的问题）
• 回答生成（基于检索结果组织自然语言）
• 意向判断（分析用户表达中的商业意图信号）

交给工具/系统的：

• 知识库检索（RAG 的检索部分）
• 留资表单提交（确定性操作）
• 人工转接触发（按规则执行）

这里的关键决策是：答案内容必须来自知识库，LLM 只负责组织语言。 不能让 LLM 自己"想"答案，否则在企业级场景下幻觉是不可接受的。

OpenClaw

交给 LLM 的：

• 解析用户自然语言查询意图
• 生成 SQL 查询语句或 API 调用参数
• 把查询结果汇总成用户能看懂的自然语言

交给工具的：

• 实际的数据库查询
• Git API 调用
• K8s 状态获取
• 周报模板填充和生成

这个项目里有一个很典型的"LLM 做决策，工具做执行"的模式。用户说"帮我看看这周谁提交代码最多"，LLM 把这句话翻译成一个 Git API 调用，拿到结果之后再翻译成一句人话回复用户。

这里的原则是：所有对外部系统的实际操作都必须通过工具函数，LLM 只决定调用什么工具、传什么参数。 这样即使 LLM 理解错了，最坏情况也就是查询结果不对，不会把系统搞坏。

Inrepli

交给 LLM 的：

• 客户回复内容的分类（感兴趣/不感兴趣/需跟进）
• 客户画像信息提取（从各种非结构化来源中汇总客户信息）
• 个性化营销邮件生成

交给工具/规则的：

• 邮件发送（确定性操作，走邮件服务 API）
• 发送时间调度（按规则执行）
• 数据统计和报表（确定性计算）

在 Inrepli 项目里我学到一点：AI 生成的内容必须可编辑、可审核。 尤其是海外用户，对 AI 自动发出去的邮件非常敏感——万一 AI 生成了不合适的内容，品牌伤害是不可逆的。

对比一下

我的经验： 有一个简单的判断标准——如果这件事做错了后果严重（比如实际操作数据、对外发送内容），就别让 LLM 直接做，交给工具或人工审核。LLM 应该做"大脑"，不做"手"。

决策三：什么时候必须人工介入？

AI Agent 不是要完全取代人，而是要帮人处理大部分重复劳动，把人的精力留给真正需要人的地方。那"什么时候必须人来"就是一个关键产品决策。

药明生物 Agent

三类场景必须转人工：

1. Agent 连续两次答不上来——说明超出 Agent 能力范围
2. 用户明确要对接销售——用户已经准备好了，别浪费时间
3. 涉及报价、合同等敏感内容——这类内容 AI 不能乱讲

这里有一个产品细节我觉得很重要：转接的时候要把上下文一起带过去。 不是"你等等，我找人来"，而是"我已经把你的情况整理好了，销售同事会带着这些信息来跟你对接"。用户体验差很多。

OpenClaw

OpenClaw 的人工介入场景不太一样。它不是"Agent 搞不定了转人工"，而是"AI 给你一个结果，你自己判断对不对"。

比如用户问"这周谁提交代码最多"，Agent 返回一个结果。如果用户觉得不对，可以自己去 Git 上确认。因为是内部工具、查询类操作，风险不高，所以我们的策略是"AI 先给答案，用户自行验证"，而不是"每个结果都人工审核"。

这里的人工介入更多体现在异常处理上——如果 Agent 连续几次返回错误结果，用户会反馈，我们再去优化 Prompt 或工具。

Inrepli

Inrepli 的人工介入最严格，因为它直接对外发邮件。

我们定的规则是：

• AI 生成的营销邮件，必须人工审核后才能发送——尤其是发给高价值客户的
• 客户回复的分类结果，AI 打标签，人工定期抽检——抽检发现错误就调整分类规则
• 高意向客户的跟进，必须由销售确认后再推进——不能让 AI 自己决定给某个客户发什么关键内容

做海外产品这一点感受特别深：海外用户对 AI 生成内容的敏感度比国内高很多，他们更在意"这是不是真人写的"，也更在意数据和隐私。所以人工审核不是可选项，是必选项。

对比一下

我的经验： 人工介入不是一个非黑即白的开关，而是一个光谱。风险越高、越对外、越不可逆的操作，就越需要人来把关。产品经理要做的不是"尽量少用人工"，而是"把人用在最有价值的地方"。

决策四：怎么衡量 AI 功能是否成功？

这个问题看起来简单，但很多 AI 项目上线了都说不清"到底成没成功"。因为 AI 功能的效果不像传统功能那么好衡量——传统功能你可以说"上线后转化率提升了 20%"，AI 功能经常是"用户觉得好用多了，但具体好在哪里说不上来"。

我在三个项目里用了不同的衡量方式。

药明生物 Agent

这几个指标要结合着看。比如首次解决率高但线索量低，说明 Agent 很会回答问题但不会做商业转化——这恰恰就是我们后来发现的问题。

OpenClaw

OpenClaw 是效率工具，核心价值是"省时间"。但"省了多少时间"很难精确衡量——你没法知道用户不用 AI 的话会花多久。所以我们用了估算+用户调研的方式，而不是追求精确数字。

Inrepli

Inrepli 是 SaaS 产品，衡量方式更偏向标准的产品指标——留存、完成率、效率。但因为有 AI 因素，所以多了一个"准确率"指标。

对比一下

我的经验： 衡量 AI 功能成功与否，不要只看 AI 本身的指标（比如准确率），还要看业务指标（比如转化率、留存率）。AI 只是手段，业务价值才是目的。如果 AI 准确率 99% 但没人用，那也是失败的。

最后：AI PM 的专业度到底是什么

做完这三个项目，有人问我："AI 产品经理和普通产品经理到底有什么不一样？"

我的回答是：

普通产品经理的核心决策是"做什么功能、怎么设计交互"。AI 产品经理的核心决策是——

1. 这个问题该不该用 AI 解决？
2. AI 做什么，工具做什么，人做什么？
3. 怎么衡量 AI 到底有没有用？

这三个问题，说起来简单，但每个项目里我都要反复想、反复权衡。没有标准答案，每个项目的答案都不一样。但正是这些决策，决定了一个 AI 产品是"看起来很炫但没什么用"，还是"真的解决了问题"。

这也是我觉得 AI PM 最有意思的地方——你永远在一个不确定的边界上做决策，然后用数据和用户反馈来验证自己的判断。比"做对"更重要的，是用正确的方式去做决策。