果姨妈育儿2024年10月11日发布:揭秘：如何寻找、设计大模型产品并落地发布？

从2月份 OpenAI 发布以来，AI 已经席卷了各个应用场景，工作和生活。我们可以看到市场上越来越多的产品在 AI 化，有报告显示 76% 的 SaaS 公司正在使用或者测试将 AI 融入到他们业务中。22% 企业正在考虑如何将 AI 和业务场景结合，进行下一步的 AI 迭代升级。以前做不到的场景能力现在也变得可行。

此外，市场上很多 AI/AIGC 产品经理岗位的需求，也旺盛了起来。

这一整个行业的技术变革对创业者和产品经理都提出了一个重要挑战：

你的业务/产品和 AI 之间有什么关系？如何设计出你的下一代 AI 产品？

从市场目前的应用数据量来看，市场目前并不是“只在找钉子，而找不到应用场景”的阶段。也不是“AI 不只是在第一阶段，还没法证明价值”。根据麦肯锡的报告，已经有非常多的企业和产品落地 AI 应用。

不过这并不意味着 AI 的整合应用，一切都已经成熟。

Alex Singla 指出：

要迈出下一步，让生成式人工智能从实验变成业务引擎，并确保获得丰厚的投资回报，企业需要解决一系列广泛的问题。这些问题包括：确定组织内生成式人工智能的具体机会、治理和运营模式应该是什么、如何最好地管理第三方（如云和大型语言模型提供商）、管理各种风险需要什么、了解对人员和技术堆栈的影响，以及清楚如何在银行近期收益和发展规模所需的长期基础之间找到平衡。这些都是复杂的问题，但却是释放真正巨大价值的关键所在。

作为 AIGC 产品经理，今天给大家介绍一下整体大模型从 0 到 1 的落地经验。分为：

怎么找到可以和 AI 结合的场景如何做 AI 的可行性验证算账，引入AI 后，企业挣不挣钱寻找潜在客户 POC（proof of concept）演示落地应用并规模化

这 1-5 步想要跑得快，就需要有人熟悉 AI 大模型 + 垂直用户场景。所以对产品经理和企业 CEO 来说，也提出了新的挑战。

一、怎么找场景

这一步是产品基本功，我们需要朝外看，先看行业的用户，需要完成哪些任务，核心痛点是什么。这里面哪些可以使用 AI 大模型技术能完成。

创新之父克里斯坦森有一个「任务理论」，他介绍了这么一个经典例子：

20 世纪 90 年代中期，底特律的两位顾问造访克莱顿·克里斯坦森教授在哈佛商学院的办公室，深入学习颠覆性创新理论。鲍勃·莫埃斯塔和他当时的合伙人瑞克·佩迪正在发展一项利基业务，为面包店和零食公司提供建议。

莫埃斯塔分享了为一个快餐连锁品牌打造的方案：贩卖更多的奶昔。这家连锁公司花了数月，极尽细致地研究这个问题。几个月后，营销人员付出了很多努力，奶昔的销量却一点儿变化也没有。

因此，教授教他们从另外一种角度来思考问题：这些消费者的生活中出现什么样的任务，才会促使他们来到这家餐厅“雇用”奶昔呢？

以这个视角为出发点，营销团队选了一天，在餐厅里站了18个小时来观察顾客：人们是在何时购买奶昔的？他们穿着什么样的衣服？是独自一人吗？除了奶昔之外，他们还会买其他食品吗？他们是在餐厅里把奶昔喝完，还是开车带走呢？

原来，很大一批奶昔是在上午9点之前卖出的，买者则是独身来到快餐店的人。这些人大多只会购买一杯奶昔，他们不会待在餐厅把奶昔喝完，而是钻进自己的车里开车带走。因为清早的消费者都有一项需要完成的任务：他们不得不百无聊赖地花很长时间开车上班，因此想要用什么东西让旅途变得有趣一些。

原来，这项任务的竞争者有许多，但没有一位能把任务完成得无懈可击。有的消费者雇用香蕉来完成任务，但香蕉几口就吃完了。还有的消费者购买了甜甜圈，但是面包屑太多，让他们手指变得黏黏的，弄脏衣服和方向盘。贝果面包则又干又没味，让开车的人不得不一边用膝盖转方向盘，一边往面包上涂抹奶酪和果酱。还有人购买士力架。但他觉得，早餐就吃甜点实在太罪恶了，所以再也没有这样做过。”但是奶昔呢？它可以算是诸多选项中的最优项。用纤细的吸管喝完一杯浓稠的奶昔需要花很长时间，而且奶昔还能帮助抵挡上午10点左右袭来的饥饿。

由此可见，这种奶昔能比其他竞争者更好地满足需求。在消费者的眼里，其他竞争者不仅包括其他连锁店的奶昔，还包含香蕉、贝果、甜甜圈、早餐棒、思慕雪和咖啡等。

研究团队还发现：这些奶昔和消费者之间的共同点与他们的个人状况没什么关系，这些消费者的共同点是他们必须要在早上完成一项任务。

每个人的日常生活中都会出现需要完成的任务，这个时候，我们便会雇用产品或服务来完成。

此外，从任务的视角去理解用户，你会发现什么才是你真正的竞争对手。你关注的其实更应该是客户在解决任务中的替代方案，而不是你以为的对手。

「任务」的定义

那到底什么是用户需要完成的任务呢，其定义是指：

一项任务是指个人在特定背景下想要实现的进步。成功的创新可使用户取得理想的进步、解决困难、实现未完成的梦想。这些创新可以完成缺少有效解决方法或不存在解决方法的任务。任务绝不仅仅涉及功能，社会和情感因素也占有很大比例，而这两者，有时甚至要比功能因素更重要。任务是在日常生活中出现的，因此背景对于其定义至关重要，这也是创新任务中不可或缺的一个环节。用户特征、产品特征、新科技和流行趋势，这些都不是创新任务的关键环节。需要完成的任务是不断发展和重复出现的，几乎不可能是独立存在的“事件”。

任务比「需求」的概念要清晰，容易定义很多。因为需求是模糊、宽泛、且无处不在的。

你可以列出你的行业场景中，目标用户需要完成哪些任务，然后进行挑选，优先寻找 quick win（快速赢）的解决方案。quick win 的特征是：

博弈方少，项目阻力小。大家普遍吐槽不愿意做的事情。可以短平快的切入，客户快速感知价值。你能够悄悄地赢，同时也意味着你可以悄悄地输（可选，这点取决于对事情成功率的把握）。

还有一种做法，是看现在 AI 产品/竞品集成场景有哪些，哪些是可以迁移复制到自己的业务中的。不过这种类型的迁移，有可能是一片竞争血战，因为大家都看得到。比如电商场景里的聊天对话。对于产品来说，切入点很重要，大家可以多思考还有哪些场景可以和 AI 做整合（可以轻松地闷声发财）。

二、大模型可行性验证

有了场景后，接下来需要你对大模型基本原理有一定的了解和大致判断，哪些场景任务是有可行性的。准备一些测试数据，选择一个大模型平台进行实验，可以是百川、OpenAI，或者微软 OpenAI。

以下以微软 OpenAI 能力举例，抛砖引玉。实验主要分为三个部分进行实验：

写 Prompt —→ 此步骤是最重要的（如果效果不理想，那么就增加 example）。调节参数，主要考虑稳定性和模型最大 token 数量。输入测试数据，查看对话效果，并且不断调整 1 和 2 步。

最终基于可行性实验，需要验证的是：

AI 在此场景下是否能够解决问题。需要什么版本的大模型能较好地解决你客户的问题，（因为模型成本会非常不一样）。效果是否满意。效果是否稳定。

通过找场景 + AI 平台验证，现在你已经知道了哪些场景有明显优势，哪些在 AI 的技术下仍然不够成熟。基于上面场景的特征，可以挑选出可行的场景。

三、算笔账，AI 业务到底挣不挣钱

接下来就是业务场景的 ROI 了，俗称算笔账。

你的这个场景到底在 AI 的加持下，挣不挣钱。因为大模型的 API 调用是线性增长的，你调用的越多，你的成本越贵。

下图是微软 Azure OpenAI 的收费模式，根据你实际调用的 token 数进行收费。其中 Prompt 指的是向模型输入的 token 数量；Completion 指的是模型输出的 token 数量。token 数量多少在 Azure 上会列出，所以不用担心不知道怎么计算 token。

如果你的场景里面，单次调用的成本要压在 0.0015刀以内，那么你的这个场景肯定是不挣钱，也不适合大模型的。我们需要在回归到第一步里面，找到用户花代价较大的场景价值中，用大模型实验。

因为在成本的计算中，你需要考虑，现在用户花多少代价解决这个问题，你能帮助他减少多少。减少的这部分，你能收多少钱，能否覆盖大模型的成本费用（如云成本）和你的开发费用。

算账成本可以分为：

大模型成本；云成本，一般分为存储成本，带宽成本，机器成本（如 GPU）等；三方服务 API 调用成本；人工 QA 成本（AI 一般少不了这部分，不然你无法做准确率的验证）；研发开发成本。

四、如何评价 AI 的工作，响应速度、准确率、稳定性？

通过以上实验，你已经可以知道 AI 的能力。但是怎么去评估 AI 的工作，响应速度、准确性、稳定性、鲁棒性，需要多少数据集进行验证？这就是接下来如何把 AI 工作量化和下一步规模化的时候需要关心的部分。

上图是艾瑞咨询列出得大模型服务能力评估体系。非常的全面。不过我们实际在使用的过程中，不会这么使用。右侧其实是产品怎么去找场景、价值；左侧目前业界常用的 AI 也是准确率（可以进一步拆分为 Precision 和 Recall。你可以通过构建一些测试数据集，来验证你的场景在 AI 大模型下的准确率。这里会需要进行人工验证。

五、完成产品 MVP 和工程化工作

完成了场景的可行性验证，接下来我们需要考虑产品化。有人会问：“如何设计 AI 原生体验产品？”“AI 是一个 feature 还是一款产品？“

这其实很好回答，回到你的用户故事中去。在用户需要完成某个任务的场景中，用户是怎么解决他的问题的，他的流程是怎么样的。流程里面你的业务/产品扮演什么角色，是一个端到端的解决方案，还是里面某个环节部分，如何融入到客户的用户故事中去，是一个 App/Web/API？

AI 的应用设计，产品经理需要着重考虑三个方面：

客户体验：AI 的用户体验和及时反馈常做的不好，用户是否有及时反馈规模化：目前大模型的调用有 Rate limit 限制。一个Region GPT-4，8k token 的服务调用限制是20K/min。你需要考虑如果你有海量的数据和用户，需要怎么解决 Rate limit 限制数据隐私和安全：做企业 SaaS 服务的基本绕不开数据隐私的话题，业界比较好的案例可以参考 Notion 和微软 Azure 的安全能力，基于各个企业自己的安全机制来处理此部分。