小组不研究模型,只负责一件事:把 LLM 放进真实业务流程里,并且能被验收。

过去一年我们在六个项目里用到了大模型能力,但都以临时小组的形式推进。这次独立成组,是因为这类工作的验收方式和传统开发完全不同。
传统功能开发的验收标准是「是否按需求实现」,而 AI 能力的验收标准是「在什么比例的情况下足够好用」。后者需要建立评测集、灰度口径与人工兜底流程,是一套独立的方法。
把它塞进常规项目排期时,这部分工作最容易被压缩,最后交付的是一个「演示时很好用、上线后不敢用」的功能。
每个场景上线前先明确准确率、覆盖率与人工介入比例的门槛,并写进验收标准。
所有 AI 环节都设计为可接管,异常时自动转人工而不是强行给出结果。
评测集版本化管理,模型或提示词变更后必须重跑。
这意味着某些场景下我们会直接建议不做——如果评测结果显示达不到可用门槛,硬上线的结果是增加而不是减少工作量。
我们不会承诺「用了 AI 就一定能省多少人」。能承诺的是:上线前给出可验证的指标口径,上线后用数据说话。
小组目前 6 人,同时对接内部项目与客户交付。我们会在接下来的资讯里持续公开落地细节与失败案例,而不只是成功指标。
告诉我们所在行业与业务阶段,我们提供对应的交付路径与周期参考。