把行业知识沉淀成可生成的知识库,让模型说行话、出成品。
每个都有代价,我们选了哪边、为什么。
没有最优方案,只有适配场景。
| 方案 | 准确率 | 落地周期 | 运维成本 | 适合谁 |
|---|---|---|---|---|
| 提示词工程 + 公网 API | 高(模型强) | 1–2 周 | 低(按量付费) | 内部试用、非敏感场景 |
| 本地模型 + 简单 RAG | 中(受检索质量限制) | 3–6 周 | 中(要人盯显存与并发) | 数据敏感、内容量大 |
| 本地模型 + 结构化知识库 + 混合检索 | 高(可追溯来源) | 2–4 个月 | 中高(要做清洗与评测) | 生产环境、要能对答案负责 |
客户名称按保密要求匿名。
顺序不能反 —— 先做写操作、先做多步编排,出错都很难查。
从客户已有的咨询记录、验收问答、故障单里抽,不要自己编。这 200 条是后面所有评测的基准,没有它就是在盲调。
先把 3–5 份最核心的文档(标准、规程、模板)做成结构化知识库,跑通「问 → 检索 → 生成 → 引用来源」全链路。
用那 200 条问题跑一遍,人工标注「答对 / 答错 / 答不全」,算出基线准确率。没有基线,后面所有优化都是感觉。
按错题类型补文档、改切分粒度、调融合权重。这一轮通常能把准确率拉 15–30 个百分点。
接进真实业务流,记录每次问答的检索命中与用户反馈。上线不是终点,是评测集开始变大的起点。
不写形容词,写口径。
这些是真实问过的问题,答案不带营销话术。