能力详情

垂直大模型

把行业知识沉淀成可生成的知识库,让模型说行话、出成品。

01 / 技术决策

三个绕不过去的取舍

每个都有代价,我们选了哪边、为什么。

知识库怎么建:先结构化,还是直接灌文档

常见做法直接把 PDF/Word 灌进向量库
另一种先做结构化抽取再入向量库
我们的做法混着来:结构化字段做检索,正文做语义召回
直接灌文档的做法在 Demo 阶段效果很好,上了生产就崩 —— 因为无法回答「第 4.2 条的适用范围是什么」这种带结构的问法。我们最终采用混合方案:表格与条款先抽成结构化字段(可精确匹配),正文段落做向量召回(应对模糊提问),两路结果合并排序。代价是要多写一套抽取与清洗管线,收益是准确率从「猜」变成「查」。

生成怎么控:让它自由写,还是卡死模板

常见做法完全交给模型自由生成
另一种严格按模板填空,不允许发挥
我们的做法模板骨架 + 模型填肉,关键字段双重校验
自由生成的问题是同样的输入两次输出不一致,用户不敢用。卡死模板的问题是遇到模板没覆盖的情况直接失效。我们的做法是把文档拆成「骨架」和「肉」:骨架(章节顺序、必备条款)由模板定死,肉(具体描述、举例)由模型生成,生成后过一遍字段校验,不合格就重生成。

部署怎么选:公网 API 还是本地模型

常见做法调公网大模型 API,效果最好、成本最低
另一种本地部署开源模型,数据不出网
我们的做法双轨:内网用本地模型,外网用 API,同一套接口
绝大多数客户的第一句话是「数据能不能不出我们内网」。所以本地部署不是可选项,是准入门槛。本地模型的代价是要自己做量化、推理加速与显存规划 —— 一个 7B 模型在消费级显卡上跑得动,但并发一上来就卡,需要做批处理与队列。
02 / 方案对比

同样是这件事,三种做法

没有最优方案,只有适配场景。

方案准确率落地周期运维成本适合谁
提示词工程 + 公网 API高(模型强)1–2 周低(按量付费)内部试用、非敏感场景
本地模型 + 简单 RAG中(受检索质量限制)3–6 周中(要人盯显存与并发)数据敏感、内容量大
本地模型 + 结构化知识库 + 混合检索高(可追溯来源)2–4 个月中高(要做清洗与评测)生产环境、要能对答案负责
准确率是主观评级,不是标准指标;真实差异要在客户自己的问答集上测。
垂直大模型生成链路 企业信息行业 · 规模 · 组织 · 设备 知识库匹配标准条款结构化 模板引擎文件骨架 · 条件段落 成套文件在线编辑 · 导出 Word 大模型生成按模板填充 · 引用条款

我们做什么

  • 行业知识库构建与清洗
  • 文档模板引擎(制度/预案/台账)
  • 私有化部署与数据不出域
  • 场景化生成:表单填写→成品输出

聊具体需求

交付形态

部署方式私有化 / 专有云 / 内网
交付内容系统 + 文档 + 培训
运维支持远程 + 现场
源码交付可谈
相关案例

已跑通的系统

客户名称按保密要求匿名。

自研产品 / 垂直大模型

行业合规文件生成引擎(自研)

背景
企业需要按国标编制成套制度、预案、台账,传统方式依赖咨询公司,周期长、费用高。
方案
垂直大模型应用:输入企业信息,生成成套合规文件,可在线编辑、导出 Word。
技术
行业知识库(国标条款结构化)· 文档模板引擎 · 大模型生成 · 表单式交互
成效
覆盖两个国标体系,一次生成成套文件,企业按自身情况修订即可使用。

查看全部案例

03 / 实施路径

从零到上线分几步

顺序不能反 —— 先做写操作、先做多步编排,出错都很难查。

抽出 200 条真实问题

从客户已有的咨询记录、验收问答、故障单里抽,不要自己编。这 200 条是后面所有评测的基准,没有它就是在盲调。

建最小可用知识库

先把 3–5 份最核心的文档(标准、规程、模板)做成结构化知识库,跑通「问 → 检索 → 生成 → 引用来源」全链路。

做评测基线

用那 200 条问题跑一遍,人工标注「答对 / 答错 / 答不全」,算出基线准确率。没有基线,后面所有优化都是感觉。

补数据、调检索

按错题类型补文档、改切分粒度、调融合权重。这一轮通常能把准确率拉 15–30 个百分点。

上线 + 埋点

接进真实业务流,记录每次问答的检索命中与用户反馈。上线不是终点,是评测集开始变大的起点。

04 / 关键指标

能被验证的数字

不写形容词,写口径。

知识库覆盖文档按项目 50–400 份 标准 / 规程 / 模板 / 台账四类
单次生成耗时8–25 秒 本地部署、7B 级模型、含检索
答案可溯源率100% 每条结论都带文档与条款号
冷启动周期3–6 周 从抽问题到跑通全链路
05 / 常见问题

技术负责人最常问的

这些是真实问过的问题,答案不带营销话术。

你们用的是哪个模型?
不绑定。开源侧用 Qwen / Llama 系列,按客户的算力与语言需求选;需要更强能力且允许出网时也可以接商用 API。模型是可替换的,真正的工作量在知识库与评测。
准确率能到多少?
取决于知识库质量与问题类型。事实型问答(查条款、查参数)通常能到 85% 以上;推断型问答(这个情况适不适用)会低一些。我们建议在客户自己的问答集上测,不引用别人的数字。
能不能直接用现成的知识库产品?
可以,如果需求是通用文档问答。但如果要「说行话」—— 比如按标准条款结构输出、引用具体条款号、按行业模板成稿 —— 通用产品的输出格式对不上,还是要做定制。
数据不出内网怎么保证?
模型、向量库、应用全部部署在客户内网,不访问任何公网地址。验收时可做断网测试:断开外网后全部功能正常。
知识库更新麻烦吗?
文档增删改通过管理后台操作,增量重建索引,不需要停机。结构化字段变更需要重新跑抽取管线,这部分建议按季度批量更新。