企业知识库项目最容易出现的问题,不是模型不会回答,而是资料来源、权限和验收方式没有先讲清楚。一个可以演示的问答页面很快就能做出来,但要成为企业持续使用的服务,需要从下面六个方面准备。
一、先定义要解决的任务
“建设企业知识库”不是可验收的任务。更具体的表达应当是:售前人员能否在产品资料中找到有出处的参数;项目成员能否按权限查询制度和交付文档;客服能否快速定位标准处理步骤。
每个任务需要说明用户、问题类型、允许使用的资料、答案格式、不能回答的范围和人工处理方式。任务越具体,后续评测越可靠。
二、盘点知识源与更新责任
常见知识源包括 Word、PDF、网页、表格、知识库系统、工单和业务数据库。盘点时不能只统计文件数量,还要确认:
- 哪些文件是正式版本,哪些只是个人草稿;
- 文档是否包含扫描图片、复杂表格或附件;
- 同一制度是否有多份冲突版本;
- 谁负责更新、归档和撤销资料;
- 是否允许进入模型处理流程。
如果源资料本身过时或矛盾,RAG只会更快地暴露这种混乱。
三、把权限放进检索链路
企业知识库通常同时包含公开资料、部门资料和项目资料。权限不能只做在页面菜单上,而要进入检索过程:用户无权访问的内容不能进入候选片段,更不能通过引用或上下文泄露。
需要提前确定用户身份来源、组织关系、文档权限标记、离职与调岗同步,以及管理员的审计能力。
四、设计检索和引用
文档切分、关键词检索、向量检索、重排和模型生成共同影响答案。没有一种固定参数适合所有资料。制度条款、产品参数、项目记录和长篇技术文档往往需要不同策略。
答案应尽量给出可点击的来源、文档标题、更新时间和相关片段。引用不仅帮助用户判断,也为错误追踪和内容治理提供入口。
五、建立评测集
项目开始时收集一批真实问题,并为每个问题记录期望答案、关键事实、允许来源和不能出现的内容。评测至少覆盖:
- 能直接命中的常见问题;
- 需要组合多段资料的问题;
- 没有答案、应明确拒答的问题;
- 用户没有权限的问题;
- 容易被旧版本误导的问题。
上线前用固定评测集对比不同检索和模型方案,才能知道变化是改进还是退步。
六、准备运营流程
知识库上线后仍需要处理资料更新、解析失败、错误反馈、权限变化、模型升级和成本监控。建议明确内容负责人、系统管理员和业务复核人员,并保留查询日志与反馈入口。
结论
RAG项目的核心不是把文档“喂给模型”,而是建立一条可授权、可检索、可引用、可评估和可持续更新的知识链路。先选一个边界清晰的任务完成闭环,再逐步增加资料和用户范围,通常比一次性导入全部文件更稳妥。