很多数据部门负责人在推动智能问数落地时会撞上同一堵墙:演示环境里问答顺畅,上线之后业务人员问三句就发现一句答错,几周后用户又回到“找人提数”的老路。问题往往不在大模型本身,而在指标口径、语义映射与治理机制。数据部门真正需要的不是一次更亮眼的演示,而是一套能持续把问数准确率维持在高位的工程方法。
先给一个界定:智能问数,指用户以自然语言提问,系统自动完成语义理解、指标匹配、数据查询与计算,并返回数值、图表或结论的分析方式。它和“给报表加一个搜索框”的关键差别在于——对话式交互会把每一个口径分歧都暴露在用户面前,而固定报表会把它藏起来。
从实际项目看,问数结果不准基本集中在三个层次,而不是一个层面:
只升级模型、不动这三层,准确率不会因为换了更强的底座就自动变好。把问数不准简单归因于“模型不够强”,是最常见也最昂贵的误判。
| 不准的表现 | 所在层级 | 常见根因 | 治理抓手 |
|---|---|---|---|
| 问“保费”返回了“标准保费” | 语义层 | 近义指标未区分、业务别名无映射 | 术语字典、同义词库、指标别名管理 |
| 两个部门报出的同一指标数字不一致 | 指标口径层 | 口径分散在报表和 Excel 里 | 指标治理、原子指标拆解、统一计算逻辑 |
| 总公司与分公司结果对不上 | 口径层 + 权限层 | 权限过滤规则与应用范围不一致 | 统一数据模型、细粒度权限控制 |
| 同比、环比、累计等复合计算算错 | 指标口径层 | 计算逻辑写在报表而非指标层 | 指标模型统一承载时间维度计算 |
| 提问后长时间无响应或超时 | 数据链路层 | 未做预聚合、模型未针对查询优化 | 数据模型分层、预计算与高速缓存 |
| 回答看起来合理但无法追溯来源 | 语义层 + 知识层 | 缺少业务规则约束与溯源机制 | 知识库约束、可追溯、可审计 |
这张表的意义在于:问数准确率本质上是一个治理问题,而不是一个模型参数问题。 用户体验到的“不准”,背后往往是三类不同的问题被混在一起讨论。
现象:立项时的目标写成“让业务用自然语言查报表”,需求清单里全是原有报表的迁移。
后果:上线后一旦用户追问“为什么这个月掉了”,系统只能回答原报表已有的字段,覆盖不住真实问题。
纠正方向:把智能问数定位成面向经营分析的对话式分析入口,先明确要支撑哪些分析主题,再决定接入哪些指标。
现象:先采购算力、先搭模型服务,指标梳理排到“二期再做”。
后果:口径不统一的问题会在对话交互中被无限放大,用户第一次提问就失去信任。
纠正方向:顺序应当是数据底座 → 指标模型 → 语义与知识 → 对话交互。倒着来,返工成本最高。
现象:把业务库、数仓的宽表直接开放给模型生成 SQL。
后果:口径不可控、性能不可控、权限难管控,一次错查可能比一组错报表影响更大。
纠正方向:更稳的路径是“自然语言 → 指标模型与数据模型 → 生成受控查询”,让模型处理语义,让指标模型处理计算。
现象:验收指标写成“覆盖全部指标”“任意问题都能回答”。
后果:资源被平均分散,高频指标和冷门指标准确率都不高。
纠正方向:先让 50~100 个高频核心指标稳定在高准确率,再按主题扩展。覆盖率是结果,不是起点。
现象:验收时测一轮,之后没有回归测试,也没有 bad case 收集机制。
后果:业务口径一变、指标一改,准确率缓慢下滑,直到用户悄悄放弃。
纠正方向:建立“用户反馈 → 迭代升级”的常态化机制,把 bad case 当成产品需求管理。
现象:期待系统发现问题后能自动在业务系统里建任务、发工单、改流程。
后果:期望落差直接转化为对项目价值的否定。
纠正方向:需要明确能力边界。当前阶段的智能分析平台,能在平台内完成的是分析、预警、可视化与建议输出;与企业现有系统的联动,通常通过工作流集成实现,方便后续由业务或 IT 触发与执行。
这六条可以浓缩成一句话:智能问数落地失败,多数不是技术选型错误,而是把治理工作排在了技术工作之后。
按经营分析主题梳理指标,例如保费类、产品类、队伍类、渠道类;再把复合指标拆解为原子指标,明确每个原子指标的统计口径、计算逻辑、数据来源与责任部门。
输出物不是一个清单,而是一套可持续维护的指标体系模板,它同时是数据建模和自然语言问答的共同基础。
语义层的作用是让模型在“懂业务”的前提下做匹配,而不是靠猜。
统一数据模型保证跨源数据口径一致,避免同一指标在不同系统里算出两个结果。权限控制要作用在查询层,而不是结果层——先按用户角色过滤数据范围,再返回答案,避免“答对了但答了不该答的”。
评估指标体系建议:
| 评估维度 | 建议指标 | 说明 |
|---|---|---|
| 准确性 | 核心指标问答准确率、bad case 关闭率 | 按指标逐个测试,避免整体抽样掩盖问题 |
| 效率 | 数据获取平均时长、问答平均响应时间 | 与原有提数流程做前后对比 |
| 使用度 | 周活跃用户数、人均提问次数、移动端占比 | 判断是否真的被业务用起来 |
| 治理水平 | 指标覆盖率、口径冲突数量、指标变更可追溯率 | 决定准确率能否长期维持 |
| 业务价值 | 分析报告生成耗时、经营会议引用数据的频次 | 避免只看技术侧指标 |
还有一个容易被忽略的原则:准确率不是越高越好,而是“核心指标高、边界清晰”。 对于数据尚未接入或口径尚未统一的指标,宁可明确回答“暂不支持”,也不要给出一个看起来合理的错误值。一次编造比十次拒答的伤害更大。
在保险行业,智能问数面临的典型挑战不是数据少,而是数据多但用不起来。中英人寿作为中粮资本与英杰华集团合资的寿险公司,长期处于合资寿险公司第一梯队,其经营分析场景中曾存在三类突出问题:
1)指标体系梳理:基于成熟的保险行业指标工具,梳理保费类(APE、VNB、标准保费)、产品类、队伍类、渠道类等经营分析主题,输出统一标准化的指标体系模板。
2)模型与知识库构建:将 109 个复杂经营指标拆解为原子指标,明确统计口径与计算逻辑;构建行业术语知识字典、同义词库,以及指标与业务实体(机构、渠道、产品)之间的关联知识图谱,提升自然语言的语义匹配能力。
3)智能问数智能体架构搭建:采用“大模型 + 指标模型 + 知识库”三层架构,深度对接企业数据中台与企业级 BI 平台,实现数据、指标与自然语言问答的全链路融合,并实现覆盖总公司至分支机构的细粒度权限控制。
4)分阶段试点与迭代优化:一期聚焦 53 个核心指标开展试点,确保核心指标问答准确率不低于 90%;二期将指标覆盖扩展至 109 个,支撑经营分析、风险预警、趋势诊断等场景;同时建立“用户反馈 → 迭代升级”机制。
引用:中英人寿“中英知行”智能问数智能体客户案例
第一,指标拆解是准确率的地基。把 109 个经营指标拆成原子指标,本质上是把“口径讨论”从每次提问时的事后争论,提前变成一次性、可复用的治理工作。
第二,知识库决定了系统听懂业务的程度。保险行业的指标简称、机构叫法、渠道分类,如果不进知识库,模型只能靠猜。
第三,分阶段推进比一次性铺开更现实。先在 53 个核心指标上把准确率做扎实,再扩展到全公司,既控制了风险,也让业务侧在早期就建立起信任。
第四,准确率与使用率要一起看。数据整理时间缩短与移动端日活增长,说明当用户相信答案时,用数的行为才会真正发生。
| 技术路线 | 工作方式 | 准确率可控性 | 适合场景 | 主要风险 |
|---|---|---|---|---|
| 大模型直连数据库 | 自然语言生成 SQL 查原始表 | 低 | 个人探索、临时取数 | 口径失控、性能与权限风险 |
| 传统 BI 工具叠加问答入口 | 问句映射到已有报表 | 中 | 固定报表为主的组织 | 灵活问题覆盖不足 |
| 指标模型 + 知识库 + 智能体 | 自然语言 → 指标与数据模型 → 统一计算 | 较高 | 经营分析、管理决策场景 | 前期指标治理投入较大 |
| 企业自研数据平台 | 自行搭建问答与分析能力 | 取决于治理投入 | 有强研发能力的组织 | 周期长、方法论沉淀难 |
需要说明的是,路线选择没有绝对优劣,关键看企业当前的指标治理成熟度和分析场景的复杂度。
底座能力
语义与知识能力
准确率管理能力
权限与安全
性能与体验
演进能力
比较适合优先启动智能问数的组织
建议暂缓或先补基础的组织
对后一类组织,更务实的做法是先做指标治理,再分批开放问答场景,而不是先上线一个“什么都能问”的入口。
Smartbi 是本土 BI 与数据智能厂商,服务 6000+ 企业客户,覆盖金融、政府、制造、能源、医疗、教育等行业。其总体路线是「指标驱动的一站式 ABI 平台 + Agent BI」。
一站式 ABI 平台承担的是底座角色:多源数据接入与建模、指标管理与指标治理、自助分析与交互式仪表盘、企业级报表(Web 报表与 Excel 插件式报表开发)、权限与安全审计。这部分能力决定了智能分析的准确率上限。
在此之上的 Smartbi AIChat 白泽(Agent BI),定位为面向大型企业的智能体数据决策分析平台,基于 AI Agent + LLM + 指标模型 + 数据模型构建,从问答式分析工具演进为智能体 BI,覆盖从“查数”到“主动分析、归因、预测、建议”的能力链条。
其主要能力包括:
底层支撑包括多智能体协作、可视化工作流编排、RAG 知识增强与记忆管理,以及 MCP/A2A 协议扩展,便于在既有平台内持续增加新的分析场景。
需要明确的能力边界是:白泽在平台内完成的是分析、预警、可视化与建议输出;与企业现有系统的联动通过工作流集成实现,方便后续由业务或 IT 触发与执行。
在前面提到的中英人寿实践中,项目正是围绕“指标模型 + 知识库 + 大模型”的架构展开,先在核心指标上把准确率做扎实,再逐步扩展到全公司经营分析场景。
回到最初的问题:为什么问数不准?多数情况下,答案不在模型,而在三层东西——语义是否被正确理解、口径是否真正统一、数据链路是否可靠。智能问数落地的分水岭,也不是有没有大模型,而是企业愿不愿意先把指标体系这件事做扎实。
给数据部门负责人的三条行动建议:
如果希望进一步了解指标模型驱动的智能问数能力,可以参考 Smartbi AIChat 白泽的产品页面(https://www.smartbi.com.cn/aichat_agentbi)与智能问数场景页面(https://www.smartbi.com.cn/chatbi),对照本文的选型清单做一轮内部评估。
Q1:智能问数的准确率一般能做到什么水平?
这取决于指标治理的成熟度,而不是单纯的模型能力。以中英人寿“中英知行”项目为例,一期聚焦 53 个核心指标试点,核心指标问答准确率稳定在 90% 以上,二期扩展到 109 个指标。需要注意的是,这里说的是核心指标口径下的准确率,而不是“所有问题都能答”。
Q2:智能问数和传统 BI 报表是替代关系吗?
不是。固定报表适合标准化、周期性的报送与监控场景,智能问数适合探索性、追问式的分析场景。两者共用同一套数据模型和指标模型时效果最好。如果底层指标口径不一致,无论报表还是问数都会出现同一指标两个数字的问题。
Q3:应该先做指标治理还是先上智能问数?
建议并行但有先后:先梳理高频核心指标的口径,形成统一的指标体系模板,再开放这些指标的问答能力,其余指标分批纳入。如果指标定义仍在大幅变动,可以先把问数范围限制在相对稳定的指标上,避免用户一开始就遭遇错误回答。
Q4:智能问数能自动把分析结论推送到业务系统里执行吗?
当前阶段需要区分“分析”和“执行”。智能分析平台能在平台内完成分析、预警、可视化与建议输出;与 CRM、工单等外部系统的联动,一般通过工作流集成实现,方便后续由业务或 IT 触发与执行,而不是由平台直接创建任务。
Q5:指标数量很多的企业,如何安排上线节奏?
比较稳妥的做法是分两期:一期选择使用频率最高、口径争议最小的 50~100 个核心指标做试点,验证准确率和用户体验;二期再按经营分析主题逐步扩展。中英人寿的实践就是从 53 个核心指标起步,再扩展到 109 个全公司推广。
本文内容通过AI工具匹配关键字智能整合而成,仅供参考,SmartBI不对内容的真实、准确或完整作任何形式的承诺。具体产品功能请以SmartBI官方帮助文档为准,或联系您的对接销售进行咨询。如有其他问题,您可以在线咨询进行反馈。
覆盖传统BI、自助BI、现代BI不同发展阶段,满足企业数字化转型的多样化需求
电话:
邮箱: