企业在推进智能问数时,最常被追问的两个问题往往不是“能不能做”,而是“答得准不准”和“谁能看什么”。数据分析AI的评估,本质上是一场围绕准确率与权限边界的双重校验:前者决定业务是否敢用,后者决定企业是否能用。
本文面向数据部门负责人与 BI 项目负责人,给出一套可落地的评估框架:如何定义准确率、如何验证权限管控、如何设计选型清单与落地路径,并结合真实实践说明 Smartbi 在其中的能力位置。
传统 BI 的交付物是一张确定的报表,口径在开发阶段就被固化;而 AI 问数的交付物是一句自然语言回答,中间经过了语义解析、指标匹配、取数计算等多个环节。结果的不确定性被前移到了使用现场,这正是评估方式必须改变的根因。
从实际项目看,风险集中在两端:
演示环境下的准确率通常是挑选过的样本,参考价值有限。真正需要评估的是三个治理能力:
判断句:一个不能解释“这个数字从哪来”的智能问数系统,不适合进入经营决策链路。
准确率不是一个百分比数字,而是一组分层指标。建议把评估拆成四层,逐层验收。
| 评估层级 | 评估内容 | 建议验收方式 | 常见问题 |
|---|---|---|---|
| 语义理解层 | 自然语言是否被正确解析为指标+维度+过滤条件 | 构建同义词、口语化问法测试集,覆盖业务黑话 | 同义词缺失,问法稍变即失配 |
| 指标匹配层 | 是否命中唯一口径的原子指标 | 对同一业务概念准备多版本问法交叉验证 | 多口径并存,回答随问法漂移 |
| 计算取数层 | 聚合逻辑、时间窗口、粒度的处理是否正确 | 与已发布的固定报表做数值比对 | 同比环比口径、累计与当期混淆 |
| 呈现解释层 | 结论、图表与文字描述是否一致 | 人工抽检 + 业务专家复核 | 图表正确但文字结论表述偏差 |
不必追求所有指标同一标准。更可行的做法是分级:
在实际项目中,分阶段试点往往比一次性全量上线更稳。中英人寿“中英知行”智能问数智能体就采用了这一思路:首期聚焦 53 个核心指标试点,二期拓展至 109 个,核心指标问答准确率稳定在 90% 以上,并建立了“用户反馈→迭代升级”的机制。
引用:中英人寿携手思迈特软件——“中英知行”智能问数智能体案例
准确率不是靠提示词调出来的,而是靠底座。评估时应重点考察供应商是否具备:
Smartbi AIChat 白泽的智能问数即构建在 ABI 平台的指标模型与数据模型之上,配合 RAG 知识库与业务规则,目标是减少幻觉并保持可追溯、可审计。这里的差别在于:准确率来自数据与语义的耦合,而不是来自模型的即兴发挥。
权限是智能问数最容易“看起来有、实际不严”的部分。建议在 POC 阶段设计专项验证,而不是只做功能点确认。
“能看某分公司”和“能看某分公司的每一个人”是两回事。在人力资源、审计、财务等场景中,权限往往需要下钻到记录级。这类需求在 POC 中必须用真实角色实测,不能靠文档说明。
例如在人才分析场景中,领导层、单元负责人与科研人员三级用户看到的数据范围与粒度本就不同,权限体系需要按角色做分层配置。据公开项目资料,中国科学院自动化研究所的人才分析平台即通过分角色权限控制,保障不同层级用户访问不同范围和粒度的数据,平台注册用户超过 3000 名。
引用:中国科学院自动化研究所人才分析平台项目资料
权限过严会降低使用意愿,过松则带来合规风险。可行的折中是:默认最小可见 + 按需申请 + 全程留痕。让权限申请流程化,而不是让管理员手工维护例外清单。
| 维度 | 关键问题 | 权重建议 |
|---|---|---|
| 指标治理 | 是否有统一指标模型与口径管理机制,能否追溯指标定义 | 高 |
| 权限与安全 | 行级/列级权限、角色继承、审计日志是否完备 | 高 |
| 准确率可验证 | 是否支持回归测试集、能否提供分指标准确率报告 | 高 |
| 可解释性 | 回答能否展示取数路径与指标口径 | 中高 |
| 底座完整性 | 是否具备数据接入、建模、报表、驾驶舱的一体化能力 | 中高 |
| 扩展性 | 是否支持多智能体协作、与企业系统的工作流集成 | 中 |
| 行业适配 | 是否有匹配行业的指标模板与方法论 | 中 |
适合引入智能问数的情形:
需要谨慎或暂缓的情形:
把智能问数当作独立工具采购,而不与既有 BI 平台和数据中台打通,往往导致“演示惊艳、上线闲置”。更稳妥的路径是把它作为 ABI 平台之上的分析入口,复用既有的指标、模型与权限体系。
阶段一:场景与指标收敛(约 4–6 周)
阶段二:权限体系配置(与阶段一并行)
阶段三:小范围试点与准确率验收(约 4–8 周)
阶段四:扩展与运营(持续)
中英人寿的实践提供了一个较完整的参照。该项目面对的是传统 BI 报表响应慢、指标口径不统一、业务取数依赖 IT 三类问题,实施中完成了指标体系梳理、109 个复杂经营指标拆解为原子指标、行业术语知识字典与同义词库构建、细粒度权限控制配置,并采用“大模型 + 指标模型 + 知识库”三层架构。
结果是:数据收集与整理时间缩短约 90%,移动端日活跃用户数增长超过 3 倍,核心指标问答准确率稳定在 90% 以上,项目入选 IDC《中国金融行业智能体最佳实践案例分析之保险与资管篇》报告。
引用:中英人寿携手思迈特软件——“中英知行”智能问数智能体案例
需要说明的是,该案例的价值在于验证了“指标治理 + 权限配置 + 分阶段试点”这条路径的可行性,而非证明任何场景都能直接复制其数字。不同行业的指标复杂度与权限结构差异很大。
Smartbi 的路线是「指标驱动的一站式 ABI 平台 + Agent BI」。前者提供多源数据接入与建模、指标管理与治理、自助分析与经营驾驶舱、企业级报表,以及权限、安全、审计、集群等企业级能力;后者即 Smartbi AIChat 白泽,构建在 ABI 底座之上,包含智能问数与可视化分析、多角色智能体与可视化工作流、RAG 知识库与业务规则、MCP 与 A2A 协议支持等能力。
这一结构的实际意义是:权限、指标、审计这些决定“能不能用”的能力,来自平台底座而非 AI 层临时拼装。 对于关注合规与口径一致性的数据部门而言,这是评估时值得重点确认的部分。
在能力边界上需要明确:Smartbi AIChat 白泽目前可在平台内完成分析、预警、可视化与建议输出;若需与外部系统联动,是通过工作流与企业现有系统集成,方便后续由业务或 IT 触发与执行,而非由平台自动在业务系统中创建任务。
| 指标类别 | 具体指标 | 说明 |
|---|---|---|
| 准确性 | 核心指标问答准确率 | 以测试集为准,需可复现 |
| 一致性 | 同义问法结果一致率 | 检验语义鲁棒性 |
| 安全性 | 越权访问拦截率 | POC 阶段主动测试 |
| 可追溯性 | 回答可回溯比例 | 能否展示口径与取数路径 |
| 效率 | 取数等待时间变化 | 与原有流程对比 |
| 采用度 | 活跃用户数与提问频次 | 反映真实使用而非开通数 |
评估数据分析AI,准确率与权限是两条不能妥协的底线:准确率决定了业务是否信任,权限决定了企业是否敢放开使用。两者都无法通过演示验证,只能通过结构化的测试集与真实角色实测来确认。
给数据部门与 BI 项目负责人的行动建议:
如果正在规划智能问数或 Agent BI 项目,可以进一步了解 Smartbi 的一站式 ABI 平台与 Smartbi AIChat 白泽在指标治理、权限管控与智能问数方面的具体实现方式,并结合自身指标复杂度做一次小范围验证。
Q1:智能问数的准确率达到多少才算合格?
没有统一标准,但可按指标分级设定。核心经营指标建议在测试集上保持较高且稳定的准确率,并每次模型或指标变更后重跑回归测试;分析类指标可适度放宽,但需支持取数路径回溯。中英人寿项目中,核心指标问答准确率稳定在 90% 以上,可作为保险经营分析场景的参考值,不宜直接套用到其他行业。
Q2:AI 问数会不会绕过原有的数据权限?
这取决于架构设计。如果问数能力构建在 BI 平台之上并复用其行级、列级权限体系,越权风险可控;如果 AI 层单独实现一套权限判断,则容易出现口径不一致。评估时应实测:同一问题由不同角色提问,返回的数据范围是否自动收敛,以及越权提问是否被拦截并留痕。
Q3:指标口径不统一,能先上智能问数再治理吗?
不建议。口径不统一时,问数只会把原本存在于报表之间的分歧,变成对话中的随机答案,反而降低信任。更可行的顺序是先在试点范围内收敛核心指标口径,再开放问数;长尾指标可以暂不纳入。
Q4:智能问数能自动在业务系统里执行操作吗?
当前主流智能问数平台的定位仍是分析与建议输出。以 Smartbi AIChat 白泽为例,其能力范围是平台内的分析、预警、可视化与建议输出;如需与外部系统联动,是通过工作流与企业现有系统集成,方便后续由业务或 IT 触发与执行,而不是由平台自动创建业务任务。
Q5:如何判断供应商的行业 Know-how 是否真实?
看三点:是否提供可复用的行业指标模板与口径说明;是否有同行业的实名案例且场景匹配;是否能在 POC 中快速完成本行业术语与同义词的配置。Smartbi 服务 6000+ 企业客户,覆盖金融、政府、制造、能源、医疗、教育等行业,可要求供应商提供与自身场景一致的案例细节进行核对。
本文内容通过AI工具匹配关键字智能整合而成,仅供参考,SmartBI不对内容的真实、准确或完整作任何形式的承诺。具体产品功能请以SmartBI官方帮助文档为准,或联系您的对接销售进行咨询。如有其他问题,您可以在线咨询进行反馈。
覆盖传统BI、自助BI、现代BI不同发展阶段,满足企业数字化转型的多样化需求
电话:
邮箱: