问数迭代路线.md 3.5 KB
智能问数 · 迭代路线（行业最佳实践对照）
2026-10 定稿。对照 2026 年 Data Agent/ChatBI 业界共识（语义层+指标层为可信问数基础设施、 评测金标准是从「能演示」到「可规模化」的分水岭、动态 few-shot 与反馈飞轮提准确率）， 结合本产品定位（单机部署 / flash 模型 / 零依赖 / 餐饮多主体运营）排定优先级。
当前成熟度定位
已具备（不需要推翻）：
- 受控工具调用而非裸 Text2SQL（业界生产共识路线）+ 语义层雏形（REPORT_COLUMNS 列注册表）
- 验证层：verdict 卡（体检/恒等式/层间一致性/完整性/云端一致性）+ 数字溯源 post-check
- 可审计：运行留痕与回放（编排时间线）；评测基建雏形（NAPOS_AGENT_MOCK 确定性假模型 + 隔离湖）
P0（下一迭代，高价值 × 低成本）
| 项 | 内容 | 落点 | 状态 |
|---|---|---|---|
| 评测金标准集 | 真实业务问句 → 期望工具/参数/关键数字的口径断言；改 prompt/工具/模型后跑一遍即知退化 | npm run eval（= scripts/eval-ask.js，隔离湖直跑工具链，零网络）。已覆盖 15 例：TopN/按日趋势/加权比率/门店部分匹配/环比可比集/显式区间与缺数实算/体检/层间核对/同行对标/源侧字段/跨主体/报告钳制/参数防呆 + 真机问句清单 |
✅ 2026-10-17（上线即抓到 query_report shops/shopNames 参数键不一致的真 bug） |
| 主动式分析闭环 | autoSync 后自动 体检+层间核对+环比 → 钉钉群机器人晨报卡片（verdict 天然带可信度标签） | 复用 autoSync 调度 + agent 工具 + aitable 凭据 | ⬜ |
| 动态 few-shot + 问答复用 | 人工追问收敛的问答对沉淀为「已验证语料」；相似问命中直接复用查询参数（秒回零成本），未命中注入 few-shot | sessions.json 扩展 + 相似度匹配（先编辑距离/关键词，够用） | ⬜ |
P1（答题质量与成本）
| 项 | 内容 | 落点 |
|---|---|---|
| 指标层升级 | 列注册表 → 指标对象（维度×聚合×时间粒度×口径），支持基于基础指标动态派生（同店环比/7日移动平均/周内节律归一），模型引用指标 key 而非自组口径 | REPORT_COLUMNS 旁新建 metrics 注册表，query/compare 工具参数引用 |
| Schema linking | 门店清单不再 300 行常驻 prompt：按问题检索 top-k 门店 + 别名表（俗称/简称）；指标说明按相关性裁剪 | prompt.js + 新工具 resolve_shops |
| 模型路由与结构化解码 | 快问 flash / 深度分析可配更强模型；网关支持 JSON mode 时动作协议走结构化输出；流式打字机 | llm.js + context.js 模型配置 |
| 反馈闭环 | 答案卡「采纳/纠错」，纠错进入评测集与 few-shot 池（数据飞轮） | ask.js + sessions.json |
P2（平台化，按需）
- 统计异常检测：移动平均 ±kσ、季节修正寒暑假基线，verdict 新增「统计异常」类；LMDI 归因从趋势模板抽成 agent 工具
- 深度报告 agent：周报自动生成（plan → 并行子查询 → 汇总 HTML/钉钉文档）
- 物化聚合：按月/店/日预聚合物；换查询引擎沿用既定触发条件（单主体 >50MB / 卡顿 / 跨主体 SQL）
- 治理：多用户按主体授权、run 成本展示与预算联动（tokens 已捕获）
不追的方向
向量库/嵌入式检索（同行均值已在 raw 里）、裸 Text2SQL 兜底（破坏口径可控）、大而全 BI 平台化（单机工具定位）。