风险与 KPI
v0.3:主质量指标由「近场 WER」改为「意图路由准确率 ≥ 80%(含弃权)」,WER 降为诊断指标;内容架构改为「预审回答库 + 预录真人语音」。 v0.2:新增"远场拾音"与"无人工兜底"两条红线风险;KPI 改为中心式口径。
一、风险矩阵
评分:概率 / 影响 各 1–5,风险值 = 概率 × 影响。≥12 为红色(试点前必须有对策并演练)。
| # | 风险 | 触发信号 | 概率 | 影响 | 值 | 对策 | 责任 |
|---|---|---|---|---|---|---|---|
| R13 | 远场拾音导致识别崩溃 | 远场 WER > 45%,或与近场差距 < 10 个百分点 | 5 | 5 | 25 | 传递式有线近场麦;Phase 1 必须做近场/远场对比实测;差距不足则直接转手持式 | 技术 |
| R14 | 无人工兜底:识别错无人纠正 | 出现"答非所问"却无人发现 | 4 | 5 | 20 | 低置信度不回答 → 请重复 → 转协调员;协调员强制在场;周度抽样人工复核 | 技术 + 协调员 |
| R1 | 网络不稳定 | 连续 3 天在线率 < 70% | 4 | 4 | 16 | 只选网络可用站点;Wi-Fi + 4G 双备;离线缓存课程 | 技术 |
| R8 | 当地合作方退出 | 合作方失联 / 协调员离职 | 4 | 4 | 16 | 同时接触 3 个候选;培训 2 名协调员;设备可迁移 | 项目负责人 |
| R4 | 内容安全越界 | 敏感词告警 ≥ 5 次/周 | 3 | 5 | 15 | 白名单 + 双层过滤;人工周复核;越界即停 | 内容负责人 |
| R12 | 效果无法证明 | 评估样本 < 15 | 3 | 4 | 12 | 前测提前到第 1 周;用口语流利度(正确字/分钟)作敏感指标 | 评估 |
| R2 | 电力不稳 | 单日掉电 ≥ 3 次 | 3 | 3 | 9 | 大电池 + 太阳能;低功耗待机 | 协调员 |
| R9 | 供应链与关税 | 清关超 3 周 / 退运 | 2 | 3 | 6 | 小批量(2 台可随行李);备件本地采购 | 物流 |
| R10 | API 额度用尽 | 月消耗达额度 80% | 3 | 2 | 6 | 监控用量;预设付费档;可切自托管小模型 | 技术 |
| R5 | 隐私事件(误存录音) | 服务端发现音频落盘 | 2 | 5 | 10 | 架构上禁止落盘;上线前代码审计;日志 30 天轮转 | 技术 |
| R6 | 儿童保护事件 | 任何一起投诉 | 1 | 5 | 5 | 无远程接触;协调员在场;承诺书;48 小时上报 | 保护联络人 |
| R3 | 设备丢失(中心式阶段) | 主机丢失 | 1 | 4 | 4 | 中心式几乎不丢;编号登记;24 小时上报并远程停用 | 协调员 |
| R3b | 设备丢失(手持式阶段) | 月度丢失 ≥ 2 台 | 3 | 3 | 9 | 编号绑定、存放中心、每日清点、不外带 | 协调员 |
| R7 | 合规风险(无资质募捐) | 出现公开募捐页面/收款码 | 2 | 4 | 8 | 只做定向捐赠;不经手现金;文案审核 | 项目负责人 |
| R11 | 技术与内容人员流失 | 关键岗位空缺 ≥ 4 周 | 3 | 3 | 9 | 文档化一切;关键模块两人熟悉;不做单点依赖 | 项目负责人 |
R6 与 R3 的概率较 v0.1 明显下降,正是"不做真人通话"与"先上中心式"两个决策带来的收益。
二、KPI(Phase 2 试点 3 个月)
| 维度 | 指标 | 目标 | 测量方式 |
|---|---|---|---|
| 可用 | 设备在线率 | ≥ 90%(只有 1–2 台,应更高) | 后台每日心跳 |
| 使用 | 每周使用场次 | ≥ 6 场 | 后台会话记录 |
| 使用 | 每场参与儿童 | ≥ 5 人 | 协调员签到(匿名计数) |
| 使用 | 每周独立使用者 | ≥ 15 人 | 匿名计数 |
| 质量 | 意图路由准确率 | ≥ 80%(含弃权) | Phase 1 实测 + W1 现场复测,人工判定样本 |
| 质量 | 近场 WER(诊断量,不作门槛) | 记录并公开 | 同上 |
| 质量 | 端到端延迟 | ≤ 4 秒 | 后台埋点 |
| 质量 | 弃权率(不猜 / 请重复 / 转协调员) | 可观测且 < 30% | 后台埋点 |
| 满意 | 协调员满意度 | ≥ 4 / 5 | 匿名问卷 |
| 效果 | 口语朗读流利度 | 有方向性提升(正确字/分钟) | 前测后测,样本 ≥ 15 |
| 稳定 | 故障率 | 主机故障 < 1 次/月 | 维修台账 |
| 安全 | 安全事件 | 0 起(0 也记录) | 事件登记表 |
| 成本 | 单儿童月成本 | ≤ ¥5 且可核算 | 支出台账 |
为什么主指标不是 WER
我们把问题拆成两半,两半的标准不同:
- 识别可以只求"听个大概"。 孩子问的是有限的、可预期的问题(这个字怎么读、这个词什么意思、今天学什么)。我们不需要把每个音节都转写对,只需要判断出他问的是哪一类。这个指标叫 意图路由准确率:在 N 条真实提问样本上,人工判定"路由结果是否可接受"的比例。可接受 = 命中了正确的回答,或正确地弃权(请重复 / 转协调员),而不是被一个错误的回答敷衍过去。
- 但孩子听到的回答不能错。 所以最常用的 200–500 条回答由母语配音员预先录制、逐条人工审核,长尾才用合成语音。低资源语言上的生成式模型会"流利地胡说";豪萨语、约鲁巴语这类声调语言,声调错就是词义错。这条不能用实时生成来兑现。
WER 仍然测、仍然公开,但它退为诊断量:WER 高而路由准,说明"听个大概"这条路线成立;WER 高且路由不准,说明识别是真瓶颈。
三、扩展门槛(三条全过,才进入手持式)
- 意图路由准确率 ≥ 80% 且每周场次 ≥ 4 —— 说明孩子问的东西被送到了对的地方,而且孩子真在用。
- 安全事件 0 起、协调员满意度 ≥ 4 —— 说明现场执行得住。
- 单儿童月成本可核算且 ≤ ¥5 —— 说明能负责地复制。
任一不达标:不扩规模,先做 4 周整改。连续两轮不达标,公开说明并终止该站点,设备转投其他中心。
四、什么时候该叫停
- 出现涉及儿童人身安全的严重事件
- 发现无法通过技术改造消除的录音留存
- 在地合作方撤回支持且 60 天内无替代
- 意图路由准确率 < 60%,且换模型、扩回答库、调阈值都无法提到 80%
- 连续 6 周每周场次 < 2 且原因不可修复
叫停不是失败,是这套机制在正常工作。