# 风险与 KPI

> v0.3：主质量指标由「近场 WER」改为「意图路由准确率 ≥ 80%（含弃权）」，WER 降为诊断指标；内容架构改为「预审回答库 + 预录真人语音」。
> v0.2：新增"远场拾音"与"无人工兜底"两条红线风险；KPI 改为中心式口径。

## 一、风险矩阵

评分：概率 / 影响 各 1–5，风险值 = 概率 × 影响。≥12 为红色（试点前必须有对策并演练）。

| # | 风险 | 触发信号 | 概率 | 影响 | 值 | 对策 | 责任 |
|---|---|---|---|---|---|---|---|
| **R13** | **远场拾音导致识别崩溃** | 远场 WER > 45%，或与近场差距 < 10 个百分点 | 5 | 5 | **25** | **传递式有线近场麦**；Phase 1 必须做近场/远场对比实测；差距不足则直接转手持式 | 技术 |
| **R14** | **无人工兜底：识别错无人纠正** | 出现"答非所问"却无人发现 | 4 | 5 | **20** | 低置信度不回答 → 请重复 → 转协调员；**协调员强制在场**；周度抽样人工复核 | 技术 + 协调员 |
| R1 | 网络不稳定 | 连续 3 天在线率 < 70% | 4 | 4 | 16 | 只选网络可用站点；Wi-Fi + 4G 双备；离线缓存课程 | 技术 |
| R8 | 当地合作方退出 | 合作方失联 / 协调员离职 | 4 | 4 | 16 | 同时接触 3 个候选；培训 2 名协调员；设备可迁移 | 项目负责人 |
| R4 | 内容安全越界 | 敏感词告警 ≥ 5 次/周 | 3 | 5 | 15 | 白名单 + 双层过滤；人工周复核；越界即停 | 内容负责人 |
| R12 | 效果无法证明 | 评估样本 < 15 | 3 | 4 | 12 | 前测提前到第 1 周；用口语流利度（正确字/分钟）作敏感指标 | 评估 |
| R2 | 电力不稳 | 单日掉电 ≥ 3 次 | 3 | 3 | 9 | 大电池 + 太阳能；低功耗待机 | 协调员 |
| R9 | 供应链与关税 | 清关超 3 周 / 退运 | 2 | 3 | 6 | 小批量（2 台可随行李）；备件本地采购 | 物流 |
| R10 | API 额度用尽 | 月消耗达额度 80% | 3 | 2 | 6 | 监控用量；预设付费档；可切自托管小模型 | 技术 |
| R5 | 隐私事件（误存录音） | 服务端发现音频落盘 | 2 | 5 | 10 | 架构上禁止落盘；上线前代码审计；日志 30 天轮转 | 技术 |
| R6 | 儿童保护事件 | 任何一起投诉 | 1 | 5 | 5 | 无远程接触；协调员在场；承诺书；48 小时上报 | 保护联络人 |
| R3 | 设备丢失（中心式阶段） | 主机丢失 | 1 | 4 | 4 | 中心式几乎不丢；编号登记；24 小时上报并远程停用 | 协调员 |
| R3b | 设备丢失（手持式阶段） | 月度丢失 ≥ 2 台 | 3 | 3 | 9 | 编号绑定、存放中心、每日清点、不外带 | 协调员 |
| R7 | 合规风险（无资质募捐） | 出现公开募捐页面/收款码 | 2 | 4 | 8 | 只做定向捐赠；**不经手现金**；文案审核 | 项目负责人 |
| R11 | 技术与内容人员流失 | 关键岗位空缺 ≥ 4 周 | 3 | 3 | 9 | 文档化一切；关键模块两人熟悉；不做单点依赖 | 项目负责人 |

> R6 与 R3 的概率较 v0.1 明显下降，正是"不做真人通话"与"先上中心式"两个决策带来的收益。

## 二、KPI（Phase 2 试点 3 个月）

| 维度 | 指标 | 目标 | 测量方式 |
|---|---|---|---|
| 可用 | 设备在线率 | ≥ 90%（只有 1–2 台，应更高） | 后台每日心跳 |
| 使用 | 每周使用场次 | ≥ 6 场 | 后台会话记录 |
| 使用 | 每场参与儿童 | ≥ 5 人 | 协调员签到（匿名计数） |
| 使用 | 每周独立使用者 | ≥ 15 人 | 匿名计数 |
| 质量 | **意图路由准确率** | **≥ 80%（含弃权）** | Phase 1 实测 + W1 现场复测，人工判定样本 |
| 质量 | *近场 WER（诊断量，不作门槛）* | 记录并公开 | 同上 |
| 质量 | 端到端延迟 | ≤ 4 秒 | 后台埋点 |
| 质量 | 弃权率（不猜 / 请重复 / 转协调员） | 可观测且 < 30% | 后台埋点 |
| 满意 | 协调员满意度 | ≥ 4 / 5 | 匿名问卷 |
| 效果 | 口语朗读流利度 | 有方向性提升（正确字/分钟） | 前测后测，样本 ≥ 15 |
| 稳定 | 故障率 | 主机故障 < 1 次/月 | 维修台账 |
| 安全 | 安全事件 | **0 起**（0 也记录） | 事件登记表 |
| 成本 | 单儿童月成本 | ≤ ¥5 且可核算 | 支出台账 |

### 为什么主指标不是 WER

我们把问题拆成两半，两半的标准不同：

- **识别可以只求"听个大概"。** 孩子问的是有限的、可预期的问题（这个字怎么读、这个词什么意思、今天学什么）。我们不需要把每个音节都转写对，只需要判断出他问的是哪一类。这个指标叫 **意图路由准确率**：在 N 条真实提问样本上，人工判定"路由结果是否可接受"的比例。可接受 = 命中了正确的回答，或**正确地弃权**（请重复 / 转协调员），而不是被一个错误的回答敷衍过去。
- **但孩子听到的回答不能错。** 所以最常用的 200–500 条回答由母语配音员**预先录制、逐条人工审核**，长尾才用合成语音。低资源语言上的生成式模型会"流利地胡说"；豪萨语、约鲁巴语这类声调语言，声调错就是词义错。这条不能用实时生成来兑现。

WER 仍然测、仍然公开，但它退为**诊断量**：WER 高而路由准，说明"听个大概"这条路线成立；WER 高且路由不准，说明识别是真瓶颈。

## 三、扩展门槛（三条全过，才进入手持式）

1. **意图路由准确率 ≥ 80% 且每周场次 ≥ 4** —— 说明孩子问的东西被送到了对的地方，而且孩子真在用。
2. **安全事件 0 起、协调员满意度 ≥ 4** —— 说明现场执行得住。
3. **单儿童月成本可核算且 ≤ ¥5** —— 说明能负责地复制。

任一不达标：不扩规模，先做 4 周整改。连续两轮不达标，公开说明并终止该站点，设备转投其他中心。

## 四、什么时候该叫停

- 出现涉及儿童人身安全的严重事件
- 发现无法通过技术改造消除的录音留存
- 在地合作方撤回支持且 60 天内无替代
- **意图路由准确率 < 60%，且换模型、扩回答库、调阈值都无法提到 80%**
- 连续 6 周每周场次 < 2 且原因不可修复

叫停不是失败，是这套机制在正常工作。