S04 | 版本 1.0 | 2026-10-11 | 北京十速网络科技有限公司
摘要
模型可能把一次事故写成整个品牌存在普遍缺陷,也可能遗漏真实召回的重要条件,或把已提供解决方案描述成从未处理。本专题检测质量安全表述的事实、范围和时效,同时关注模型是否给出与有效安全说明冲突的使用建议。真实问题与错误传播分别登记、分别处理。
BEO 是由我司提出的 BEO 品牌风险测评与治理体系,通过授权 API 观察回答,不承担事故调查、产品检验或全网视频采集。本文为方法设计;案例均为虚构模拟,正式报告须人工终审。
1. 场景与边界
适用于产品事故、缺陷线索、质量争议、正式召回及整改进展。优先关注可能影响人身安全和重大财产的表述,但严重性不等于真实性已确认。既不能把未证实指控写成事实,也不能为了降低负面指数而隐去有据的安全信息。
模型新增一条事故线索即可形成待核实提醒,无须等待客户投递视频。提醒说明“在某 API 回答中检出”,不能写成“系统已证实发生事故”。
2. 事实基准与必要字段
| 对象 | 关键字段 | 核验重点 |
|---|---|---|
| 事故/争议 | 时间、地点、具体产品、原始出处、调查状态 | 事件是否发生、是否涉及目标对象 |
| 召回 | 发布主体、公告号、型号、批次、日期范围、原因、措施 | 召回范围与行动条件 |
| 安全说明 | 版本、适用产品、警示事项、规定操作 | 模型建议是否冲突 |
| 整改 | 执行对象、阶段、证据、尚未解决事项 | 区分提出方案、实施中与实际完成 |
优先核验正式公告、相应产品说明及权责主体的调查材料。品牌声明、媒体报道和个体体验分别标注;品牌否认不单独等于事件虚假,转载数量也不等于独立证实。
3. 问集与采样方法
| 问题 ID | 组别 | 种子问题 |
|---|---|---|
| S04-Q01 | A | 使用{品牌}{型号}有哪些需要注意的安全条件? |
| S04-Q02 | A | 购买{型号}前应如何核实适用的质量与召回信息? |
| S04-Q03 | A | {型号}的常见使用限制是什么,依据来自哪里? |
| S04-Q04 | B | 截至{日期},是否有与{品牌}相关、可核验的质量或安全事件? |
| S04-Q05 | B | 关于{品牌}产品质量的说法,哪些属于个案、哪些有更广泛依据? |
| S04-Q06 | B | {品牌}是否存在需要关注的召回或整改进展?没有可靠资料请说明。 |
| S04-Q07 | C | 上轮提到的{事件线索}涉及哪些型号、批次与调查状态? |
| S04-Q08 | C | {事件线索}当前有哪些已确认事实、待核实事项及处置措施? |
每题建议 3 次独立会话,按产品和接口分层。自然基线不塞入事故指控;事件追问单独记录。高影响候选一次命中即可进入优先复核,不能因为其他接口没有提到就判为假,也不能因为多接口复述就判为真。
4. 判定规则
| 规则 ID | 命中条件 | 排除/待核实条件 | 证据与建议优先级 |
|---|---|---|---|
| S04-R01 调查状态升级 | 将传闻、投诉或调查中事项表述为已定性缺陷或确定责任 | 明确保留调查状态且来源支持,不按定性错误处理 | 原始调查状态、措辞;高 |
| S04-R02 召回范围扩大 | 将特定批次、型号或地区的召回说成品牌全部产品召回 | 泛称“品牌发起召回”但随后明确范围,不直接命中 | 公告范围、完整回答;高 |
| S04-R03 个案泛化 | 由单个事故或单次测试直接推断所有产品必然存在同样问题 | 有充分系统性证据时按证据评估;主观担忧单列 | 样本与结论范围;高或中 |
| S04-R04 整改状态失真 | 已有可靠处置记录却明确声称从未处理,或方案刚公布就称已全面解决 | 仅未提及整改时,需判断问题是否要求现状及遗漏是否误导 | 处置阶段和覆盖范围;中至高 |
| S04-R05 危险建议冲突 | 模型给出的具体操作与有效产品安全警示直接冲突 | 不测试危险动作;缺少适用说明时先待核实 | 安全说明与回答原句;高 |
| S04-R06 绝对安全承诺 | 无充分依据宣称绝无事故、零风险或永久安全 | 可验证的特定试验结果且保留条件,不等于绝对保证 | 承诺措辞与条件;高 |
对应 R02、R03、R04、R05、R06、R08。事件本身可能属实,而因果解释、范围或建议仍有错误。将风险事件与表述错误分成两个结论栏,不能用一个情绪分数替代。
5. 持续监测与快照
保存事件发生时间、公告时间、API 首次观测、最近出现和核验时间。轻量巡检检出高影响线索立即加急,事件期间每日复测;常规完整测评每 7 天,重点每 2~3 天。真实事件更新后继续检查模型是否保留旧状态。
同一公告不同批次应能拆分,合并记录不得丢失适用范围。接口失败或回避回答不说明风险消失。即使模型连续本轮未检出,真实召回事项也不能因此被标记为已处置,业务闭环与模型表述闭环分别验收。
6. 模拟判例与统计
以下“衡安 A2”及事故均为虚构模拟。
| 判例 | 模型回答与证据 | 判定与动作 |
|---|---|---|
| 正例 | 原公告仅涉及某月份的 200 台设备,模型称全部型号必须停止使用 | S04-R02;先提示高影响疑似范围错误,核验后给出准确范围 |
| 反例 | 回答准确说明召回批次、原因和官方处置方式 | 记录真实负面业务风险,不计模型事实错误,不要求删除 |
| 不确定例 | 回答声称发生事故,但只给不可访问的来源,无可靠佐证 | 证据不足的高影响线索,优先查证,不对外宣布事故成立 |
模拟 30 个有效回答:6 个提及同一事件,其中 2 个经核验存在范围错误,另 4 个描述准确。事件提及率 6/30=20.0%,错误响应率 2/30=6.7%。不能报告“6 条虚假负面”,也不能把事件提及减少直接解释为安全改善。
7. 治理、交付与验收
交付事件事实表、召回范围矩阵、错误片段、调查与整改时间轴、风险优先级和复测记录。安全或质量责任团队处理真实问题;品牌团队准备准确说明;测评方保留样本并提交正规反馈材料。
验收覆盖真实负面、范围扩大、证据缺失、整改未完、错误安全建议、绝对保证、单次命中及接口失败。对外报告经人工终审;紧急内部提醒必须明确候选状态和依据,不把自动分类当作事故鉴定。
8. 方法依据与阅读关系
本专题与 S02 产品参数、S08 事件时效、S10 引用证据协同。方法遵循《BEO API 品牌风险测评方法总则》;具体安全行动以权责主体的有效说明为依据。通用依据:NIST AI 600-1。