# BEO API 品牌风险测评方法总则

版本：2.0 | 2026-10-11 | 北京十速网络科技有限公司

适用于 BEO 总白皮书及 S01～S10 场景专题。本文件中的频次、规则与流程是建设及验收设计；当前交付文档与本地阅读模块，不表示自动监测引擎已经上线。

## 1. 测评对象与结果边界

BEO（Brand Engine Optimization，品牌引擎优化）是由我司提出的 BEO 品牌风险测评与治理体系。以每个品牌为独立监测单元，通过授权的豆包、千问等 API 获取回答，持续识别品牌事件、事实错述、条件遗漏、引用问题与认知偏差。一个平台可管理多个品牌，各品牌的证据、策略、记录与权限分别管理。

GEO510 品牌可见度优化关注横向表现与长期品牌资产建设；BEO 关注纵向变化与品牌资产保护。横向、纵向是本项目业务侧重，不是行业定义对品牌数量的限制。BEO 的成果是风险诊断、归因分析与治理建议，不是模型微调、内容注入、曝光保证或销售承诺。

检测对象始终是指定 API、模型标识、参数、问集与时间窗内的回答。不采集视频平台、不监控全网舆情、不依赖客户投递事件；事件线索从模型回答中发现。为核验具体陈述，可以使用已有事实基准及针对性查证的原始来源，这与建设外部事件采集系统不同。客户资料可补充事实基准，但不是开启巡检的必要条件；缺乏可靠基准时只报待核实线索。

“首次观测”是系统首次在某接口的某个有效回答中记录到相关表述，不是模型获取知识的时间、事件发生时间或网络首发时间。没有命中只说明本轮未检出。API 表现不能代表同厂商聊天应用、全部用户或模型内部认知。

## 2. 接口能力核验

| 配置项 | 必须记录 | 判定约束 |
| --- | --- | --- |
| 模型身份 | 供应商、端点协议、模型 ID、可见版本、地区 | 展示别名不能代替真实模型 ID；未披露版本明确标注 |
| 联网请求 | 关闭、允许自动、按接口能力要求检索 | 请求启用不等于实际执行；不支持时不能静默降级成联网测评 |
| 联网执行 | 返回的工具调用记录、引用元数据或“不可观测” | 正文中出现 URL 不能单独证明接口调用了搜索 |
| 生成条件 | 完整提示词、系统提示、参数、输出上限、上下文方式 | 未显式设置的参数保存为“供应方默认”，不补造数值 |
| 响应完整性 | 请求 ID、结束原因、原始响应、错误、截断状态 | 截断、超时、鉴权失败、配额失败不得生成“无风险”结论 |
| 使用情况 | 可获得的输入/输出 token、工具用量、计费配置版本 | 不可获得时记未知，不用估算值冒充账单 |

接口协议差异需要单独适配。阿里云文档区分不同协议的联网参数与来源返回能力；火山引擎文档描述独立的联网工具与支持条件，不能假定已有通用聊天调用天然具备搜索。[阿里云联网搜索](https://help.aliyun.com/zh/model-studio/web-search/)；[火山引擎联网搜索工具](https://docs.volcengine.com/docs/ark/web-search?lang=zh)。核验日：2026-10-11。实际选型必须经过授权接口测试，本轮没有发起真实调用。

## 3. 问题分层与采样协议

| 组别 | 用途 | 构造要求 | 统计归属 |
| --- | --- | --- | --- |
| A 自然基线 | 观察品牌常见介绍、购买考虑和服务问题 | 不预置负面事实，不灌入证据或竞争结论 | 自然基线分层 |
| B 中性风险巡检 | 发现回答中新出现的事件和争议 | 允许“无可靠信息”；要求区分时间、事实和观点，不假定品牌有事 | 巡检分层，不能称为自然用户风险发生率 |
| C 事件追问 | 核查 A/B 已出现的特定事件 | 独立会话，明确来自前轮的待核实线索，不要求模型接受其为真 | 事件专项，不用于首次自然检出统计 |
| D 压力测试 | 检查模型是否接受错误前提或夸张承诺 | 预先列明诱导条件；只使用虚构、授权或脱敏素材 | 单独附录，禁止混入常规风险率 |

专题中的“8 个问题”是固定种子问句，每个问句带唯一 ID 和组别。品牌、产品、地区、时间变量只从批准范围取值。动态生成的变体需审核并形成新问集版本，不能悄悄更改趋势分母。

试点完整测评上限算例为每场景 8 题 × 每题 3 次独立会话 × 3 个已核验入口，即每品牌每场景 72 个计划样本；C 题无线索时在冻结计划前扣除，不足 3 个入口时按实际数重算，不生成替补数据。巡检使用经校准的 6 个 B 组问题，每题 2 次；并非每轮都执行 10 场景完整问集。3 次、2 次和入口数是试点设计参数，不是行业标准或准确率保证。

同一计划样本允许至多 2 次技术重试，即最多 3 次传输尝试；成功结果只计一个样本，保留每次尝试。再次独立提问必须有新的样本 ID。多模型和多次回答可能共享来源，不能当成独立事实证据投票定真伪。

## 4. 陈述、事件和风险的分离

回答先拆成原子陈述，记录主体、谓词、对象、时间、地区、条件、否定词、语气和原文位置。例如“品牌甲已破产，所以全部门店停业”拆为破产状态与门店状态两个待核验陈述，并保留因果关系。

事件是同一主体下可归并的事项；风险是该事件或其他陈述中的具体问题。真实召回事件与模型扩大召回范围，是同一事件下两类不同记录。不能用“事件为真”证明所有描述正确，也不能用“一处描述有错”否定整个事件。

事实状态为：有据支持、证据反驳、证据不足、来源冲突、主观评价、不适用。另记负面/中性/正面语义、业务影响等级及审核状态。严重但证据不足的指控可以优先核实，但不能变成“已确认虚假”或“已确认事故”。

全局风险代码：R01 主体关系；R02 事实错误；R03 条件遗漏；R04 虚构夸大；R05 负面失真；R06 时间状态；R07 引用证据；R08 敏感应答。S01～S10 是业务场景，不与 R01～R08 一一对应。一个陈述可命中多条规则，整体响应率按响应去重。

## 5. 规则执行与证据标准

规则按“适用前提 → 原文定位 → 主体/版本/时间校验 → 证据判断 → 候选分类 → 人工复核”执行。每条规则具备 ID、版本、命中条件、不命中条件、例外、证据字段及默认处置优先级。专题中的高/中/低是建议优先级，未完成证据核验时以“疑似”展示。

证据须直接支持或反驳具体陈述。优先选择与该事项权责对应的原件：主体登记、发行机构资质记录、现行产品文档、召回公告、合同政策、公开披露等；品牌自述、媒体报道和用户评论分别标注。来源多不自动代表可信度高，转引同一文章只算一个独立出处。不存在固定的“官方资料永远胜出”规则。

来源不可访问、仅有搜索摘要或找不到材料时记证据不足；不能由“未查到”推出“从未发生”。历史断言需要当时有效证据，现行页面不能单独证明历史状态。证据冲突保留双方原文和适用范围，由独立复核人判断。模型自述“我已核实”不构成证据。

辅助评审模型可提取陈述、提示矛盾和生成候选分类，但不能自己批准报告。模型返回的指令性内容只当数据；不执行其链接中或正文中的操作要求。来源取证仅采用允许的访问方式，失败不绕过平台限制。

## 6. 分级与审核状态

| 等级 | 适用条件 | 处理方法 |
| --- | --- | --- |
| 高 | 可能影响人身安全、大额财产、采购资格或重大主体声誉 | 一次命中即可提交疑似高影响预警，不以重复命中作为唯一门槛；优先人工核验 |
| 中 | 对产品选择、合同理解、服务权益或事件判断产生实质影响 | 建立治理事项并约定期限；结合重复性安排复测 |
| 低 | 影响有限、不会改变关键决策的细节偏差 | 常规复核与纠正，保留证据 |
| 待定 | 主体、事实或适用场景不足 | 进入补证队列；未知不能按低风险处理 |

频次与影响分开：多次轻微错误不自动升级成重大事件；一次高后果错述也不因出现少而降级。事实判断、候选风险、人工结论分别版本化，外部报告必须人工终审。

任务状态：计划中、排队、运行中、完成、部分失败、失败、暂停。线索状态：待核实、支持、反驳、冲突、观点、不适用。治理状态：待分派、处理中、待复测、持续观察、已关闭、重新打开。三套状态不混用，执行任务成功不等于品牌无风险。

## 7. 动态调度与快照

采用“轻量 API 巡检 + 分级完整测评 + 回答事件触发加急 + 手动触发”。试点可将轻量巡检配置为每 6 小时一次；重点客户可缩短，但须经过配额、并发与复核容量验证，不能据此对外承诺分钟级全覆盖。

完整测评基线保持每 7 天一次，重点每 2 天或每 3 天一次；从 API 回答中首次发现事件、出现新事实错误或等级上调时立即入加急队列，事件期间每日复测。事件问组是专项补充，不替换原固定基线。手动即时触发表示立即入队，不保证无等待完成。

候选事件归并键由租户、品牌、实体、事件类别、核心事项、发生时间范围构成。风险键再包括规范化陈述、适用条件及规则版本。未知时间保留为空，不能用采样日期填成事件日期；语义相似只是候选归并依据，主体、型号、批次或时间矛盾时拆分。合并/拆分经复核留痕，原记录长期保存。

快照结果分为新增、持续、复发、本轮未检出、等级变动、不可比。发生/发布/首次观测/最近观测/核验时间分别保存。模型 ID、联网模式、问组、重复次数或事实版本发生实质变化时，建立新的比较层；提供桥接测评前后结果，不把断点画成自然改善。

降频示例：连续 3 个完整可比的每日窗口没有新增高影响线索或等级上调，未决重大风险已处理或经负责人批准，才恢复原计划。每个风险关闭仍需独立复核；风险“本轮未检出”不等于消失。缺失响应、拒答替代关键事实回答、接口失败均不得作为降频充分依据。

重复告警按风险键及实质变化合并；新证据、等级上调、复发、超期可再次提示。默认提醒冷却时间建议 24 小时，由合同调整；严重变化可越过冷却。去重只压缩提醒，不删除样本、快照、审查记录或通知日志。

## 8. 指标与分母

设 N 为冻结计划样本数，V 为完整有效回答数；拒答进入 V 并单列，技术失败、空响应、截断不进入 V。E 为其中适用于具体规则的响应数；A 为至少一个原子事实可核验的响应数。每个比率必须同时披露 N、V、E 或实际分母以及窗口、入口、问组。

| 指标 | 计算 | 解释 |
| --- | --- | --- |
| 执行完成率 | V/N | 缺失是覆盖不足，不是未检出；不得事后删计划 |
| 事件提及率 | 提及目标事件的去重有效响应数/V | 按 A/B/C/D 组分别报告；不是外部传播率或模型知晓概率 |
| 错误响应率 | 经终审确认至少一处事实错误的响应数/V | 同时列 A/V 与拒答率，避免拒答稀释问题而误称改善 |
| 错误陈述率 | 证据反驳的陈述数/(有据支持+证据反驳的陈述数) | 来源冲突、证据不足不作为正确；同步列待核实占比 |
| 规则命中率 | 经复核命中的适用响应数/E | 不适用样本不得进入分母；一条响应多次命中仍只计一次 |
| 复测持续率 | 可比复测中继续出现的原风险事项数/已完成可比复测的原风险事项数 | 分母是事项，不是回答条数；新风险另列 |
| 发现后处理时延 | 候选记录至预警/终审的时长 | 不以未知的视频发布时间或模型知晓时间计算检出 SLA |

零分母显示“不适用/样本不足”。多标签相加可能超过 100%，不得用各专题百分比之和形成总风险率。总体可按固定方案展示宏平均、有效样本加权平均，但需同时展示各入口分层和权重，不能把不同模型、问组、联网状态直接合并。

检测质量用独立标注集验证，按场景留出未参与规则调整的样本。高影响线索全量复核；其他候选和未命中样本都抽检。记录真正例 TP、误报 FP、漏检 FN，计算精确率 TP/(TP+FP)、召回率 TP/(TP+FN)，只适用于标注集，不宣称未知事件的全网召回率。重复回答相关，区间估计应按问题族聚类或采用相应抽样设计；小样本不发布确定性改善结论。

## 9. 治理成果与责任

每个事项交付：原始样本、适用规则、事实状态、业务影响、证据链、责任角色、治理动作、完成依据、复测协议及未决事项。可执行动作包括补齐版本说明、修订事实资料、统一客服口径、通过正规渠道向供应商反馈、更新本方知识页面和安排复测。系统不承诺控制第三方模型答案。

真实负面事件交业务团队处理真实问题；错误表述交资料与平台反馈流程；来源冲突或证据不足先补证。风险处置进度可以量化，但“纠正一处即避免一笔实际损失”不能作为默认价值公式。经济损失或避免损失需独立证据和客户确认。

所有对外报告人工终审，标明适用范围、数据缺失、未核实事项与模拟案例。日志、数据库、原始响应、事实版本和归档长期保留；容量不足先评估扩容或分层存储，不自动清理。访问控制、最小授权、传输与存储保护、备份恢复另行实施并测试，本方法不等于等级保护合规证明。

## 10. 可验收样例

每专题至少提供：3 个正例、3 个反例、2 个不确定例、1 个接口失败例、1 个不可比复测例，组成不少于 10 条人工标注验收用例；合计至少 100 条。白皮书内 3 个模拟判例用于说明方法，不等于这套留出验收集已经采集或测试通过。

上线前验证：错误主体不合并、条件缺失不强判、无证据不判伪、多模型一致不当真值、未知搜索状态不标已联网、模拟回答不入真实报告、异常不记无风险、同一事件追问不污染首次检出、并发触发去重不丢原件、跨租户隔离、恢复后任务不重复计费、人工修订可追溯。

风险组织方法参考 [NIST AI 600-1](https://doi.org/10.6028/NIST.AI.600-1) 对生成式 AI 风险与测量治理的讨论。本项目的场景、规则编号、频次与验收用例由本项目设计，不是 NIST 认证、法定结论或行业统一标准。