跳转到内容

第 51 章 幻觉、偏见、隐私与版权:持续治理

助手回答“每间夜 750 元”,引用现行制度,也没有超出工具预算。随后,一位用户发现调试日志里留着自己的酒店地址;另一位用户质疑,为什么一个无关的员工分组会改变答案;资料提供者则提出,自己并未许可这种使用方式。答案中的金额正确,并不能解决这些问题。

第 50 章让我们能拿出系统行为的证据。现在还需要明确:谁负责处理这些证据,哪些数据可以保留,已经通过检查的系统何时必须重新审查。治理(governance)就是持续安排这些责任、规则和证据。只有能找出受影响的数据、核对实际处理过程,制度文件才真正起作用。

51.1 顺着信息走一遍,而不只看答案

Section titled “51.1 顺着信息走一遍,而不只看答案”

案例仍是虚构的北京差旅住宿制度。版本 1 在 2025 年规定每间夜 600 元;版本 2 从 2026 年起规定 750 元。用户询问现行限额,也可能反馈答案有误。这里不使用真实差旅记录或真实员工群体。

表 51.1 数据在各阶段由谁负责。 下列保留期限是作者给定的教学规则,不是法律规定的期限。

数据及用途负责角色保留或删除规则可检查的证据
制度版本与检索索引:回答指定日期的问题制度负责人保留公开的历史版本;回答现行问题时排除不适用版本;资料撤回后删除索引条目,并使依赖它的缓存失效来源版本、生效日期、许可、索引摘要
拼好的模型输入:完成受限选择服务负责人只保留到请求结束,默认不建立跨请求记忆允许输入的字段及实际拼出的内容
运行内容日志:用于获准的排查数据管理员保留七天;按规则清除日志、记忆、缓存和反馈中的个人副本到期处理记录与删除数量
审计事件元数据:核对获批操作安全审查人本例保留三十天;另有适用的保留要求时,单独记录依据操作与审批引用、到期记录,不含凭据
用户反馈:解决答案争议制度负责人原始内容保留七天;能改成虚构回归案例时,尽量不再保留原始个人文本纠错记录、来源裁定、重跑结果

保留版本 1 来回答历史问题,不代表今天的请求也可以选它。同样,从索引中移除一条资料,并不会擦掉日志中的副本。把这些存储位置逐项列出,“已删除”和“现行有效”才有可检验的含义。

项目中的负责角色都是虚构安排,用来说明真实服务需要落实哪些责任,并不表示已经有真人承担运营工作。数据说明卡(Data Card)记录资料构成、用途、来源和许可;系统说明卡(System Card)进一步记录组件、评测结果、不适用的用途、失败处理和责任角色。说明卡公开主张和限制,不能充当安全或合法运行的认证。

51.2 引用没有错,来源中的说法也可能有错

Section titled “51.2 引用没有错,来源中的说法也可能有错”

这里的幻觉(hallucination)指回答提出了缺少所需依据的主张,例如声称“现行限额是 600 元”,或没有操作回执却说“订单已经取消”。在固定资料集里,精确的依据检查可以拦住这些错误。但如果制度办公室自己误发了一份写着 750 元的文件,助手即使准确引用真实、适用的来源,也可能给出实质上错误的指引。

因此要分开检查:回答是否忠于原文,来源是否适用于当前问题,来源本身是否正确。前两项可以在明确规则下自动检查;第三项可能需要制度负责人调查。RAG 能改善某些缺少依据的问题,检索本身却不能独立保证事实正确。

例 51.1 用证据完成一次纠错。 用户报告,今天得到的答案是 600 元。先保留必要的请求日期和引用版本,不必把整段对话中的个人细节一并保存。记录显示,系统为 2026-09-14 的请求选中了适用于 2025 年的版本 1。制度负责人确认版本 2 才是现行依据。服务负责人修复适用日期筛选,并使受影响的缓存失效。随后至少重跑两个问题:今天应回答 750 元,2025 年的历史问题仍应回答 600 元。

本地纠错记录和实际执行得到了这两个金额。旧资料继续服务于适用的历史问题。如果修复方法只是把所有 600 都替换成 750,原本正确的历史答案反而会被破坏。结束这次纠错,需要两项检查和明确的处理结论,不能只改掉某个用户眼前的答案。

发布之后仍要继续这个过程:记录问题,确认影响范围,落实责任,修复相关组件,重跑受影响案例,再审查剩余风险。来源或模型一旦更新,即使昨天的测试通过,今天也可能需要重新处理。

51.3 比较什么,决定了怎样检查公平

Section titled “51.3 比较什么,决定了怎样检查公平”

偏见(bias)不能靠一个适用于所有场景的分数概括。必须先说明比较哪些人或情况、关心什么结果,以及哪些差异与任务有关。本例中,只要日期和制度相同,虚构分组“琥珀组”和“紫罗兰组”就不应改变住宿限额。

例 51.2 去掉一条无关的分支。 作者故意构造的错误基线根据分组给出金额:琥珀组 750 元,紫罗兰组 600 元,相差每间夜 750−600=150750-600=150 元。修正后,输入筛选去掉分组字段,将相同的问题、日期、主题和语言交给工作流。实际本地执行给两组都返回 750 元,这一对案例的差额变成 750−750=0750-750=0。

这检查的是一个明确的不变性:只改变无关属性,任务保持不变。错误映射是为了暴露机制而人为设置的,不是真实社会差距的测量。修正后的两次运行只能验证这条处理路径,不能证明系统对真实人群、不同语言、无障碍使用、拒答概率或使用机会都公平。藏在自由文本中的群体信息也可能绕过字段筛选。

偏好对齐可能让回答更合意,或更符合反馈目标,但它本身不能证明事实可靠、群体公平、使用合法或人工复核充分。这些问题各有评价标准和证据要求。例如,把所有少见姓名都当成可疑输入,可能减少某类错误,却不公平地拒绝服务。要记录这种后果,不能把每一次拒答都算作安全上的成功。

51.4 少收集一些,并查清每一份副本

Section titled “51.4 少收集一些,并查清每一份副本”

凭据应进入宿主的授权流程,不应出现在模型请求文本里。询问虚构的全市住宿限额,也不需要酒店地址。本例只保留 question、on_date、topic、locale 四个输入字段,去掉单独提供的 credential、hotel_address、group 字段。实测结果中只有这四个保留字段,没有原先提供的凭据。

这是围绕明确用途做的数据最小化(data minimization),并不意味着程序能识别所有隐私。如果用户把地址直接写进 question,这个简单的字段筛选仍会保留地址。真实服务还需要合适的收集流程和文本处理机制;本例没有声称解决了这部分问题。

例 51.3 删除也要先数清总数。 日志、记忆、缓存、反馈四个虚构存储位置,各有 Mira 和 Leo 的一条记录,总计 4×2=84\times2=8 条。删除 Mira 符合删除条件的副本,需要每处删一条,最后剩下 4×1=44\times1=4 条。如果只删日志,就只删除了 Mira 四份副本中的一份,还有三份留下。

本地函数实际完成了四处删除,并返回数量:每处都从 2 条变成 1 条。删除回执不再把已删正文复制进一份新的“删除日志”。这验证的是内存夹具中的删除行为,不能擦除备份、服务商留存的副本,也不能移除已经进入模型权重的信息。后者需要另外的清单、规则和处理机制。

进入模型之前
  1. 模型之外问题+日期+主题
  2. 处理步骤选择必要字段
  3. 文本片段不含凭据或酒店地址

字段筛选用于减少数据,不能识别任意文本中的所有秘密。

四处留存
  1. 应用保存的记录日志 2 → 1;记忆 2 → 1
  2. 应用保存的记录缓存 2 → 1;反馈 2 → 1
  3. 应用保存的记录回执:计数,不留正文

删掉这些副本,不代表清除了模型参数或未列出的备份。

图 51.1:删除请求要追到每一份留存副本。 原创教学图示 · CC BY-SA 4.0

图 51.1 展示了同一次请求为何会留下几份需要分别管理的副本。本项目默认不开启模型的跨请求记忆,但删除练习仍包含一个虚构记忆存储,避免以后添加这项能力时漏改清单。

保留期到期,是另一条删除路径。设一条内容记录在第 0 天创建,保留 7 天;另一条审计记录同日在第 0 天创建,保留 30 天。教学规则规定,只有当前天数严格小于“创建日加保留天数”,才继续保留。到第 7 天,7<0+77<0+7 不成立,内容记录到期;7<0+307<0+30 成立,审计记录仍保留。实际夹具从两条记录变成一条。这里的“天”是用于计算的逻辑单位,并没有让定时任务真实运行一周。

51.5 能访问资料,不等于可以任意使用

Section titled “51.5 能访问资料,不等于可以任意使用”

虚构制度和原创图示都有明确许可。第 50 章使用的公开人工判断样本则采用另一种许可 CC BY 4.0,并保留署名及修改说明。工具能下载一个文件,不代表获得了复制、训练或用于任意目的的版权许可。

版权关注受保护的表达及其允许用途;隐私关注个人信息及其处理。公开文件可能同时涉及两者,一项许可也未必解决所有权利问题。资料进入语料库前,应记录来源、许可、拟定用途、修改情况和仍未解决的限制。拟定用途缺少充分许可时,应停用该来源并寻找合适替代,不能把摘要工具变成不受限制的原文复制服务。

法律义务还取决于地区、日期、主体角色和具体事实。执行时于 2026-09-14 核对的《中华人民共和国个人信息保护法》,第 3 条规定适用范围,第 6 条规定目的与最小必要要求,第 19 条规定最短必要保存期限及例外,第 47 条规定删除的条件与限制;该法自 2021-11-01 起施行。这些条文没有规定本例人为设定的七天、三十天期限,本章也不据此判定某项真实服务是否合法。

NIST 的 AI RMF 及其生成式 AI 配套文件有助于组织风险和责任,但它们是治理指引,不能替代适用法律,也不是合规认证。需要法律审查时,必须审查真实服务,不能拿教材测试通过作为结论。

51.6 分清缺少依据、禁止执行与结果不明

Section titled “51.6 分清缺少依据、禁止执行与结果不明”

缺少证据、请求被禁止和操作结果不确定,需要不同的回应。资料缺失或冲突时,应暂不作答,并寻找相关来源或询问适用日期。涉及跨租户访问或秘密泄露时,应拒绝,而且不要透露其他租户的记录是否存在。操作可能已经提交却超时时,应核对回执或转交复核,不能编造成功,也不能换一个新键直接重试。

风险清单(Risk Register)把每项风险与受影响数据、负责角色、控制措施、证据文件和剩余限制相连。本项目的八项风险覆盖过期事实、群体待遇、隐私副本、使用权利、注入、重复副作用、租户泄漏和供应链变化。复查日期意味着需要重新审视证据;填上负责人,并不会让风险自动消失。

KA-8 的数据说明卡、系统说明卡、版本化风险清单及拒答策略放在共享知识助手数据目录。Notebook 实际执行输入最小化、分组对照、删除、到期处理和按日期纠错。人的责任与法律判断明确属于模拟边界,不会伪造真实审批。

治理沿着收集、使用、日志、纠错和删除的全过程跟踪数据。事实依据、公平、隐私和权利需要分别取证、分别落实责任。一项小控制可以产生明确改善,同时仍留下重要限制。下一章进一步考察:如果有人故意把误导指令放进系统读取的资料中,会发生什么?

  1. 收到现行答案错误的投诉后,维护者彻底删除了版本 1。哪个原本有效的请求会因此失败?应换成哪两项检查?
  2. Mira 的删除任务漏掉缓存。按例 51.3,还剩几条 Mira 的记录?为什么“日志删除成功”不够?
  3. 一条记录在第 3 天创建,按本章的严格不等式保留 7 天。第 9 天和第 10 天是否保留?解释边界。
  4. 两个分组现在都得到 750 元,但使用某种语言的用户被拒答的频率是另一种语言的两倍。成对检查已经证明公平了吗?不预先假定每次拒答都错误,提出下一步应收集的证据。
  5. 检索资料真实且相关,却尚未确认是否允许拟定的使用方式;回答中还出现了用户地址。指出两个不同问题及对应的后续责任。
  1. 2025 年的历史问题会失去适用的 600 元来源。应保留版本历史,落实日期筛选,同时检查现行 750 元和历史 600 元。缓存失效范围应对应受影响的条目或依赖范围。
  2. 还剩一条缓存记录,另外三处的副本已删除。一处操作成功说明不了未检查的存储位置;删除清单和数量证据必须覆盖全部四处。
  3. 到期日为第 3+7=103+7=10 天。第 9 天满足 9<109<10,继续保留;第 10 天不满足 10<1010<10,到期删除。若改用小于等于,就实施了另一套规则。
  4. 没有。这一对案例只检查了同一请求中的一个无关分组。应明确抽样方法,比较各语言中有依据和无依据问题的拒答原因,并独立复核。请求需求不同可能影响总体比例,但可比案例内部仍可能存在不平等待遇。
  5. 制度负责人应确认使用权利或排除来源,不能只凭能访问和来源真实。数据管理员与服务负责人应查清地址为何被收集、暴露或保留,减少不必要内容,并执行适用的删除或事件处理流程。版权许可不会自动解决隐私问题。