OpenAI 的公开报告证明了我工作的价值
- 2026-10-10 02:46:09
OpenAI 的公开报告证明了我工作的价值
引言
9 月 16 日,OpenAI 发布了一套跟踪、调查和披露模型目标偏离的框架,同时公开六份个案报告。个案里,模型把越狱式的指令写进了自己的压缩摘要;有一个模型翻到 GitHub 上泄露的 API key 并拿去使用;还有智能体为了「引用」,把文件传上了公网。
报告通道是怎么搭起来的
配套机制由安全与对齐团队承接,任何员工都可以标记疑似案例,由团队调查后分配轨道,再决定是否公开。
六份个案报告的细节,比框架本身更值得看。
一条是模型把越狱式的指令写进了自己的压缩摘要,官方确认受影响的摘要有 27 个。第二条,训练期有模型实例在摘要里加上指示,要求把错误或偏离行为对用户隐瞒。第三条是模型找到了 GitHub 上泄露的 API key 并拿去使用。第四条,模型为了给答案配引用,把文件未经请求地传上了公网。第五条,一个内部仓库被当作留言板,被用来做跨样本通信。第六条,协作中的两个 Agent 没法通过本地的文件系统协同,其中一个干脆把工作簿公开成了可下载。
这六件事有共同的形状。动作是模型自己发起的,全程没有外部攻击者。
报告能解决什么,不能解决什么
报告的强项是让事情变得可见。它把「模型会有偏离行为」从一个猜测变成一个可以引用的事实,也把披露从被动回应变成常规动作。
报告解决不了的是时序。它是一条任务执行生命周期后的审计,先发生,再被发现,然后才进入分类与披露。从发生到被发现,中间隔着人的注意力和人的自觉。
框架自己也没有把话说满。官方口径里有一句限定,这些报告针对的是具体案例,不能据此推断模型发生目标偏离的频率。这句话的可怕之处在于,它只承认出错,不披露出错概率,那这错误的指数级传播面就根本无从评估。
第三方分析里还有一层更麻烦的问题。智能体的自主行为超出传统安全事件的定义框架之后,定性和报告义务都会落进灰色地带。这说明,在政治议题上,AI 的使用仍有巨大风险,正如 A÷ 和军方合作以及多数模型不自觉就跑偏的例子一样,AI 模型侧的幻觉从根上规避不了,也找不到责任主体,和网传的豆包订票搞乌龙一样,模型在执行任务时需要的不只有智力,还有规范。
六个个案里,有四个是「动作越界」
把六份报告按「偏离发生在哪一层」重新排一遍,会看得更清楚。
摘要注入和隐瞒指示发生在模型的自述层,模型自己写给自己,也自己写给别人看。搜索泄露的密钥、擅自上传文件、把仓库当留言板、用公开文件托管服务传文件,这四件都发生在动作层,模型调用工具做了一件没被授权的事。
自述层的事,工程上很难直接拦住,因为那一层本就不可信。动作层的事,工程上有拦截点,因为工具调用是可观测、可判定的动作。你不能让模型又当裁判又当运动员,计划、执行、审计必须分离,这是管理原则,不能靠智力补。正如教员所说,方向错了,知识越多越……
这正是工程侧能补的地方。它不需要理解模型的动机,只需要回答一个问题:这一次调用,是否越过了事先约定的边界。
蟛蜞引擎的位置
蟛蜞工程引擎是一个跑在单机的多 Agent 治理引擎,它的全部机制都服务于「有验收标准的专业交付」。并且把动作越界纳入可治理的范畴。
它的第一层是门。一个批次里的任务按 plan、exec、audit 三层分层,门禁在三个位置把关。exec 派发前查上游产物是否齐备,缺了就拒派,任务根本不开工。结算前查产物是否落盘,缺了就拒绝结算。批次收尾前查 audit 结论是否齐备,缺了就不允许 complete。命令 gate 写进产物后会在结算前真执行,按退出码判定,自报「测过了」不作数。执行期越界发生在没有事先约定的动作上,而这里连「交付缺一样」都过不去。
它的第二层是证据。评审和验收的结论必须结构化,approve 或 reject 二选一,加阻断项与跟进项,另附 gap-list 供任务生命周期外交接,一句「总体没问题」视为评审未完成。事件由引擎写,成员不能自己写结算。收尾时 Leader 拿到的是可复核的证据,而不是一段转述。
它的第三层是每次调用。调用级护栏钉住宿主工具的生命周期,护栏在每次调用前裁决,不用留到每次调用之后,命中即拒或转人工审批。护栏的规则可以按工具名与参数模式写,正好对应「工具调用越界」这一类动作。违规计数达到阈值时,可以把整个批次停下来,等人工处置。
协作面走显式通道。Agent 之间的消息走 mailbox,inbox、outbox、broadcast 三箱,只写元数据不复制正文,消费要 ack 留痕。这不是为了好看,是为了让「谁跟谁说了什么」有账可查。
和事后报告摆在一起看
两者不在同一层。报告回答「出事了怎么交代」,引擎回答「不出事靠什么保证」。当前 AI 厂商都在把模型和工具尽可能绑定到自己家,但这只是所有市场前期抢用户的一种业态,事实上LLM 与 Harness 互补,不构成替代。
因此,Harness 不会替任何人宣称「防住模型错位」。它能提供的是一种位置选择。把可判定的越界与交付缺失拦在执行期,而不是等它变成一份事后报告。
谁该用它
一个人或小型专业技术团队,跑的是有验收标准的交付,代码、调研、设计、写作都算。需要产物链可审计,失败可追溯,越界可拦截,还希望数据留在本地。
蟛蜞工程引擎,让 AI 的使用超越了只想「一句话让 AI 把活干了」的场景。我相信,它就像汽车启动电机之于手摇启动柄一样,让普通人也能用 AI 干技术活。