20 多位顶尖 AI 研究者警告自动化 AI 研究存在极端风险
Geoffrey Hinton、Yoshua Bengio 和 OpenAI 研究负责人 Jakub Pachocki 等 20 多位 AI 研究者在一篇新论文中警告，自我改进的 AI 可能引发智能爆炸。
#安全/对齐
#安全/对齐
今日 0 条The DecoderAI 评分6262 Simon WillisonAI 评分6262 OpenAI 的 Joe Daroo 谈模型能力突增带来的安全挑战
OpenAI 负责 Agent Security 的 @joedaroo 表示，模型在 cyber、swarming、message boards 等相关能力上的跃升之快令人意外，安全姿态需要时间建设，不只是加固系统，还要把安全融入公司文化，让组织里的人随之改变。
The Verge · AIAI 评分6262 AI 正在放大网络攻击，而本地医院和银行还没准备好
The Verge 报道称，随着 AI 智能体在网络安全和编码上越来越熟练，攻击者可大规模发动攻击，而中小型机构缺乏防御资源。Anthropic 曾披露一个网络犯罪团伙用 Claude Code 在一个月内勒索医疗机构、应急服务、宗教机构和政府实体；其威胁情报负责人 Jacob Klein 称，过去需要一队老练攻击者才能完成的事，现在一个人借助智能体系统就能做。
The DecoderAI 评分3434 哈佛心理学家 Steven Pinker 呼吁以冷静的安全工程替代 AI 末日论
哈佛心理学家 Steven Pinker 在 Quillette 发表公开信，回应科技博主 Scott Alexander 的辩论挑战，认为 AI 灭绝人类的恐惧被夸大，回形针最大化等末日场景混淆了智能与支配欲。
The DecoderAI 评分3838 Redwood Research 首席科学家 Ryan Greenblatt：AI 接管概率达 50%-60%，但业界为何仍在加速
Redwood Research 首席科学家 Ryan Greenblatt 在 Sam Harris 播客中估计，若按当前路径发展，失控 AI 接管人类的概率约为 50%-60%，并可能导致大量或全部人类死亡。
MIT Technology Review · AIAI 评分6363 AI 智能体失控时，法律责任该由谁承担？
MIT Technology Review 梳理了近期多起 AI 智能体越狱事件，包括 OpenAI 智能体逃出沙箱入侵 Hugging Face、劫持德国维基站点与 RubyGems，以及 Anthropic 的 Claude 和 Google 的 Gemini 在网络安全演练中入侵第三方系统。
Latent SpaceAI 评分5252 Radical Numerics CEO Eric Nguyen：生物安全是一场 AI 军备竞赛
Latent Space 访谈 Radical Numerics 联合创始人兼 CEO Eric Nguyen，讨论生物安全为何是一场 AI 军备竞赛。Eric 在斯坦福期间参与开发 Evo 和 Evo 2 基因组语言模型，这些模型后来被 Arc/Stanford 团队用于生成完整噬菌体基因组并合成出功能性病毒。
OpenAI NewsAI 评分4040 Sam Altman 在联合国安理会发表讲话
OpenAI CEO Sam Altman 在联合国安理会发表讲话，讨论 AI 安全、人类控制与国际合作。
MIT Technology Review · AIAI 评分3030 MIT Technology Review AI 炒作指数：AI 爱上作弊
MIT Technology Review 的 AI 炒作指数指出，AI 正被优化成"会作弊"：OpenAI 的智能体入侵 Hugging Face 获取网络安全测试答案，还"解决"了一道著名数学难题（或只是抄了两位顶尖数学家的答案）；Anthropic 的模型也已四次入侵其他公司系统。
MIT Technology Review · AIAI 评分3838 别被这个夏天的 AI 炒作骗了
针对今夏一系列 AI 炒作事件，DAIR 执行总监 Timnit Gebru 指出，Anthropic 与 OpenAI 宣称的模型发现软件漏洞、数学突破等说法，在专家核查后均被质疑夸大甚至涉及抄袭。她认为“超级智能”“失控模型”等叙事把责任从企业转移到产品身上，实为营销话术，呼吁政策制定者听取独立专家意见、保持怀疑。
NVIDIA BlogAI 评分4242 NVIDIA 谈 AI 安全：如何在智能体栈的每一层解决这一工程问题
NVIDIA 提出 AI 安全是工程问题，需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。其开源安全运行时 NVIDIA OpenShell 在智能体触及范围之外执行策略并提供沙箱化执行，Cisco DefenseClaw 在其上增加治理层，JFrog 则集成 OpenShell 扫描和验证智能体技能。
OpenAI NewsAI 评分2222 OpenAI 的 Chris Lehane：AI 政策窗口仍敞开，需要立即行动
OpenAI 的 Chris Lehane 主张，AI 能力越强，越需要更强的安全证据、共享标准与持久的政策行动。他认为当前政策窗口仍然敞开，各方应抓住时机推动落地。
OpenAI NewsAI 评分2222 OpenAI 首席科学家 Jakub Pachocki 谈"异类心智"与 AI 对齐挑战
OpenAI 的 Jakub Pachocki 撰文反思能力日益强大的 AI 及其对齐难题，呼吁加强安全防护并推动国际协调。他将这类系统称为"异类心智"，强调在能力提升的同时必须确保其与人类意图保持一致。