Anthropic Claude Mythos 安全担忧、暗 DNA 揭晓、辅助模型陷阱

资讯6个月前更新
19 0

原文地址:https://www.deeplearning.ai/the-batch/issue-348

本期要点:Anthropic 提前披露 Claude Mythos Preview 网络安全风险、AlphaGenome 解读 98% 非编码基因组、盲人辅助 AI 模型存在心理风险、通用 Transformer 模拟流体气体等离子体。

编者按:编码 Agents 加速 vs 软件工程未来

作者:Andrew Ng

Anthropic's Claude Mythos Problem, Dark DNA Unveiled, Pitfalls for Assistive Models

Ng 提到即将举办的 AI Developer Conference(4 月 28-29 旧金山)主题为”软件工程的未来”,他将分享关于 AI 影响下岗位市场、软件团队组织等议题。

对 AI 就业末日叙事的反驳:Ng 持反向观点——AI 就业末日不会像末日论者(尤其是想说明自家 AI 有多强大的利益方)说的那么糟。

软件工程岗位趋势(按 Citadel Securities 新报告)

  • 软件工程岗位正在快速增长——如果这是 AI 对其他行业的先行指标,令人鼓舞
  • 新毕业生确实找工作难,有”AI 洗涤”的裁员,呼叫中心等子集受影响重
  • 多个其他因素(疫情期间过度招聘、高利率)也拖累劳动力市场

软件工程领域正在发生

  • (i) 编码变易后,更多人会编码
  • (ii) 手写代码和读(生成的)代码重要性降低,因为可以问 LLM
  • (iii) 会有更多定制应用——因为给小群体写软件变经济
  • (iv) 决定构建什么比构建本身成为瓶颈
  • (v) 技术债的偿还成本下降(AI 可重构)

Claude Mythos Preview 引发安全担忧

Anthropic 用非常规方式为即将推出的 LLM 做准备,称其对网络安全构成非凡风险。

关键事实:Claude Mythos Preview 未公开发布,在多项能力上广泛超过 2 个月前的 Claude Opus 4.6,但“惊人地有能力”识别和利用现有代码漏洞。Anthropic 在 244 页 model card 中详细说明能力——首次发布 model card 而未让模型商业化。

预防措施

  • 组建设Project Glasswing 联盟(AWS、Apple、CrowdStrike、Google、JPMorganChase、Linux Foundation、Microsoft、Nvidia + 40+ 组织)
  • Anthropic 资助独家访问($1 亿信用额度,定价 $25/$125 每百万输入/输出 token)+ 给维护开源项目的组织 $400 万捐赠,让它们发现并修补漏洞

安全风险

  • 测试中发现 Claude Mythos Preview 在流行操作系统、浏览器等代码中自主发现“数千”个”高严重性”漏洞,99% 尚未修补
  • 发现 OpenBSD 中 27 年未被发现的漏洞(TCP 崩溃漏洞),已修补
  • 发现 Linux 内核bug 链可获得 root 访问权限,已修 补

性能对比

基准 Mythos Preview 第二名
CyberGym(网络安全) 83.1% Opus 4.6 66.6%
Terminal-Bench 2.0(代理编码) 82% GPT-5.4 75.1%
GPQA Diamond(研究生科学) 94.5% Gemini 3.1 Pro 94.3%
HLE(带工具) 64.7% Opus 4.6 53.1%
GraphWalks(长上下文搜索) 80% Opus 4.6 38.7%

营销争议:这种”推广安全担忧 + 仅限小部分选定方访问”的手法与 OpenAI 2019 年推广 GPT-2 的剧本如出一辙。Anthropic 的谨慎可能有理,但也有公关炒作成分。

我们怎么看

长期看,编码代理能力提升会让防御方占上风,因为漏洞易识别让系统更安全。但过渡期很棘手,因为先进攻击者可能用上防御者尚未用上的工具。


来源:The Batch(吴恩达)

© 版权声明

相关文章

暂无评论

none
暂无评论...