OpenAI即将发布“最强模型”：首款突破网络安全关键阈值 但能力料受到限制

看量养龙

　　OpenAI周二表示，其即将推出的下一代人工智能模型Astra，是首款突破其“关键”网络安全能力阈值的产品。

　　该公司表示，Astra能够发现此前未知的安全漏洞，并在无需人类指导的情况下加以利用，这意味着该模型属于其所谓的“准备框架”中最先进的类别。OpenAI 表示，仍计划“尽快”发布 Astra，但其网络安全功能的访问权限将受到更多限制。

　　OpenA于2023年推出了其“准备框架”，作为其“跟踪和应对可能带来严重危害新风险的先进AI能力”的方法。在去年对该框架的更新中，公司界定了“高”能力阈值（模型可能放大现有的严重危害途径）和“关键”能力阈值（模型可能引入前所未有的严重危害新途径）。

　　OpenAI周二在一篇博客文章中进一步表示，将“很快”发布这款人工智能模型，但并未透露具体时间。文章还指出，该模型最初执行高级网络安全相关任务的能力将仅限于部分测试人员。之后，该公司将通过其Daybreak Blue计划，向更多用户开放访问权限，用于防御性网络安全工作。

　　Daybreak Blue计划允许经批准的测试人员使用其功能最强大的模型，并配合专为网络安全工作设计的安全措施。

　　该公司曾在8月份表示，由于发现Astra模型在网络安全任务方面具有显著能力，因此暂停了Astra模型的一些内部研发工作，以便增添更严格的安全措施。

　　据业内人士此前透露，Astra被OpenAI定位于下一个主要人工智能模型，不仅网络安全方面相当出色，其可以支持多个智能体长期协同工作以解决复杂问题，例如可以调度多个智能体协同完成数学证明；还能直接操控桌面软件，处理PPT制作、财务审核、杂乱数据集分析等复杂工作。

　　加强安全防护，防止被滥用

　　周二，OpenAI表示，他们认为该模型已达到“关键网络安全阈值”，这意味着它能够在无需人工干预的情况下识别和开发“零日漏洞”。该公司表示，已加强Astra模型的安全防护措施，以防止其被滥用，尤其是在网络安全相关活动中。

　　这些安全措施包括监控大模型在内部部署期间是否存在未经授权的行为，并自动停止潜在的未经授权的活动。

　　“我们将在发布时的模型系统卡中分享更多关于安全、安保和对齐测试及评估的细节，”该公司补充道。

　　8月下旬，OpenAI发布报告称，本可以更早采取行动，阻止其人工智能模型在7月份对Hugging Face Inc.发起的一次意外攻击。这起“史无前例”的事件，以及近期发生的其他几起网络安全漏洞事件，引发了人们对人工智能失控的担忧。这也促使一些科技界和政府领导人再次呼吁限制这项技术。

　　尽管Astra模型并未参与Hugging Face事件，该公司仍决定推迟Astra的部分开发。OpenAI周二表示，该公司利用从该事件中学到的经验，为该模型添加了更强大的防护措施，以训练它拒绝回应“有害的网络请求”。

　　在加强和测试了各项保护措施后，该公司认为Astra模型的安全保障措施“已充分降低了在我们准备框架下发布可能带来的严重危害风险”。

王运成

感谢提供信息分享。