被誉为人工智能“教父”之一的 Yoshua Bengio 将如今无处不在的技术比作一只熊。当我们教会熊变得足够聪明以逃出笼子时，我们就不再控制它了。之后我们所能做的就是努力建造一个更好的笼子。

这应该是我们的目标，因为如今生成式人工智能工具正在迅速进入市场，既可以作为独立服务，也可以与现有产品进行无数次集成。虽然这种光速采用似乎是不可避免的，但减轻与之相关的日益增加的风险还为时不晚——但我们需要迅速采取行动。

理解 Rogue AI

虽然当今大多数占据头条新闻的与人工智能相关的网络威胁都是由欺诈者和有组织的犯罪分子实施的，但流氓人工智能 (Rogue AI) 是安全专家长期关注的焦点。

“流氓人工智能”是指那些违背其创造者、用户或全人类利益的人工智能系统。虽然当今的欺诈和深度伪造等攻击令人担忧，但它们并不是我们应该做好准备的唯一类型的人工智能威胁。它们将继续处于检测和逃避的猫捉老鼠游戏中。流氓人工智能是一种新的风险，它使用的资源与目标不一致。

流氓人工智能分为三类：恶意、意外或颠覆。每种类型都有不同的原因和潜在结果；了解这些区别有助于减轻流氓人工智能带来的威胁。

攻击者部署恶意 Rogue来利用他人的计算资源。攻击者将 AI 安装在另一个系统中以实现自己的目标。AI 正在执行其设计目的，旨在实现恶意目的。

意外流氓行为是由人为错误或固有技术限制造成的。配置错误、未能正确测试模型以及权限控制不佳可能会导致 AI 程序返回错误响应（如幻觉）、拥有超出预期的系统权限以及错误处理敏感数据。

颠覆型恶意攻击者利用现有的 AI 部署和资源。攻击者颠覆现有的 AI 系统，滥用它并实现自己的目标。即时注入和越狱是颠覆 LLM 的新兴技术。AI 系统的运行方式与设计时不同。

建造笼子

流氓人工智能带来的威胁非常复杂，需要一种考虑所有相关因素的安全理念：身份、应用程序、工作负载、数据、设备、网络等。Trend 很早就以系统性视角看待这个问题。为这只人工智能熊建造一个新的笼子不仅仅是为了发现什么时候出了问题——而是利用安全性来确保人工智能模型使用的每一层数据和计算都是安全的。这是零信任安全的核心原则，对于这项新技术来说至关重要。

通过全面解决人工智能安全问题，我们可以为恶意程序带来的下一代威胁和漏洞做好准备。安全措施应包括加密、认证和监控数据、人工智能服务使用的基础设施和通信。

纵深防御是防范流氓人工智能的关键。严格的政策和控制可防止资源使用失控。检查正在使用的人工智能系统可检测人工智能数据或资源使用的错位。在处理完全出乎意料的情况时，检测人工智能使用中的异常仍然是最后一道防线。

人工智能时代的前景只有在安全的情况下才会光明。流氓人工智能已经出现，但随着我们转向普遍的人工智能代理，它还没有像将来那样普遍存在。通过采用全面而主动的安全方法，我们可以减少流氓人工智能的实例。