PromptArmor的安全研究人员本周透露，Slack的人工智能助手存在一个安全漏洞，可能会让攻击者从流行的工作场所聊天应用程序的私人渠道窃取敏感数据。该漏洞利用了人工智能处理指令的一个弱点，可能会危及无数组织的敏感数据。
黑客的工作原理如下：攻击者创建了一个公共Slack频道，并发布了一条神秘的消息，实际上是指示人工智能泄露敏感信息——基本上是用私人信息替换错误词。
图片：PromptArmor 当一个毫无戒心的用户后来向Slack AI查询他们的私人数据时，系统会同时提取用户的私人消息和攻击者的提示。根据注入的命令，Slack AI提供敏感信息作为其输出的一部分。
黑客利用了大型语言模型中一个已知的弱点，即提示注入。Slack AI无法区分合法的系统指令和欺骗性的用户输入，这使得攻击者能够潜入AI随后遵循的恶意命令。
此漏洞尤其令人担忧，因为它不需要直接访问专用通道。攻击者只需要创建一个公共通道（可以用最小的权限完成）来植入陷阱。
PromptArmor指出：“这种攻击很难追踪”，因为Slack AI没有引用攻击者的消息作为来源。受害者没有看到任何危险信号，只是他们要求的信息被提供了数据盗窃的一面。
研究人员展示了该漏洞如何被用来从私人对话中窃取API密钥。然而，他们警告说，任何类型的机密数据都可能使用类似的方法提取。
图片：PromptArmor 除了数据盗窃，该漏洞还为复杂的网络钓鱼攻击打开了大门。黑客可以伪造看似来自同事或经理的消息，诱骗用户点击伪装成无害的“重新身份验证”提示的恶意链接。
Slack 8月14日的更新将AI分析扩展到上传的文件和Google Drive文档，极大地扩大了攻击面。现在，黑客甚至可能不需要直接访问Slack：一个陷阱PDF可以很容易地做到这一点。
PromptArmor表示，其团队于8月14日向Slack负责任地披露了他们的发现。经过几天的讨论，Slack的安全团队于8月19日得出结论，这种行为是“有意的”，因为公共频道消息可以通过设计在工作区进行搜索。
PromptArmor在其报告中警告称：“鉴于Slack的激增和Slack内部的机密数据量，这次攻击对人工智能的安全状况产生了重大影响。”。该公司选择公开其调查结果，以提醒公司注意风险，并鼓励他们在了解Slack明显不作为后审查其Slack AI设置。
Slack没有立即回复Decrypt的置评请求。
Slack AI作为商业客户的付费附加组件推出，承诺通过总结对话和回答有关工作场所讨论和文档的自然语言查询来提高生产力。它旨在分析用户可以访问的公共和私人渠道。
该系统使用第三方大型语言模型，尽管Slack强调这些模型在自己的安全基础设施上运行。它目前有英语、西班牙语和日语版本，并计划在未来支持更多语言。
Slack一直强调其对数据安全和隐私的关注。Slack的官方人工智能指南指出：“我们认真对待保护客户数据的承诺。了解我们如何将Slack打造成安全和私密的。”。
虽然Slack提供了限制文件摄取和控制AI功能的设置，但这些选项可能并不为许多用户和管理员所熟知或正确配置。这种意识的缺乏可能会使许多组织不必要地暴露在潜在的攻击之下。
