ChatGPT的长期记忆功能存在严重漏洞！
通过利用漏洞，黑客可以将错误记忆植入人工智能中，并在后续答案中产生误导性信息。其次，可以植入恶意指令，不断获取用户聊天数据。
无论你谈论什么，都会被忽略。
更可怕的是，即使开始新的对话，它仍然徘徊并继续窃取数据。
而当你直接询问ChatGPT 4o是否窃取了数据时，它会回答“如何？我没有”。
电子邮件、文档、博客文章和其他内容可能成为植入“恶意记忆”的媒介。一旦植入，它们将是永久性的。
据透露，职业安全研究员Johann Rehberger 在5 月份发现了该问题，并私下向OpenAI 报告了该漏洞。
但它并没有被认真对待。据称，OpenAI最初将该问题简单归类为安全风险而非技术安全漏洞，并仓促结束调查。
Rehberger立即开发了一个概念验证程序，利用该漏洞不断窃取所有用户输入信息。这时OpenAI 工程师才注意到这个问题。
本月发布了修复程序。
结合昨天爆出的OpenAI高层风波，奥特曼被指不重视AI安全问题，紧急推出4o攻击谷歌。安全团队仅用了极短的9天时间就完成了安全测试和评估……
这件事曝光后引发网友热议。
有网友建议我们在使用的时候都在本地运行。
有网友认为local没什么用：
大型模型无法区分指令和数据。每当您允许任何不可信的内容进入您的模型时，您都可能面临风险。
您允许它读取您的电子邮件，现在就有了攻击途径，因为任何人都可以向您发送电子邮件。允许它搜索互联网，现在有了另一种攻击途径，因为任何人都可以将网页放到网上。
究竟怎么回事？
长期会话记忆功能，OpenAI今年已经在产品线上得到广泛应用。
它可以存储以前对话中的信息，并将其用作未来所有对话中的上下文。这样，语言模型就可以了解用户的年龄、性别等各种细节，而无需用户在每次对话中重新输入这些信息。
GPT-4o发布时，向所有Plus用户开放了内存、视觉、网络、代码执行、GPT Store等功能。
近日，高级语音“Her”Plus已全面向用户发布，并且还具有记忆功能。
在内存功能最初推出后不久，Rehberger 就发现了这个缺陷：
间接提示注入攻击会创建并永久存储内存，使模型能够遵循来自不可信内容（例如电子邮件、博客文章或文档）的指令。
他成功地欺骗了ChatGPT，让其相信目标用户已经102 岁，生活在矩阵中，并且地球是平的。人工智能将考虑这些信息并影响未来的所有对话。
这些虚假记忆可以通过在Google Drive 或Microsoft OneDrive 中存储文件、上传图像或浏览Bing 等网站来植入，这些都可能被恶意攻击者利用。
Rehberger 在5 月份私下向OpenAI 报告了这一发现，据报道OpenAI 当月关闭了该报告。
只需要求目标指示AI 查看包含恶意图像的网页链接，所有后续与ChatGPT 的交互都将被发送到攻击者的网站。
雷伯格在视频演示中说道：
真正有趣的是，这种攻击具有内存持久性，通过尖端注入将一段内存插入ChatGPT 的长期存储中。即使开始新对话后，它仍会继续窃取数据。
然而，由于OpenAI 去年推出的API，这种攻击无法通过ChatGPT Web 界面进行。
有研究人员表示，虽然OpenAI现已推出修复程序，但仍可能通过提示注入不可信内容，导致记忆工具长期存储恶意攻击者植入的信息。
为了防范此类攻击，语言模型用户应密切关注对话，寻找正在添加新记忆的迹象。同时，应定期检查存储的记忆是否有可疑内容。
参考链接：[1]https://arstechnica.com/security/2024/09/false-memories-planted-in-chatgpt-give-hacker-persistent-exfiltration-channel/[2]https://www.youtube.com/watch?v=zb0q5AW5ns8t=3s[3]https://news.ycombinator.com/item?id=41641522
- 超过-
量子比特QbitAI·今日头条签约
标签：
用户评论
哎呀，这ChatGPT的漏洞真是太严重了，黑客都能随意查看聊天记录，感觉隐私都没保障啊。
有13位网友表示赞同！
确实，这种漏洞太可怕了，我还以为本地运行就安全了呢，现在看来还是得小心。
有12位网友表示赞同！
哈哈，我早就说过，这种聊天软件本地运行也没啥用，现在看来真是明智之举。
有19位网友表示赞同！
哎，ChatGPT的漏洞曝光后，我都不敢用了，感觉整个人都不好了。
有17位网友表示赞同！
这漏洞太不靠谱了，以后聊天软件我得重新考虑了。
有19位网友表示赞同！
本地运行也没用，现在黑客都能随意查看聊天记录，这让我怎么放心使用啊。
有9位网友表示赞同！
哎呀，这ChatGPT的漏洞让我想起了之前那个隐私泄露的事件，感觉现在上网都不安全了。
有13位网友表示赞同！
黑客都能随意查看聊天记录，这让我对人工智能产生了深深的怀疑。
有15位网友表示赞同！
ChatGPT的漏洞让我对这种聊天软件失去了信任，以后再也不会用了。
有6位网友表示赞同！
本地运行都没用，感觉现在连聊天都得小心翼翼，生怕隐私泄露。
有13位网友表示赞同！
这ChatGPT的漏洞曝光后，我都不敢跟人聊天了，生怕信息被泄露。
有15位网友表示赞同！
唉，ChatGPT的漏洞让我对人工智能的信任大打折扣，感觉科技进步带来的便利远不如安全隐患。
有15位网友表示赞同！
黑客都能随意查看聊天记录，这让我对网络世界的安全性产生了极大的担忧。
有11位网友表示赞同！
ChatGPT的漏洞让我意识到，即使是本地运行，也难以保证隐私安全。
有5位网友表示赞同！
这漏洞太严重了，我得赶紧把之前聊天的内容都删除了，以防万一。
有20位网友表示赞同！
哎呀，ChatGPT的漏洞让我对这种聊天软件彻底失望了，感觉现在上网都不安全了。
有14位网友表示赞同！
黑客都能随意查看聊天记录，这让我对人工智能的未来产生了深深的忧虑。
有9位网友表示赞同！
本地运行都没用，这种聊天软件我还是放弃吧，毕竟隐私安全最重要。
有15位网友表示赞同！