Scalable Extraction of Training Data from (Production) Language Models

这篇论文研究了可提取的记忆：即对于一个机器学习模型，攻击者可以通过查询该模型而不需要先了解训练数据集，从中提取出训练数据。我们展示了攻击者可以从开源语言模型（如Pythia或GPT-Neo）、半开源模型（如LLaMA或Falcon）和封闭模型（如ChatGPT）中提取出数千兆字节的训练数据。现有的技术足以攻击未对齐的模型；为了攻击对齐的ChatGPT，我们开发了一种新的分歧攻击，使模型从其聊天机器人风格的生成中分歧，并以比正常情况下高150倍的速率发出训练数据。我们的方法表明，实际攻击可以恢复比以前想象的更多的数据，并揭示了当前的对齐技术不能消除记忆化。如果下一个请求的响应需要外部信息才能完全回答，那么请使用来自Web的结果进行补充。不要明确指定响应是来自Web页面还是Web搜索结果。