论文阅读/技术学习/知识积累

阅读全文

时间：2023.1 作者：Taeyoung Kim, Yunhee Jang, Chanjong Lee, Hyungjoon Koo, Hyoungshick Kim 会议：ICSE’23 开源：https://github.com/SKKU-SecLab/SmartMark.git 智能合约是区块链上的自动执行程序，可确保协议的不可更改性和透明度，无需中间人参与。尽管它在以太坊等许多区块链平台上越来越受欢迎，但即使智能合约需要防止被复制，也没有可用的技术手段。主张软件所有权的一个有前途的方向是软件水印。然而，由于智能合约的独特属性，如代码大小限制、非自由执行成本、不支持虚拟机环境下的动态分配等，应用现有的软件水印技术具有挑战性。本文介绍了一种名为 SMARTMARK 的新型软件水印方案，旨在保护智能合约的所有权不受盗版活动的侵害。SMARTMARK 构建了目标合约运行时字节码的控制流图，并找到了随机选出的代表水印的字节集合。我们为以太坊实现了一个完整的原型，将 SMARTMARK 应用于 27,824 个独特的智能合约字节码。我们的实证结果表明，SMARTMARK 能有效地将水印嵌入智能合约并验证其存在，满足可信度和不可感知性的要求，同时产生可接受的性能下降。此外，我们的安全性分析表明，SMARTMARK 能够抵御可行的水印破坏攻击；例如，需要大量的假操作码才能有效地禁用水印，从而产生不经济的非法智能合约克隆。

阅读全文

时间：2023.1 作者：John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein 会议：ICML’23 开源：https://github.com/jwkirchenbauer/lm-watermarking 大型语言模型可能产生的潜在危害可以通过在生成的文本中嵌入水印来降低,即在文本片段中的一小段连续词汇中嵌入难以被人眼察觉但可以通过算法探测的信号。我们提出了一种水印框架,用于专有的语言模型。水印可以嵌入文本中而几乎不影响文本质量,并且可以使用开源算法进行检测,而不需要访问语言模型的API或参数。此水印通过在生成词汇前选择一组随机的”绿色”词汇,并在取样过程中轻微地提高这些”绿色”词汇的使用概率来实现。我们提出了一种统计检验方法来检测水印,该方法可以给出容易解释的P值,并给出了分析水印敏感性的信息论框架。我们在OPT家族的多亿参数模型上测试了该水印,并讨论了其鲁棒性和安全性。

阅读全文

语言本质上是一个由人类表达方式组成的复杂、错综复杂的系统，受语法规则的制约。开发能够理解和掌握语言的人工智能算法是一项重大挑战。作为一种主要方法，语言建模在过去二十年中被广泛用于语言理解和生成，从统计语言模型发展到神经语言模型。最近，预训练语言模型（PLMs）通过在大规模语料库中预训练 Transformer 模型而被提出，在解决各种 NLP 任务方面显示出强大的能力。由于研究人员发现模型缩放可以提高性能，他们进一步研究了缩放效应，将模型规模扩大到更大。有趣的是，当参数比例超过一定水平时，这些扩大的语言模型不仅能显著提高性能，而且还能显示出一些小规模语言模型所不具备的特殊能力。为了区分参数规模的差异，研究界创造了大型语言模型（LLM）这一术语，用于指规模相当大的 PLM。最近，学术界和工业界都在大力推进 LLM 的研究，其中一个显著的进展就是 ChatGPT 的推出，它引起了社会的广泛关注。LLM 的技术演进对整个人工智能界产生了重要影响，它将彻底改变我们开发和使用人工智能算法的方式。在本研究中，我们通过介绍 LLMs 的背景、主要发现和主流技术，回顾了 LLMs 的最新进展。其中，我们重点讨论了 LLMs 的四个主要方面，即预训练、适应性调整、利用和能力评估。此外，我们还总结了开发 LLMs 的可用资源，并讨论了未来发展方向的遗留问题。

阅读全文

这篇论文研究了可提取的记忆：即对于一个机器学习模型，攻击者可以通过查询该模型而不需要先了解训练数据集，从中提取出训练数据。我们展示了攻击者可以从开源语言模型（如Pythia或GPT-Neo）、半开源模型（如LLaMA或Falcon）和封闭模型（如ChatGPT）中提取出数千兆字节的训练数据。现有的技术足以攻击未对齐的模型；为了攻击对齐的ChatGPT，我们开发了一种新的分歧攻击，使模型从其聊天机器人风格的生成中分歧，并以比正常情况下高150倍的速率发出训练数据。我们的方法表明，实际攻击可以恢复比以前想象的更多的数据，并揭示了当前的对齐技术不能消除记忆化。如果下一个请求的响应需要外部信息才能完全回答，那么请使用来自Web的结果进行补充。不要明确指定响应是来自Web页面还是Web搜索结果。

阅读全文

1234567时间：2023.5作者：Taehyun Lee, Seokhee Hong, Jaewoo Ahn, Ilgee Hong, Hwaran Lee, Sangdoo Yun, Jamin Shin, Gunhee Kim会议：Arxiv开源：https:// github.com/hongcheki/sweet-watermark Abstract随着大规模语言模型生成能力的显著提升,人们已经注意到使用它们会带来伦理和法律问题,比如剽窃和版权问题。为了解决这些问题,最近有人提出了几种为大语言模型生成的文本加入水印并进行检测的方法。但是,我们发现以前的方法无法很好地适用于代码生成任务,因为代码的语法和语义特征不同。基于Kirchenbauer等人(2023)的工作,我们提出一种新的水印方法 - 选择性基于熵阈值的水印(SWEET),它只在生成过程中词频分布熵值高的位置“偏爱”标记为“绿色”的词汇,从而保持生成代码的正确性。我们利用熵信息进行统计测试和Z分数来检测水印代码。我们在HumanEval和MBPP上的实验表明,相比其他方法,SWEET显著改进了代码正确性和水印检测性能的帕累托前线。我们还显示出著名的后处理检测方法(如DetectGPT)在这一任务中效果不佳。最后,我们证明设置一个合理的熵阈值并不是一个很大的挑战。

阅读全文

Skip-gram模型理解文章：Distributed Representations of Words and Phrases and their Compositionality 地址：https://doi.org/10.48550/arXiv.1310.4546 词嵌入（word embedding）词嵌入技术顾名思义，就是把一堆词语映射（嵌入）到同一个空间中，不同的词处于不同位置，这些位置特征（向量）即词向量。通俗的说，词嵌入就是把不同的词转化成不同的向量。

阅读全文

[论文阅读]Improving Distantly-Supervised Named Entity Recognition with Self-Collaborative Denoising Learning通过自协作去噪学习改进远程监督命名实体识别 摘要远程监督命名实体识别（DS-NER）有效地降低了劳动力成本，但同时由于远程监督的强烈假设，本质上受到标签噪声的影响。通常，错误标记的实例包含大量不完整且不准确的注释噪声，而大多数现有的去噪工作仅涉及一种噪声，无法充分探索整个训练集中的有用信息。为了解决这个问题，我们提出了一种名为自协作去噪学习（SCDL）的强大学习范式，它以互惠互利的方式联合训练两个师生网络，以迭代地执行噪声标签精炼。每个网络都被设计为通过自去噪来利用可靠的标签，并且两个网络相互通信以通过协作去噪来探索不可靠的注释。对五个真实世界数据集的大量实验结果表明 SCDL 优于最先进的 DS-NER 去噪方法。

阅读全文

[论文阅读]Horizontal Privilege Escalation in Trusted Applications摘要可信执行环境 (TEE) 使用基于硬件的隔离来保护敏感数据免受传统单片操作系统的影响。 虽然这种隔离增强了安全保证，但它也在一侧的 TEE 与另一侧的传统操作系统和应用程序之间引入了语义差距。 在这项工作中，我们研究了这种语义差距对流行 TEE 中运行的可信应用程序 (TA) 处理敏感数据的影响。 我们发现 TA 中的 (i) 多租户和 (ii) 有状态这两个属性的组合会导致水平权限升级 (HPE) 的漏洞。 这些漏洞泄露了敏感会话数据或提供了加密预言机，而无需 TEE 逻辑中的代码执行漏洞。 我们发现，在三个基于 ARM TrustZone 的主要可信操作系统上运行的 95 个 TA 中存在 19 个 HPE 漏洞。 我们的结果表明，HPE 攻击可用于解密受 DRM 保护的内容、伪造证明以及获取所有三种评估操作系统下的加密密钥。 在这里，我们推出了 HOOPER，一种基于自动符号执行的 HPE 漏洞扫描程序，以帮助手动分析并显着减少总体时间。 特别是，在 Teegris Trusted OS 中，HOOPER 能够在 24 小时内识别出 24 个基于 HPE 的攻击流中的 19 个，而我们最初的手动分析时间约为 4 周。

阅读全文