arXiv:2504.18827v2 公告类型: 替换-交叉 摘要：上下文自适应学习（ICL）已经成为大规模语言模型（LLMs）的强大能力，使它们能够在不进行显式微调的情况下，基于提供的少量示例执行新任务。尽管这些模型具有出色的适应性，但在面对语言变体时，它们仍然容易受到微妙的对抗性扰动的影响，并表现出不可预测的行为。借鉴软件测试的原则，我们引入了一种基于软件测试框架的方法，名为MMT4NL，用于通过利用对抗性扰动和软件测试技术来评估上下文自适应学习的可信度。该框架包括各种语言能力的测试方面，以测试LLMs的ICL能力。MMT4NL围绕构建变换对抗性示例的概念进行了构建，以便量化并定位所设计的ICL提示中的错误。我们的哲学是将任何LLM视为软件，并像测试软件一样验证其功能。最后，我们在情感分析和问答任务中演示了MMT4NL的应用。我们的实验可以揭示最先进的语言模型中的各种语言错误。