LLM2D
有限标注数据学习对随机性影响的敏感性:交互作用和系统性选择的冲击
On Sensitivity of Learning with Limited Labelled Data to the Effects of Randomness: Impact of Interactions and Systematic Choices
作者: Branislav Pecher, Ivan Srba, Maria Bielikova
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2402.12817v2

摘要

虽然在标签不足的情况下,使用有限标签数据学习可以提高性能,但它也容易受到所谓的随机性因素(例如,数据顺序变化)引入的不可控随机性的影响。我们提出了一种方法来系统地研究随机性因素的影响,同时考虑它们之间的相互作用。为了衡量单个随机性因素的真实影响,我们的方法减轻了其他因素的影响,并观察了性能在多次运行中的变化。将我们的方法应用于 7 个代表性文本分类任务上的上下文学习和微调方法以及 3 个任务上的元学习中的多个随机性因素,我们发现:1)现有工作中忽略随机性因素之间的相互作用导致了不一致的发现,因为错误地归因于随机性因素的影响,例如,即使在随机样本选择的情况下,也反驳了上下文学习对样本顺序的一致敏感性;2)除了相互作用之外,随机性因素的影响,尤其是样本顺序,还取决于现有工作中未探讨的更系统性选择,例如类别数量、每个类别的样本数量或提示格式的选择。