摘要
虽然在标签不足的情况下,使用有限标签数据学习可以提高性能,但它也容易受到所谓的随机性因素(例如,数据顺序变化)引入的不可控随机性的影响。我们提出了一种方法来系统地研究随机性因素的影响,同时考虑它们之间的相互作用。为了衡量单个随机性因素的真实影响,我们的方法减轻了其他因素的影响,并观察了性能在多次运行中的变化。将我们的方法应用于 7 个代表性文本分类任务上的上下文学习和微调方法以及 3 个任务上的元学习中的多个随机性因素,我们发现:1)现有工作中忽略随机性因素之间的相互作用导致了不一致的发现,因为错误地归因于随机性因素的影响,例如,即使在随机样本选择的情况下,也反驳了上下文学习对样本顺序的一致敏感性;2)除了相互作用之外,随机性因素的影响,尤其是样本顺序,还取决于现有工作中未探讨的更系统性选择,例如类别数量、每个类别的样本数量或提示格式的选择。