arXiv:2503.22764v1 宣告类型: cross
摘要：在主流的大语言模型（LLM）微调协议中，模型通常保持完整。没有研究工作质疑保持模型完整是否对性能是必不可少的。在本文中，我们引入了一种全新的LMM微调范式——Mask Fine-Tuning（MFT），以展示适当破坏模型完整性可以意外地导致性能提升。具体而言，MFT通过典型的LMM微调目标学习一组二进制掩码。广泛的实验表明，MFT在各种领域和骨干（例如，用LLaMA2-7B/3.1-8B进行编程时，平均获得1.95%/1.88%的性能提升）。提供了详细的程序，从不同的超参数角度研究提出的MFT，以获得更好的洞察。特别地，MFT自然地更新了当前的LMM训练协议，通过将其部署在一个完全训练好的模型上。这项研究将掩码学习的功能从其传统的网络剪枝上下文中的模型压缩扩展到了更广泛的范围。
arXiv:2503.22762v1 宣布类型: cross
摘要：随着联邦学习（FL）在金融、招聘和医疗保健等领域的新兴应用，FL模型被监管以确保公平性，防止与种族或性别等法律保护属性相关的差异。FL中的公平性有两种重要概念：全局公平性和局部公平性。全局公平性针对整个人口的差异，而局部公平性关注每个客户端内的差异。先前的公平FL框架只在全局或局部公平性中做出了改进，而没有同时考虑两者。此外，虽然大多数关于公平FL的研究集中在二分类设置上，但许多实际应用是多分类问题。本文提出了一种框架，该框架探讨了在多分类FL设置中实现指定水平的全局和局部公平性时所损失的最小准确性。我们的框架导致了一种简单的后处理算法，该算法从贝叶斯最优评分函数中得出公平的结果预测器。实验结果表明，相比于当前最先进的技术（SOTA），我们的算法在准确性和公平性的权衡、计算和通信成本方面表现出更优的效果。代码可在以下链接获取：https://github.com/papersubmission678/The-cost-of-local-and-global-fairness-in-FL 。
arXiv:2503.22759v1 交叉公告类型: cross
摘要：深度学习已经成为现代人工智能的基石，使其能够在众多领域实现革命性的应用。作为深度学习的核心要素，训练数据的质量和安全性对模型的性能和可靠性至关重要。然而，在训练过程中，深度学习模型面临着数据中毒的重大威胁，即攻击者通过引入恶意篡改的数据来降低模型准确性或导致异常行为。虽然现有的综述提供了有关数据中毒的宝贵见解，但它们通常从广泛的视角出发，既涵盖了攻击也涵盖了防御，但在深度学习中的数据中毒攻击方面缺乏专门的深入分析。在这篇文章综述中，我们通过呈现深度学习中数据中毒的全面且针对性的回顾来填补这一空白。首先，这篇综述从多个角度对数据中毒攻击进行分类，深入分析了它们的特征和潜在的设计原理。其次，讨论扩展到大数据量语言模型（LLMs）中的数据中毒新兴领域。最后，我们探讨了该领域的关键开放挑战，并提出潜在的研究方向以进一步推动该领域的发展。为了支持进一步的研究探索，有关深度学习中数据中毒的最新资源库可在https://github.com/Pinlong-Zhao/Data-Poisoning 提供。
arXiv:2503.22756v1 宣告类型: cross
摘要：现代社会的快速数字化对我们的生活产生了深远影响，包括医疗、通信、商务和教育等领域。掌握新技术并与新科技互动、解决问题的能力变得至关重要，从而使得模式识别、分解和算法设计等CT技能成为了必不可少的能力。为此，瑞士正在进行研究和项目，以将这些CT技能融入其教育体系。本研究旨在开发一个全面的框架，用于大规模评估这些CT技能，特别是关注设计算法的能力（AT）。为实现这一目标，我们首先开发了一个技能模型，捕捉CT的地方性和发展阶段，指导设计针对认知能力、年龄和具体情境定制的活动。该框架阐明了活动特征如何影响CT的发展，以及如何评估这些技能。此外，我们还开发了一个大规模评估AT技能的活动，提供了两种变体：一种基于非数字化制品（不连接数字设备）并采用手动专家评估，另一种基于数字化制品（虚拟）并采用自动化评估。为了对学生的能力进行更全面的评估，我们开发了一个基于有噪声门的贝叶斯网络（BN）的信息技能评估（IAS），提供每个技能的实时概率性评估，而不是单一的整体评分。结果表明，所提出的工具能够测量瑞士不同年龄段和教育背景下学生的AT技能，证明了其在大规模应用中的适用性。AT技能表现出进步的发展模式，在总体性别差异方面没有显著差异，但在学校层面存在显著差异，这些差异受到基于制品的环境及其背景的显著影响，强调了创造可访问和灵活的评估工具的重要性。
arXiv:2503.22755v1 类型: cross
摘要：网络安全要求严格的可扩展技术以确保系统正确性、鲁棒性和对不断变化的威胁的韧性。自动推理，包括形式逻辑、定理证明、模型检查和符号分析，为跨越访问控制、协议设计、漏洞检测和对手建模等不同领域的安全属性验证提供了基础框架。本文综述了自动推理在网络安全中的作用，分析了如何使用逻辑系统，包括时态逻辑、义理性逻辑和知识论逻辑，来形式化和验证安全保证。我们检查了最先进的工具和框架，探讨了与人工智能的集成以进行神经-符号推理，并突出了关键的研究空白，特别是可扩展性、组合性和多层次安全建模。本文以一组坚实的基础提出了未来研究方向，旨在通过形式化、自动化和可解释的推理技术促进安全系统的开发。
arXiv:2503.22754v1 Announce Type: cross
摘要：人工智能和数据科学在各行业的兴起强调了有效管理机器学习（ML）模型并对其进行治理的迫切需求。传统的机器学习模型管理方法通常涉及分散的存储系统，并缺乏标准化的方法来实现版本管理、审计和重用。受数据湖概念的启发，本文提出了机器学习模型湖（Model Lake）的概念，作为组织内部用于数据集、代码和模型集中管理的框架。我们深入探讨了模型湖的概念，详细阐述了其架构基础、关键组件、操作优势以及实际挑战。我们讨论了采用模型湖方法的变革潜力，例如增强的模型生命周期管理、发现、审计和重用。此外，我们展示了模型湖的实际应用及其对数据、代码和模型管理实践的变革影响。
arXiv:2503.22752v1 交叉公告类型
摘要：在教育、餐饮、旅行和金融等领域，协作决策越来越普遍，需要在多种个体偏好之间进行平衡。尽管传统的推荐系统在个性化方面非常有效，但在团体环境中，由于不能处理冲突的偏好、背景因素以及多种评估标准，它们往往力不从心。这项研究提出了一种结合上下文因素和多种评估标准的上下文感知多准则群体推荐系统（CA-MCGRS），旨在通过整合这些因素和标准来提高推荐准确性。通过利用多头注意力机制，我们的模型动态地权衡不同特征的重要性。在包含各种评分和背景变量的教育数据集上进行的实验表明，CA-MCGRS在四个场景中始终优于其他方法。我们的研究结果强调了在团体推荐中整合上下文和多准则评估的重要性，为开发更有效的群体推荐系统提供了有价值的见解。
arXiv:2503.22751v1 交叉公告类型：跨领域
摘要：本文旨在通过扩展适用于一般时空问题的人工神经网络（ANNs）的数学框架，并适当应用这些框架来改进预测犯罪模型。近年来，在地理时空建模领域的重要进展集中在将地理加权纳入其深度学习模型中，以考虑到在空间数据中经常出现的空间非一致性。我们提出了一个新颖的半分析方法来解决地理和时间加权回归（GTWR），并将其应用于伦敦犯罪数据。结果产生了高精度的预测评估分数，证实了该方法假设和近似的有效性。本文介绍了地理和时间加权神经网络（GTWNN）框架的数学进展，这在领域内提供了新的贡献。文献中的见解和谐地与假设和近似结合使用，生成了三个GTWNN框架的数学扩展。这些扩展的组合产生了五个新颖的ANN，应用于伦敦和底特律数据集。结果表明，其中一个扩展是冗余的，并且通常由另一个扩展超越，我们称之为历史依赖模块。剩余的扩展形成了三种新颖的ANN设计，这些设计提出了改进GTWNN的潜力。我们在伦敦和底特律犯罪数据集中的各种模型的有效性进行了评估，强调了在选择建模策略以提高模型适应性时考虑特定的地理和时间特征的重要性。总的来说，所提出的方法为在时空建模中提供了一种更具情境意识、更准确和更稳健的ANN方法奠定了基础。
arXiv:2503.22749v1 Announce Type: cross
摘要：在数据驱动的机器学习应用时代，隐私保护和标注数据稀缺已成为主要挑战。这些挑战在少样本学习领域尤为显著，因为从少量标注数据中学习的能力至关重要。为了应对这些显著挑战，隐私保护的少样本学习算法已经浮现为一个有前景的解决方案。然而，众所周知，隐私保护技术通常会导致效用的下降，因为数据隐私和模型性能之间存在根本的权衡。为了提高隐私保护少样本学习方法的效用，我们提出了一种名为Meta-Clip的新方法。该技术特别设计用于元学习算法，包括差分隐私（DP）模型无关元学习、DP-Reptile和DP-MetaSGD算法，目的是在保护数据隐私的同时最大化学习能力。通过在训练过程中动态调整裁剪阈值，我们的自适应裁剪方法提供了对敏感信息披露的细粒度控制，减轻了小数据集上的过拟合现象，显著提高了元学习模型的泛化性能。通过在多种基准数据集上的全面实验，我们展示了该方法在最小化效用下降方面的有效性，展示了与现有隐私保护技术相比更优越的隐私-效用权衡。自适应裁剪方法代表了隐私保护少样本学习领域的重大进展，使得安全且准确的模型得以在实际应用中发展，特别是在数据紧缺的场景中。
arXiv:2503.22748v1 类别: cross
摘要：时间知识图谱（TKG）预测对于利用历史数据预测未来事件至关重要。随着大型语言模型（LLMs）的兴起，最近的研究开始探索将其集成到TKG预测中，并取得了一定的成功。然而，它们仍然面临诸如输入长度有限、生成输出效率低下以及资源密集型精细调整等问题，这些问题削弱了它们的性能和实际适用性。为了解决这些限制，我们引入了SPARK，一种针对TKG预测中LLMs进行细化的序列级代理适应框架。受到控制生成时采用的推理时算法的启发，SPARK通过两个关键创新提供了一种成本效益高且即插即用的解决方案：(1) 集束序列级生成，将TKG预测重新定义为一个Top-K序列级生成任务，在单次前向传递中使用集束搜索高效地生成下一实体概率分布。(2) TKG细化适配器，采用传统的TKG模型作为可训练的代理适配器，利用全局图信息来精简LLM的输出，从而克服了输入长度和资源密集型微调问题。跨多种数据集的实验验证了SPARK的预测性能、强大的泛化能力和高效率。我们在https://github.com/yin-gz/SPARK发布源代码。