arXiv:2503.18987v1 宣布类型: cross
摘要：域泛化被提出以解决由于训练源域和未见目标域之间的统计差异而引起的数据分布偏移。广泛使用的高阶元学习算法通过利用梯度匹配理论展示了在域泛化方面的出色表现，该理论旨在在源域之间建立平衡参数，以减少对任何特定域的过拟合。然而，我们的分析表明，实际上存在许多实现梯度匹配的方向，现有的方法只是其中一种可能的路径。这些方法实际忽略了平衡参数应接近每个源域最优参数的质心这一关键因素。为了解决这一问题，我们提出了一种简单而有效的算术元学习与算术加权梯度方法。这种方法虽然遵循梯度匹配的原则，但通过估算每个源域特定最优参数之间的质心，促进了更精确的平衡。实验结果验证了我们策略的有效性。
arXiv:2503.18986v1 宣传类型: 交叉
摘要: 在私有设备本地数据上微调大型语言模型（LLMs）可以增强定制化的个性化AI代理。然而，在资源受限的边缘设备上微调LLMs面临显著挑战，包括计算开销过大、设备异构性和数据不平衡。本文提出了一种分块冻结（SplitFrozen）学习框架，通过策略性地冻结设备端模型层，同时在服务器端集中化参数高效微调，从而实现高效的LLM微调。我们的框架将LLMs划分为设备端冻结层和服务器端微调层，在异构资源受限设备上仅执行前向传播。为了最小化服务器端训练成本，我们将低秩适应（LoRA）集成到服务器端层中。管道并行策略进一步通过解耦设备-服务器计算和利用分拆反向传播来优化训练效率。在GPT-2模型上使用MRPC、MNLI-matched和SST-2数据集的实验表明，SplitFrozen在数据极度不平衡的情况下，相比FedLoRA和SplitLoRA，模型准确率提高了69.4%，同时减少了86.8%的设备端计算量和50.2%的总训练时间。实验还验证了SplitFrozen在使用Llama-3.2模型进行内容生成任务时的可扩展性，使用GSM8K数据集进行验证。
arXiv:2503.18985v1 宣告类型: 横向
摘要: 在持续学习（CL）中，由于特征漂移常常导致灾难性遗忘。这一挑战在无示例持续学习（EFCL）设置中尤为突出，因为在该设置中无法保留先前任务的样本，使得保留先前的知识变得困难。为了解决这一问题，一些EFCL方法旨在识别可以最小化对先前任务影响的同时容纳新任务的特征空间。然而，这些方法依赖于静态特征或从旧任务中过时的统计数据储存，这阻碍了它们捕捉CL中特征空间的动态演变，导致随着时间推移性能下降。在本文中，我们引入了抗漂移空间（DRS），该方法有效地处理了特征漂移，无需显式建模特征或储存先前任务的数据。我们提出了一个被称为低秩适应减法（LoRA-）的新型参数高效微调方法，以开发DRS。该方法在处理新任务数据之前，从初始预训练权重中减去旧任务的LoRA权重，以建立DRS进行模型训练。因此，LoRA- 提高了稳定性，改善了效率并简化了实现。此外，稳定特征漂移允许通过三重损失学习获得更好的可塑性。我们的方法在多个数据集上的一系列任务中始终能够获得最先进的结果。
arXiv:2503.18983v1 交叉公告类型: cross
摘要：尽管人工智能（AI）具有巨大的潜力，但该领域的许多专家警告称，AI的发展可能会对人类构成非同小可的生存威胁。现有的监管措施并未解决这一威胁，而是主要集中在消费者安全、网络安全、数据保护和隐私等离散的AI相关风险上。在缺乏针对AI可能导致的人类灭绝风险的监管行动的情况下，一个问题是：公共国际法是否要求各国在监管AI发展方面承担任何法律义务。基于预防原则，我们主张存在一种国际义务，旨在减轻由AI引发的人类灭绝威胁。预防原则经常被应用于环境保护以及潜在有害技术的监管，这一原则主张，在存在重大危害风险的情况下，即使在缺乏完全的科学确定性时，预防措施也不应被推迟，除非推迟行动可能造成不可逆转的后果。我们主张，预防原则是国际法的一般原则，因此，按照国际人权法中生存权的相关权利，各国在减轻AI可能引发的生存风险方面承担积极的监管义务。这一点非常重要，因为如果能够确立国际法下对AI发展的监管义务，那么针对这一不断演变的威胁的基本法律框架就会得以建立。
arXiv:2503.18982v1 通告类型: cross
摘要: 智能辅导系统（ITSs）收集的学员表现数据，例如回答问题的响应，对于建模和预测学员的知识状态至关重要。然而，由于跳过或不完整的尝试而导致的缺失响应会创建数据稀疏性，这给准确评估和个性化指导带来了挑战。为了解决这个问题，我们提出了一种生成性填充方法，使用生成对抗填充网络（GAIN）。我们的方法采用了三维（3D）框架（学习者、问题和尝试），灵活地适应了各种稀疏性水平。通过卷积神经网络增强，并使用最小二乘损失函数优化，基于GAIN的方法将输入和输出维度对齐到学习者维度的问题-尝试矩阵上。使用来自AutoTutor成人阅读理解（ARC）、ASSISTments和MATHia的数据集进行的广泛实验表明，我们的方法在各种尝试情境下的填充准确性显著优于张量分解和替代的GAN方法。进一步通过贝叶斯知识追踪（BKT）验证了填充数据的有效性，通过估计学习参数（初始知识P(L0)、学习速率P(T)、猜测率P(G)、滑动率P(S)），证明了填充数据能够提高模型拟合度，紧密反映了原始分布，可靠捕捉了潜在的学习行为。Kullback-Leibler（KL）散度评估证实了最小的散度差距，表明填充数据有效地保留了关键的学习特征。这些发现强调了GAIN作为ITSs中稳健的填充工具的能力，缓解了数据稀疏性，并支持适应性的个性化指导，最终导致更精确和响应性的学员评估，并改善了教育成果。
arXiv:2503.18981v1 宣传类型: 交叉
摘要：联邦学习（FL） enables隐私保护的协作模型训练，无需直接数据共享。异构模型联邦学习（MHFL）扩展了这一范式，允许客户端使用根据其计算资源和特定应用程序需求定制的异构架构训练个性化模型。然而，现有的MHFL方法主要依赖于集中式聚合，这引入了可扩展性和效率瓶颈，或者对客户端施加了部分模型架构相同的限制。虽然点对点（P2P）FL消除了对服务器的依赖，但它遭受模型漂移和知识稀释的问题，限制了其在异构环境中的有效性。为了解决这些问题，我们提出了FedSKD，一个新颖的MHFL框架，通过轮询模型流通直接促进知识交流，同时在客户端间允许完全异构的模型架构，无需集中式聚合。FedSKD的关键创新在于多维度相似知识提取与精简，这使得在批量、像素/体素和区域级别上，在FL中的异构模型之间实现双向跨客户端知识转移。这种方法通过渐进强化和分布对齐来缓解灾难性遗忘和模型漂移，同时保持模型异构性。在基于fMRI的自闭症谱系障碍诊断和皮肤病变分类的广泛评估中，FedSKD证明了其在最先进的异构和同质FL基线方法中的优越性，实现了更好的个性化（客户端特定的准确性）和泛化（跨机构适应性）。这些发现突显了FedSKD作为适用于实际医疗联邦学习应用的可扩展和稳健解决方案的潜力。
arXiv:2503.18980v1 类别: cross
摘要：探索仍然是强化学习中的一个关键挑战，因为现有的许多方法要么缺乏理论保证，要么在实际效果上不尽如人意。在本文中，我们介绍了CAE，这是一种轻量级算法，该算法通过重新利用标准深度强化学习算法中的价值网络来驱动探索，而不引入额外的参数。CAE 利用任何线性多臂老虎机技术，并结合合适的放大策略，能够实现证明性的亚线性后悔界和实际稳定性。值得注意的是，它易于实现，只需大约10行代码即可。在学习有效价值网络具有挑战性的复杂任务中，我们提出了CAE+，这是一种CAE的扩展，结合了辅助网络。这种扩展将参数数量增加了不到1%，同时保持了实现的简单性，仅增加了大约10行代码。实验结果表明，无论是CAE还是CAE+，在MuJoCo和MiniHack上的表现都超过了最先进的基线，填补了理论严谨性和实际效率之间的差距。
arXiv:2503.18979v1 类型: cross
摘要: 我们分析了导致AI系统在出现极端结果分布的情况下通过分支驱动跳跃的情形。通过分析控制参数在灾难性阈值附近的随机波动如何产生极端结果，我们展示了在何种情况下突然的、大型的转换概率与最终损害分布的尾部概率密切相关。我们的研究成果有助于在试图管理潜在灾难性AI风险时监测、缓解和控制AI系统的研究。
arXiv:2503.18976v1 交叉类别
摘要：本文在计算系统日益生成文化内容的背景下，发展了一种关于人工智能的关键理论，这些内容不断瓦解传统上人机生产的区分。通过这一分析，我提出了算法条件的概念，这是一个文化关键时刻，在这个时刻，机器生成的作品不仅变得难以与人类创造区分开来，还会积极重塑我们对真实概念的理解。我提出，这一转变超越了虚假意识，走向了一种我称之为后意识的状态，其中个体意识与合成意识的界限变得模糊。借鉴批判理论并扩展关于计算意识形态的最新研究，我提出了三个关键的理论贡献：首先，提出了倒置的概念，以描述算法社会中的新计算转变；其次，提出了自模生产作为理解自动化价值创造新兴实践的框架；第三，提出了星座分析作为一种方法论，用于映射技术系统、文化形式和政治经济结构之间的复杂相互作用。通过这些贡献，我主张我们需要新的批判性方法，能够应对人工智能系统的技术特异性及其在计算资本主义中重新构建生活方式的作用。本文最后指出，为了应对算法条件，我们需要批判性反思，以免被其同化，这代表了当代批判理论面临的日益增长的挑战。
arXiv:2503.18975v1 通知类型: 跨领域
摘要：机器学习和人工智能（AI）驱动技术的迅速发展正在革新材料发现、性质预测和材料设计的进程，减少了人为干预，加速了科学进步。本文综述了智能、机器学习（ML）驱动的方法，强调了这些方法在预测材料性质、发现新颖化合物以及优化材料结构中的作用。从深度学习、图神经网络、贝叶斯优化到自动生成模型，如生成对抗网络（GANs）和变分自编码器（VAEs）等关键方法，使材料的自主设计成为可能，具有定制功能。通过利用AutoML框架（如AutoGluon、TPOT和H2O.ai），研究人员可以自动进行模型选择、超参数调整和特征工程，显著提高材料信息学的效率。此外，AI驱动的机器人实验室和高通量计算的集成建立了快速合成和实验验证的全自动流水线，大大减少了材料发现的时间和成本。本文突出了自动ML驱动方法在预测材料的力学、热学、电学和光学性质方面的实际应用案例，展示了在超导体、催化剂、光伏材料和储能系统中的成功应用。我们还讨论了关键挑战，如数据质量、可解释性和将AutoML与量子计算集成的问题，这些都是未来发展的必要条件。最终，AI、自动实验和计算建模之间的协同作用改变了材料的发现、优化和设计方式，为能源、电子学和纳米技术领域的下一代创新铺平了道路。