arXiv:2502.12189v1 交叉发布类型: cross
摘要: 基于人类反馈的强化学习及其变体在生成有益、无害和诚实响应方面能够很好地与人类意向对齐。然而，它们大多依赖于昂贵的人类标注成对比较进行监督对齐，这不适合列表级别的场景，例如社区问题回答。此外，响应中的多个内在因素影响人类偏好，导致决策不一致性。因此，我们提出了**自监督**、**属性感知**、**动态**、**偏好**排序**方法**，称为**SeAdpra**。它基于属性感知距离因子（APDF）量化响应之间的偏好差异，并动态确定列表级别的对齐顺序。此外，它实现了细粒度的偏好差异学习，并能够实现与最优解的精确对齐。我们特别构建了一个具有挑战性的代码偏好数据集，名为StaCoCoQA，并引入了更经济有效且可扩展的偏好评估指标：PrefHit和PrefRecall。广泛的实验结果表明，SeAdpra在StaCoCoQA和八个流行领域的偏好数据集上均表现出优越的性能和泛化能力。
arXiv:2502.12188v1 宣告类型: cross
摘要: 基于扩散的神经组合优化(NCO)通过学习离散扩散模型来生成解决方案，从而消除手动构建的领域知识，已经展示了在解决NP完全(NPC)问题上的有效性。尽管取得了成功，现有的NCO方法在跨尺度和跨问题泛化方面仍面临重大挑战，且与传统求解器相比，其训练成本更高。虽然最近的研究引入了无需训练的指导方法，利用预定义的指导函数进行零样本条件生成，但这类方法尚未在组合优化中得到充分探索。为了弥合这一差距，我们提出了一种通用的能量引导采样框架，在推断时间增强基于扩散的NCO求解器的跨尺度和跨问题泛化能力，无需进行额外训练。我们提供了理论分析，有助于理解跨问题迁移的能力。我们的实验结果表明，一个仅在旅行商问题(TSP)上训练的扩散求解器，可以通过不同问题规模的能量引导采样，在旅行商问题变种，如收集奖品的旅行商问题(PCTSP)和指路问题(OP)上实现具有竞争力的零样本解决方案生成。
arXiv:2502.12186v1 宣告类型：交叉
摘要：准确预测CB2受体配体活性对于针对该受体的药物发现至关重要，该受体与炎症、疼痛管理以及神经退行性疾病有关。尽管传统的机器学习和深度学习技术表现出了一定的潜力，但它们的有限可解释性仍然是合理药物设计的重要障碍。在这项工作中，我们引入了CB2former框架，该框架结合了图卷积网络和变压器架构，以预测CB2受体配体活性。通过利用变压器的自注意力机制以及GCN的结构学习能力，CB2former不仅提升了预测性能，还提供了受体活性背后的分子特征的见解。我们将CB2former与多种基线模型（包括随机森林、支持向量机、K近邻、梯度提升、极端梯度提升、多层感知机、卷积神经网络和循环神经网络）进行了基准测试，并展示了其优越的性能，R平方值为0.685，均方根误差为0.675，AUC值为0.940。此外，注意力权重分析揭示了影响CB2受体活性的关键分子亚结构，突显了该模型作为药物发现领域可解释AI工具的潜力。这种识别关键分子模式的能力可以简化虚拟筛选、指导先导优化，并加速治疗性药物的发展。总之，我们的结果展示了CB2former这种高级AI方法在提供准确预测和行动分子洞察方面变革性的潜力，从而促进药物发现领域的跨学科合作与创新。
arXiv:2502.12185v1 宣传类型: cross
摘要：传统上，制造过程中参量关系的预测建模受到人类专业知识和直觉的主观性限制，以及实验数据生成的高成本和耗时。本工作通过建立一种新的大规模语言模型（LLM）框架来解决这个问题。其创新之处在于结合了从文献中自动提取与过程相关知识的方法，并结合少量实验数据的迭代模型优化。该方法在基于切削、变形和增材原理的三个不同制造过程中进行了评估。结果显示，对于相同的少量实验数据预算，由本框架得出的模型表现出令人意外的外推性能，往往超越了传统机器学习的能力。此外，本方法消除了手动生成初始模型或依赖专业知识解释文献的需要。结果还揭示了从文献中提取的知识的性质以及知识提取和模型优化两个组成部分的重要性。
arXiv:2502.12182v1 Announce Type: cross
摘要：在托卡马克装置中控制和监测等离子体是很复杂和具有挑战性的。等离子体异常事件，如等离子体破坏，正在阻碍稳定运行。对于大型装置而言，它们甚至可能危害机器的整体性，这通常是一直以来关于使用托卡马克概念为未来发电厂提供动力的主要最严重的问题之一。有效的等离子体状态监测有可能使我们能够理解这些现象及其演变，这对于托卡马克的成功运行至关重要。本文介绍了一种透明的、数据驱动的方法，用于监测托卡马克中的等离子体状态。与该领域之前的研究所采用的技术相比，本研究表明监督学习和无监督学习技术得到了结合。数据集包含来自JET的520个专家验证的放电数据。目标是在首次利用多任务学习的背景下，通过利用物理指示器和考虑临近不稳定性，为JET运行空间提供可解释的等离子体状态表示。当作为中断预测器进行评估时，序列方法在性能上显著优于基于状态的方法。最佳结果网络结合了物理指示器并通过交叉验证实现了有前景的成功率。通过学习潜空间的定性评估发现了运行状态和破坏性区域以及与学习动态和全局特征重要性相关的模式。所应用的方法为定义在不同控制场景之间切换的触发器、数据分析和学习以及探索潜在动力学以监测等离子体状态提供了新颖的可能性。此外，它还展示了具有避免作用的预警时间和与已知物理机制一致的分布的有希望的定量和定性结果。
arXiv:2502.12181v1 类型：cross
摘要：可解释性仍然是医疗成像中AI模型的一个显著问题，使得临床医生难以信任AI驱动的预测。我们介绍了3D ReX，这是首个基于因果关系的后验可解释性工具，适用于3D模型。3D ReX 使用实际因果理论生成责任图，突出显示对模型决策至关重要的区域。我们对一个中风检测模型进行了3D ReX 的测试，提供了关于与中风相关的特征的空间分布的见解。
arXiv:2502.12180v1 共用类型: cross
摘要：多模态联邦学习（MFL）已成为在分布式客户端之间协作训练多模态模型的一种有前景的方法，特别是在医疗保健领域。在脑成像分析的背景下，模态不完备性提出了一项重大挑战，其中一些机构可能因隐私问题、设备限制或数据可用性问题而缺乏特定成像模态（例如PET、MRI或CT）。虽然现有工作的常见假设是模态完备性，或者过于简化模态缺失的情况，但在这项研究中，我们通过同时考虑客户端级别和实例级别的模态不完备性，模拟了一个更现实的场景。在此现实模拟的基础上，我们提出了ClusMFL，这是一种利用特征聚类的新型MFL框架，用于在模态不完备性条件下进行跨机构脑成像分析。具体而言，ClusMFL利用FINCH算法为每对模态-标签构建聚类中心池，有效地捕捉了细微的数据分布。这些聚类中心随后用于在每个模态内部通过监督对比学习进行特征对齐，并作为缺失模态的代理，允许跨模态知识迁移。此外，ClusMFL采用一种模态感知的聚合策略，进一步增强了在严重模态不完备情况下的模型性能。我们在ADNI数据集上评估了所提出的方法，利用结构MRI和PET扫描。广泛的实验结果表明，ClusMFL在不同程度的模态不完备情况下优于各种基准方法，提供了跨机构脑成像分析的可扩展解决方案。
arXiv:2502.12179v1 通告类型: 交叉
摘要: 操纵方法通过操控大语言模型（LLM）的表示来诱导具有所需属性的响应，例如诚实性，为无需微调即可实现LLM对齐提供了有希望的方法。传统上，操纵依赖于监督，例如来自单个目标概念变化的对比性提示对，这种方法代价高昂且限制了操纵研究的速度。一种诱人的替代方法是使用稀疏自动编码器（SAEs）将LLM嵌入映射到捕捉可人为解释的概念的稀疏表示。然而，在没有任何进一步假设的情况下，SAEs可能会变得不可识别：它们可能会学习纠缠多个概念的潜在维度，从而导致对无关属性的无意操纵。我们引入了稀疏偏移自动编码器（SSAEs），它将嵌入之间的差异映射到稀疏表示。关键的是，我们展示了从变化的配对观察中推断SSAEs的可能性，这些观察涉及多个未知概念，从而能够在无需监督的情况下准确操纵单一概念。我们使用Llama-3.1嵌入在半合成和真实世界语言数据集上实证演示了准确的操纵。
arXiv:2502.12176v1 宣告类型: cross
摘要: 联邦基础模型（FedFMs）代表了一种分布式学习范式，它融合了基础模型的通用能力和联邦学习的隐私保护能力。这种结合使得大规模的基础模型和远程客户端的局部领域模型能够在教师-学生的学习设置中相互学习。本文全面总结了FedFMs中固有的十个具有挑战性的问题，包括基础理论、私有数据的利用、持续学习、遗忘、非IID和图数据、双向知识传递、激励机制设计、博弈机制设计、模型水印以及效率。这十个具有挑战性的问题体现在五个关键方面：“基础理论”，旨在为FedFMs建立一个一致和统一的理论框架。“数据”，解决在利用私人数据中的特定领域知识的同时保持隐私的困难；“异构性”，考察不同客户的数据、模型和计算资源的变化；“安全与隐私”，重点关注对抗恶意攻击和模型盗窃的防御；以及“效率”，强调在训练、通信和参数效率方面的改进。对于每个问题，我们提供了一个明确的数学定义的目标函数，分析现有方法，并讨论关键挑战和潜在的解决方案。通过深入探索，旨在推进FedFMs的理论基础，指导实际实施，并激发未来的研究所面临的这些障碍，从而实现各种实际应用中稳健、高效和隐私保护的FedFMs。
arXiv:2502.12175v1 宣言类型: cross
摘要: 短期负荷预测 (STLF) 在传统和现代电力系统中发挥着重要作用。大多数 STLF 模型主要利用历史数据中的时间依赖性来预测未来的消耗。如今，随着智能电表的广泛部署，其数据中可能包含时空依赖性。特别是在这些数据不仅与历史值相关，还与相邻智能电表的值相关。这一新的特性促使研究人员探索和实验能够有效整合时空关系的新模型，以提高预测性能。时空图神经网络 (STGNNs) 可以利用这些关系，在将智能电表之间的关系建模为一个图的基础上，使用这些关系作为额外特征来预测未来能源消耗。尽管在其他时空预测领域如交通、环境或可再生能源生成方面已经进行了广泛的研究，但在负载预测中的应用仍然相对未被探索，尤其是在图结构自然不存在的场景中。本文概述了当前关于STGNN在STLF应用方面的文献。从技术角度来看，本文还对选定的STGNN模型在住宅和聚合级别上的STLF进行了基准测试。结果表明，在住宅级别上引入图特征可以提高预测准确性；然而，在聚合级别上未显示出这种效应。