arXiv:2502.01714v1 宣布类型: cross
摘要：代理AI和大型语言模型驱动的多代理系统（LLM-MAS）的发展突显了负责任且可靠系统运行的必要性。像LangChain和检索增强生成这样的工具扩大了LLM的能力，通过增强的知识检索和推理能力，使LLM-MAS能够更深入地集成。然而，这些进步引入了关键挑战：LLM代理表现出固有的不可预测性，其输出的不确定性可能会在其交互中放大，威胁到系统的稳定性。为应对这些风险，采用以人为中心的设计方法并结合主动动态调解至关重要。这种方法通过促进一致的多代理通信和有效的系统治理，增强了传统的被动监管，从而使MAS能够更高效地实现预期的结果。
arXiv:2502.01708v1 类型:交叉
摘要:在本文中，我们将我们感兴趣的机器学习元素作为一个机器学习系统进行研究，该系统包括机器学习元素的集合以及元素之间的关系的集合。我们关注的关系包括代数运算、二元关系以及可以进行范畴推理的二元关系复合。两个系统的机器学习系统之间的转换是一个系统之间的映射，它保持我们关心的关系。由商或聚类、可表现 functor 和 Yoneda 嵌入给出的系统转换通过机器学习示例进行了突出和讨论。机器学习系统之间的对偶，这种系统转换的特殊循环，提供了解决问题的最佳方法。通过 2-细胞和自然变换联系和比较机器学习系统之间的转换，可以从由对偶生成的 monad 给出的普遍属性和代数结构中获得新的见解和结构。
arXiv:2502.01707v1 通知类型: 跨领域
摘要: 盲去雾图像质量评估（BDQA），其目标是在没有任何参考信息的情况下准确预测去雾图像的视觉质量，对于图像去雾算法的评估、比较和优化至关重要。现有的基于学习的BDQA方法已经取得了显著的成功，但DQA数据集规模较小限制了它们的性能。为了解决这一问题，本文提出将预训练在大规模图像-文本对上的对比语言-图像预训练（CLIP）适应到BDQA任务中。具体而言，由于人类视觉系统基于层次特征来理解图像的事实，我们将去雾图像的全局和局部信息作为CLIP的输入。为了准确地将去雾图像的输入层次信息映射到质量分数，我们通过提示学习调整CLIP的视觉分支和语言分支。在两个真实DQA数据集上的实验结果表明，我们提出的方法CLIP-DQA在现有的BDQA方法上实现了更准确的质量预测。代码可在 https://github.com/JunFu1995/CLIP-DQA 获取。
arXiv:2502.01706v1 公告类型：cross
摘要：受生物学启发的神经网络为建模数据分布提供了替代途径。FlyVec 是一个最近的例子，它受到果蝇嗅觉电路的启发，解决词嵌入的任务。令人惊讶的是，该模型甚至在专门设计用于编码文本的深度学习方法面前表现得十分竞争力，并且以最高的计算效率做到这一点。我们提出的问题是，这种性能是否可以进一步提高。为此，我们引入了 Comply。通过结合位置信息以复权重的形式，我们使单层神经网络能够学习序列表示。我们的实验显示，Comply 不仅超越了 FlyVec，而且在与显著更大的最先进的模型齐平方面表现出色。我们实现这一点无需额外的参数。Comply 生成的句子的稀疏上下文表示可以从神经元权重中明确解释。
arXiv:2502.01703v1 Announce Type: cross
摘要： fine-tuning 大型语言模型 (LLMs) 往往受到处理海量数据集的计算成本的限制。我们提出了一种名为 \textbf{QLESS} (Quantized Low-rank Gradient Similarity Search) 的方法，该方法将梯度量化与 LESS 框架相结合，以实现内存高效的数据估值和选择。QLESS 采用了两步压缩过程：首先，通过基于 LoRA 的随机投影获得低维度的梯度表示；然后，将这些梯度量化为低位宽表示。在多个 LLM 架构（LLaMA、Mistral、Qwen）和基准测试集（MMLU、BBH、TyDiQA）上的实验表明，QLESS 在减少内存使用最多 16 倍的情况下，实现了与 LESS 相当的数据选择性能。即使进行 1 位梯度量化，也能保持数据估值的质量。这些发现强调了 QLESS 在严格内存限制下识别信息性示例的实用性和可扩展性。
arXiv:2502.01697v1 交叉类型: cross
摘要：随着模型训练中对高质量数据需求的增长，研究人员和开发人员越来越倾向于生成合成数据以调整和训练大语言模型（LLMs）。对于合成数据，普遍假设从指令调优模型中采样是足够的；然而，这些模型在生成多样的输出方面存在困难——这是一个关键的泛化要求。尽管使用了各种提示方法，在本文中我们证明，从指令调优模型中实现有意义的多样性仍然具有挑战性。相反，我们发现未进行后训练的基本模型表现出更大的多样性，但其指令跟随能力较弱，因此质量较低。基于这一见解，我们提出了一种名为Base-Refine（BARE）的合成数据生成方法，该方法通过两个阶段的过程结合了基本模型的多样性和指令调优模型的质量。借助少量的少量示例和整理，BARE能够生成多样且高质量的数据集，提高下游任务的性能。我们证明，使用1,000个BARE生成的样本进行微调，在LiveCodeBench任务上可以达到与最佳相似大小模型相当的性能。此外，使用BARE生成的数据进行微调在GSM8K上的改进超过指令仅数据101%，在RAFT上的改进超过最先进的方法18.4%。
arXiv:2502.01693v1 交叉领域类型：交叉
摘要：在复杂系统中，信息传播可以被定义为扩散的、非局域的、弱局域的和强局域的。机器学习模型能否学习网络上的线性动力系统的行为？在本文中，我们开发了一种图神经网络框架，用于识别线性动力系统在稳态下的行为。我们揭示了我们的模型以高精度学习不同的状态。为了理解我们模型的可解释性，我们为该框架提供了向前和向后传播的分析推导。最后，我们使用实际世界的图来验证我们的模型。
arXiv:2502.01692v1 宣告类型：交叉
摘要：定向扩散模型生成是为预训练的扩散模型定制生成过程以解决特定下游任务的一个有前途的方向。现有的定向扩散模型要么依赖于预先收集的数据集进行指导模型的训练，要么需要目标函数是可微的。然而，在大多数实际应用场景中，离线数据集通常不可用，且其目标函数往往是不可微的，如带有人类偏好的图像生成、药物发现中的分子生成以及材料设计等。因此，我们需要一种能够在运行时收集数据，并支持黑盒目标函数的在线算法。此外，在算法的查询效率方面也至关重要，因为目标评估查询通常在实际场景中非常昂贵。在本文中，我们提出了一种新颖且简单的算法——Fast Direct，用于高效在线黑盒目标生成。Fast Direct在数据流形上构建一个伪目标，以通用方向更新扩散模型的噪声序列，这有望实现查询高效的定向生成。在十二项高分辨率（1024 × 1024）图像目标生成任务和六项3D分子目标生成任务上进行了广泛实验，分别显示出最多6至10倍、最多11至44倍的查询效率提升。我们的实现已公开发布在：https://github.com/kimyong95/guide-stable-diffusion/tree/fast-direct
arXiv:2502.01691v1 Announce Type: cross
摘要：使用大型语言模型（LLMs）从放射学报告中可靠地提取结构化数据仍然具有挑战性，尤其是在像希伯来语这样复杂、非英语的文本上。本研究介绍了一种基于代理的知情不确定性方法，以提高LLMs在医疗应用中的预测可信度。我们分析了2010年至2023年间来自三个医学中心的9,683份克罗恩病患者的放射学报告。其中512份报告被手动标注了六个消化道器官和十五项病理发现，而其余报告则使用HSMP-BERT自动标注。结构化数据提取使用了Llama 3.1（Llama 3-8b-instruct）与贝叶斯提示集（BayesPE）进行，BayesPE使用了六个语义等效提示来估计不确定性。基于代理的决策模型将多个提示输出整合成五个置信水平，以实现校准的不确定性，并与三个熵基模型进行了比较。性能使用准确率、F1分数、精确率、召回率和Cohen-Kappa系数在过滤掉高不确定性案例前后进行评估。基于代理的模型在所有指标上都优于基线，F1分数为0.3967，召回率为0.6437，Cohen-Kappa系数为0.3006。过滤掉高不确定性案例（大于或等于0.5）后，F1分数提高到0.4787，Kappa增加到0.4258。不确定性直方图清楚地显示了正确和错误预测之间的分离，基于代理的模型提供了最精准的不确定性估计。通过结合知情提示集合和基于代理的决策模型，这种方法增强了LLMs在从放射学报告中提取结构化数据时的性能和可靠性，为高风险医疗应用提供了更可解释和可信的解决方案。
arXiv:2502.01689v1 声明类型：交叉
摘要：单细胞测序技术的进步彻底改变了药物抵抗性的探索，揭示了细胞异质性在推进精准医疗中的关键作用。通过从现有的单细胞药物响应数据中构建计算模型，我们能够迅速标注后续试验中细胞对药物的响应。为此，我们开发了scGSDR模型，该模型结合了基于细胞状态和基因信号通路知识的两个计算管道，这对于理解生物基因语义至关重要。scGSDR通过纳入基因语义来增强预测性能，并采用可解释性模块来识别对药物耐药表型有重要贡献的关键通路。我们的广泛验证包括16项实验，覆盖11种药物，证明了scGSDR在使用bulk-seq或scRNA-seq数据进行训练时具有出色的预测准确性，实现了高AUROC、AUPR和F1分数。该模型的应用已从单一药物预测扩展到药物组合场景。利用已知药物靶基因的通路，我们发现scGSDR的细胞-通路注意分数具有生物学可解释性，这帮助我们识别了其他潜在的药物相关基因。我们的预测中排名较高的基因，如PLX4720中的BCL2、CCND1、AKT家族和PIK3CA，以及Paclitaxel中的ICAM1、VCAM1、NFKB1、NFKBIA和RAC1，文献综述证实了它们的相关性。总之，通过纳入基因语义，scGSDR增强了对各种药物的细胞响应预测建模，对于涉及单一药物和组合疗法的情景都证明了其价值，并有效地识别了关键耐药相关通路，从而推动了精准医疗和靶向疗法的研发。