arXiv:2502.01706v1 宣告类型: cross
摘要：受生物启发的神经网络提供了建模数据分布的替代途径。FlyVec是最近的一个例子，它从果蝇的嗅觉电路中汲取灵感，用于学习词嵌入任务。令人惊讶的是，这个模型即使面对专门设计用于编码文本的深度学习方法，也能表现出色，并且以最大的计算效率实现这一目标。我们提出了一个问题，即这种性能是否可以进一步提高。为此，我们引入了Comply。通过引入位置信息并通过复数权重，我们使单层神经网络能够学习序列表示。我们的实验表明，Comply不仅超越了FlyVec，而且在性能上与显著更大的最新模型相当。我们在此过程中没有增加参数。Comply生成了可从神经元权重明确解释的稀疏句境表示。
arXiv:2502.01703v1 Announce Type: cross
摘要： fine-tuning 大型语言模型（LLMs）通常受到处理大规模数据集的计算成本的限制。我们提出了一种称为 \textbf{QLESS}（量化低秩梯度相似性搜索）的方法，该方法将梯度量化与 LESS 框架结合起来，以实现内存高效的 数据估值和选择。QLESS 采用了两步压缩过程：首先，通过 LoRA 基础的随机投影获得低维度的梯度表示；然后对这些梯度进行量化，使其表示为低位宽表示。在多种 LLM 架构（LLaMA、Mistral、Qwen）和基准测试（MMLU、BBH、TyDiQA）上的实验结果表明，QLESS 在减少内存使用量的同时实现了与 LESS 类似的数据选择性能，最多可减少 16 倍的内存使用。甚至 1 位梯度量化也能保持数据估值质量。这些研究结果表明，QLESS 是一种在严格内存限制下识别具有信息性的示例的实用可扩展方法。
arXiv:2502.01697v1 类型: cross
摘要：随着对模型训练中高质量数据的需求增长，研究人员和开发人员越来越多地生成合成数据以调整和训练大规模语言模型(LLMs)。关于合成数据的一个常见假设是，从指令调优模型中采样就足够了；然而，这些模型在产生多样性的输出方面存在困难——这是泛化的关键要求。尽管存在各种提示方法，但在本文中我们证明，从指令调优模型中实现有意义的多样性仍然具有挑战性。相反，我们发现未经后训练的基本模型在多样性方面表现出更大的优势，但在指令遵循方面的能力较差，因此质量较低。基于这一洞察，我们提出了Base-Refine (BARE) 合成数据生成方法，通过两阶段过程将基本模型的多样性与指令调优模型的质量相结合。通过少量的少样本示例和筛选，BARE生成多样性和高质量的数据集，改善了下游任务的性能。我们展示了使用仅1,000个BARE生成的样本进行微调，可以在LiveCodeBench任务上达到与最佳类似规模模型相当的性能。此外，使用BARE生成的数据进行微调，在GSM8K上比仅指令的数据实现了101%的改进，在RAFT上比最先进的方法实现了18.4%的改进。
arXiv:2502.01693v1 交叉公告类型：交叉
摘要：在复杂系统中，信息传播可以被定义为扩散或离域的、弱局域化和强局域化的。机器学习模型是否能够学习网络上线性动力系统的行为？在本文中，我们开发了一种图神经网络框架，用于识别线性动力系统的稳态行为。我们揭示了我们的模型以高精度学习不同的状态。为了理解我们模型的可解释性，我们提供了我们框架前向和反向传播的分析推导。最后，我们使用实际的图数据来验证模型。
arXiv:2502.01692v1 宣告类型: cross
摘要: 指导扩散模型生成是一种定制预训练扩散模型生成过程以解决特定下游任务的有前途的方向。现有的指导扩散模型要么依赖于使用预先收集的数据集训练指导模型，要么需要目标函数是可微的。然而，在大多数实际任务中，离线数据集往往不可用，而且它们的目标函数往往不可微，例如具有人类偏好图象生成、药物发现中的分子生成和材料设计。因此，我们需要一种在线算法，可以在运行时收集数据，并支持黑盒目标函数。此外，在线算法的查询效率也至关重要，因为在实际场景中，查询的目标评估往往很昂贵。在本文中，我们提出了一种新颖简单的方法，即Fast Direct，以实现高效的在线黑盒目标生成。我们的Fast Direct在数据流形上建立一个伪目标，以通用方向更新扩散模型的噪声序列，这有望实现高效的指导生成。在十二个高分辨率($1024 \times 1024$)图象目标生成任务和六个3D分子目标生成任务的广泛实验中，分别展示了最高达$6 \times$到$10 \times$的查询效率改进和最高达$11 \times$到$44 \times$的查询效率改进。我们的实现已公开发布在：https://github.com/kimyong95/guide-stable-diffusion/tree/fast-direct
arXiv:2502.01691v1 Announce Type: cross
摘要：使用大型语言模型（LLMs）从放射报告中可靠地提取结构化数据仍然是一个挑战，尤其是在非英语文本如希伯来文的复杂文本中。本研究引入了一种基于代理的不确定性感知方法，以提高LLMs在医疗应用中的预测可信度。我们分析了来自2010年至2023年跨三个医疗机构的9,683份克罗恩病患者（共9,683例）的放射学报告。其中一部分512份报告被手动标注了六个胃肠道器官和15项病理发现，其余报告使用HSMP-BERT自动标注。结构化数据提取使用了Llama 3.1（Llama 3-8b-instruct）结合贝叶斯提示集合（BayesPE），该方法使用了六种语义等价提示来估计不确定性。基于代理的决策模型将多种提示输出整合为五个可信度级别以校准不确定性，并与三种基于熵的模型进行了对比。性能通过准确率、F1分数、精确率、召回率和Cohen's Kappa系数在过滤掉高不确定性情况下进行了评估。代理模型在所有指标上均优于基线，F1分数为0.3967，召回率为0.6437，Cohen's Kappa系数为0.3006。在过滤掉高不确定性情况（大于等于0.5）后，F1分数提高到0.4787，Kappa系数增加到0.4258。不确定性直方图显示了正确和错误预测之间的明显分离，代理模型提供了最准确的不确定性估计。通过结合不确定性感知提示集合以及基于代理的决策模型，这种方法增强了LLMs在从放射报告中提取结构化数据的性能和可靠性，为高风险医疗应用提供了更具可解释性和可信度的解决方案。
arXiv:2502.01689v1 交叉声明类型:
摘要：单细胞测序技术的发展革命性地改变了药物耐药性的探索，揭示了细胞异质性在推进精准医疗中的关键作用。通过从现有的单细胞药物反应数据中构建计算模型，我们可以在后续试验中快速注释细胞对药物的反应。为此，我们开发了 scGSDR 模型，该模型结合了两种基于细胞状态和基因信号通路知识的计算管道，这两种知识对于理解生物基因语义至关重要。scGSDR 通过整合基因语义来增强预测性能，并采用可解释性模块来识别对药物耐药性表型有重大贡献的关键通路。我们进行了广泛的验证，包括16次实验覆盖11种药物，结果显示，当使用bulk-seq或scRNA-seq数据进行训练时，scGSDR 在AUROC、AUPR 和 F1 分数方面的预测准确性均优于其他模型。该模型的应用已从单药预测扩展到涉及药物组合的场景。通过利用已知药物靶基因的通路，我们发现 scGSDR 的细胞-通路注意力评分具有生物学可解释性，这帮助我们识别其他潜在的与药物相关的基因。我们预测中排名靠前的基因，如对于PLX4720的BCL2、CCND1、AKT家族和PIK3CA；以及对于紫杉醇的ICAM1、VCAM1、NFKB1、NFKBIA和RAC1的文献回顾证实了其相关性。总之，通过整合基因语义，scGSDR 提高了对多种药物细胞反应的预测建模能力，在涉及单药和联合疗法的场景中均具有不可替代的价值，并有效地识别了关键耐药相关的通路，从而推动了精准医疗和靶向疗法的发展。
arXiv:2502.01684v1 Announce Type: cross
摘要：图表示学习已经成为了节点分类和链接预测等任务的基石，然而现有的自监督学习（SSL）方法面临着诸如计算效率低、依赖对比目标、表示塌缩等问题的挑战。现有方法通常依赖特征重建、负样本采样或复杂的解码器，这增加了训练负担并阻碍了泛化能力。此外，目前解决这些限制的技术并未考虑到在没有标记节点的情况下节点嵌入对特定预测的贡献。为了解决这些限制，我们提出了一种新颖的联合嵌入预测框架，这种框架去除了对比目标和负样本采样，同时保留了语义和结构信息。此外，我们引入了一种基于语义感知的目标项，该项结合了从高斯混合模型（GMMs）中导出的伪标签，通过评估潜在特征贡献来增强节点的可区分性。广泛的实验表明，我们的框架在基准测试中优于现有的图SSL方法，无需对比损失或复杂解码器就能达到更好的性能。核心创新包括：（1）一种非对比、视图不变的联合嵌入预测架构；（2）利用子图之间的单个上下文和多个目标的关系；（3）基于GMM的伪标签评分以捕捉语义贡献。本文通过提供一种计算高效且具有抗塌缩性的框架，将空间和语义图特征结合起来，从而推动了图SSL的发展。我们的论文代码可以在 https://github.com/Deceptrax123/JPEB-GSSL 找到。
arXiv:2502.01683v1 评价类型：交叉学科
摘要：大型语言模型（LLMs）的快速进展导致了模型供应和应用需求的激增。为了促进它们之间的有效匹配，广泛需要可靠的、通用且高效的基准生成器。然而，人工注释员受到效率的限制，当前的LLM基准生成器不仅缺乏通用性，而且在可靠性方面也存在不足，因为它们缺乏一个全面的评估框架来进行验证和优化。为弥补这一缺口，我们首先提出了一种自动且无偏的评估框架，围绕四个维度和十个标准进行构建。在这一框架下，我们仔细分析了直接促使LLMs成为通用基准生成器的优势和劣势。为了提高可靠性，我们引入了一系列方法来解决已识别的劣势，并将其整合为BenchMaker。在多个LLM和任务的实验中，BenchMaker在所有指标上都取得了优于或可比于人工注释基准的表现，突显了其通用性和可靠性。更重要的是，它在12个LLM上的评估结果表现出高度一致（与MMLU-Pro的皮尔逊相关系数为0.967），而每样本只需要0.005和0.38分钟。
arXiv:2502.01680v1 交叉发布类型：交叉
摘要：出行需求预测对于优化交通规划、资源分配和基础设施建设至关重要，以确保高效的出行和经济可持续性。本研究介绍了一种神经符号人工智能（Neurosymbolic AI）框架，该框架将基于决策树（DT）的符号规则与神经网络（NNs）相结合，以预测出行需求，利用符号推理的可解释性和神经学习的预测能力。该框架利用来自各种来源的数据，包括地理空间、经济和出行数据集，构建出一个综合的特征集。决策树被用来提取可解释的if-then规则，这些规则捕捉到关键模式，然后将这些规则作为额外的特征纳入神经网络中，以增强其预测能力。实验结果表明，结合了符号规则的综合数据集，在多个评估指标（包括均绝对误差（MAE）、\(R^2\)和通勤者共同部分（CPC））上始终优于单独的数据集。在较小方差阈值（例如0.0001）下选择的规则在捕获细微关系、减少预测误差和与观察到的通勤者模式保持一致方面表现出更优的效果。通过将符号学习和神经学习范式结合，这种神经符号方法同时实现了可解释性和准确性。