高光谱图像分类是一项至关重要的但极具挑战性的任务，因为高光谱数据具有高维性和复杂的时空谱相关性。本文采用基于小波的 Kolmogorov-Arnold 网络 (wav-kan) 架构，该架构专为有效建模这些复杂依赖关系而设计。受 Kolmogorov-Arnold 表示定理的启发，Wav-KAN 将小波函数作为可学习的激活函数，能够实现输入光谱特征的非线性映射。基于小波的激活函数允许 Wav-KAN 通过扩张和平移有效地捕获多尺度的空间和光谱模式。在三个基准高光谱数据集（Salinas、Pavia、Indian Pines）上的实验评估表明，与传统的多层感知器 (MLP) 和最近提出的基于样条的 KAN (Spline-KAN) 模型相比，Wav-KAN 的性能优越。在这项工作中，我们：（1）在更多的高光谱数据集（Pavia 大学、WHU-Hi 和城市高光谱图像）上进行更多实验，以进一步验证 Wav-KAN 的泛化能力；（2）开发多分辨率 Wav-KAN 架构以捕获尺度不变特征；（3）分析降维技术对分类性能的影响；（4）探索用于调整 KAN 模型超参数的优化方法；（5）将 Wav-KAN 与高光谱图像分类中其他最先进的模型进行比较。
偏好学习为解决代码语言模型监督微调 (SFT) 的局限性提供了一种有前景的方案，在该方案中，模型并非明确地训练以区分正确和错误的代码。最近的研究表明，策略内数据是成功偏好学习的关键，其中偏好数据是使用正在训练的相同策略 LM 收集的。受此启发，我们提出了 PLUM，这是一个增强了代码 LM 测试用例的策略内偏好学习框架。该框架包含三个关键阶段：（1）从自然语言指令自动生成测试用例；（2）通过评估从策略中采样的候选代码解决方案来创建偏好数据，这可以用于（3）训练策略 LM。PLUM 消除了训练奖励模型的需要，允许大规模策略内和在线偏好数据收集。PLUM 在标准基准（HumanEval、MBPP）和更具挑战性的基准（LiveCodeBench）上进行了评估，与原始 SFT 模型和其他执行反馈驱动的方法相比，取得了显著改进。我们表明，即使使用 SFT 进行了良好的训练，PLUM 的优势在各种广泛使用的代码 LM 中也始终如一。例如，PLUM 在标准基准测试中平均通过率提高了高达 4.8%，在 LiveCodeBench 上提高了 11.8%，证明了其有效性和泛化能力。我们还通过全面的实验论证了策略内和在线偏好学习的优势。
自适应脑刺激可以通过影响异常的神经活动来治疗帕金森病和中风后运动缺陷等神经系统疾病。由于患者的异质性，每位患者都需要独特的刺激策略才能获得最佳的神经反应。无模型强化学习 (MFRL) 在学习各种类似控制任务的有效策略方面具有前景，但在脑刺激等领域受到需要大量代价高昂的环境交互的限制。在这项工作中，我们介绍了协处理器参与者评论家，这是一种新颖的基于模型的强化学习 (MBRL) 方法，用于学习用于脑刺激的神经协处理器策略。我们的关键见解是，协处理器策略学习是学习如何在世界上最佳行动以及学习如何通过刺激受损大脑在世界上诱导最佳行动的结合。我们证明了我们的方法在样本效率和任务成功方面克服了传统 MFRL 方法的局限性，并在神经学上逼真的受损大脑模型中优于基线 MBRL 方法。
大型语言模型能否通过组合已知的推理来预测新的三段论？更一般地，这类模型从头开始可以学习什么样的目标？最近的研究表明，就表达能力而言，Transformer 可能是图灵完备的，但这并没有解决可学习性问题。本文提出了目标分布的“全局性程度”的概念，以捕捉常规 Transformer 何时能够有效地实现弱学习，其中后者衡量的是除了词元直方图之外，还需要多少词元才能与目标产生非平凡的相关性。正如在附加假设下通过实验和理论所证明的那样，具有高全局性的分布无法有效学习。特别是，三段论无法在长链上进行组合。此外，我们还表明：（i）不可知的备忘录无法帮助打破全局性障碍；（ii）受过训练的备忘录如果在每一步都打破全局性，则可以提供帮助，但是并非所有此类备忘录都能泛化到非分布式 (OOD) 样本；（iii）一种“归纳式备忘录”的概念，它能更有效地组合先验信息，既可以打破全局性障碍，又能提高 OOD 泛化能力。特别是，对于某些算术任务，一些归纳式备忘录可以根据输入格式实现高达 6 倍的长度泛化。
深度状态空间模型 (SSMs) 已在许多任务场景中证明了其有效性，但在实际部署中，由于对抗性扰动 (APs) 的存在，面临着巨大的安全挑战。对抗性训练 (AT) 是增强对抗鲁棒性 (AR) 的一种主流方法，并且已经在各种传统的深度神经网络 (DNN) 架构上得到了验证。然而，其在提高 SSMs 的 AR 方面的有效性仍不清楚。虽然 SSMs 的许多组件改进，例如集成注意力机制和扩展到数据相关的 SSM 参数化，在标准训练 (ST) 设置中带来了显著的收益，但它们在 AT 中的潜在益处仍未得到探索。为了对此进行研究，我们评估了具有 AT 的 SSMs 的现有结构变体，以评估它们的 AR 性能。我们观察到，纯 SSM 结构难以从 AT 中获益，而结合注意力机制则使得 SSMs 在 AT 中的鲁棒性和泛化能力之间取得了明显更好的平衡，优于其他组件。然而，注意力的集成也导致了鲁棒过拟合 (RO) 问题。为了理解这些现象，我们对 AP 下 SSMs 的输出误差进行了经验性和理论性分析。我们发现，固定参数化的 SSMs 的输出误差界限与其参数严格相关，限制了它们的 AT 收益，而输入相关的 SSMs 可能面临误差爆炸的问题。此外，我们表明，注意力组件有效地缩放了 SSMs 在训练过程中的输出误差，使其能够从 AT 中获益更多，但代价是由于其高模型复杂度而引入了 RO。受此启发，我们提出了一种简单有效的自适应缩放 (AdS) 机制，该机制使 AT 性能接近集成注意力的 SSMs，而不会引入 RO 问题。我们的代码可在 https://github.com/Biqing-Qi/Exploring-Adversarial-Robustness-of-Deep-State-Space-Models.git 获取。
预测药物-靶标相互作用 (DTI) 在药物研发过程中至关重要。尽管最近通过整合来自不同药物和靶标编码器的表征，DTI 模型取得了显著进展，但此类模型往往难以捕捉药物和蛋白质之间细粒度的相互作用，即特定药物原子（或亚结构）与蛋白质关键氨基酸的结合，而这对于理解结合机制和优化药物设计至关重要。为了解决这个问题，本文介绍了一种新模型 FusionDTI，它使用基于标记的融合模块来有效学习药物-靶标相互作用的细粒度信息。特别是，我们的 FusionDTI 模型使用药物的 SELFIES 表示来减轻序列片段失效问题，并结合靶蛋白的结构感知 (SA) 词汇来解决氨基酸序列在结构信息方面的局限性，此外还利用在大规模生物医学数据集上广泛训练的预训练语言模型作为编码器来捕捉药物和靶标的复杂信息。在三个著名的基准数据集上的实验表明，与七个现有的最先进的基线相比，我们提出的 FusionDTI 模型在 DTI 预测中取得了最佳性能。此外，我们的案例研究表明，FusionDTI 可以突出潜在的结合位点，增强 DTI 预测的可解释性。
大型语言模型（LLM）中语义概念的线性表示假设认为，语义概念以大型语言模型（LLM）表示空间中的线性方向进行编码。先前的工作已经展示了如何精确地将具有自然对比的二元概念（例如，{男性，女性}）表示为表示空间中的方向。然而，许多自然概念并没有自然的对比（例如，输出是否关于动物）。在这项工作中，我们展示了如何扩展线性表示假设的形式化，以将特征（例如，is_animal）表示为向量。这使我们能够立即将类别概念的形式化表示为表示空间中的多胞体。此外，我们利用这种形式化来证明概念的层次结构与其表示的几何形状之间的关系。我们利用WordNet中的数据，在Gemma和LLaMA-3大型语言模型上验证了这些理论结果，估计了900多个层次相关概念的表示。
行为树 (BT) 凭借其模块化、反应性和鲁棒性，正日益成为机器人技术中流行的控制结构。在 BT 生成方法方面，BT 规划在生成可靠的 BT 方面显示出前景。然而，BT 规划的可扩展性往往受到复杂场景中规划时间过长的限制，这很大程度上是由于缺乏领域知识。相比之下，预训练的大型语言模型 (LLM) 已在各个领域展示了任务推理能力，尽管其规划的正确性和安全性仍不确定。本文提出将 BT 规划与 LLM 推理相结合，引入启发式行为树规划 (HBTP)——一个可靠且高效的 BT 生成框架。HBTP 的关键思想是利用 LLM 进行特定任务的推理以生成启发式路径，然后 BT 规划可以沿着该路径有效地展开。我们首先介绍启发式 BT 展开过程，以及分别针对最优规划和满意规划设计的两种启发式变体。然后，我们提出解决 LLM 推理不准确性的方法，包括动作空间剪枝和反思性反馈，以进一步提高推理精度和规划效率。实验结果证明了 HBTP 的理论界限，来自四个数据集的结果证实了其在日常服务机器人应用中的实际有效性。
扩散模型在图像和视频生成方面展现出巨大的潜力，但从最先进的模型中采样需要对生成性常微分方程进行代价高昂的数值积分。解决这个问题的一种方法是校正流，它迭代地学习不易受截断误差影响的平滑常微分方程路径。然而，校正流仍然需要相对大量的函数评估次数 (NFE)。在这项工作中，我们提出了改进的校正流训练技术，使其即使在低 NFE 设置下也能与知识蒸馏方法竞争。我们的主要见解是，在现实环境下，用于训练校正流的 Reflow 算法的一次迭代就足以学习近乎直线的轨迹；因此，目前使用多次 Reflow 迭代的做法是不必要的。因此，我们提出了改进校正流单轮训练的技术，包括 U 形时间步长分布和 LPIPS-Huber 预度量。利用这些技术，我们在 CIFAR-10 的 1 NFE 设置下，将之前的 2-校正流的 FID 提高了高达 75%。在 ImageNet 64×64 上，我们改进的校正流在单步和两步设置中都优于最先进的蒸馏方法，如一致性蒸馏和渐进式蒸馏，并在 FID 上与改进的一致性训练 (iCT) 的性能相媲美。代码可在 https://github.com/sangyun884/rfpp 获取。
大型语言模型 (LLM) 的最新进展凸显了扩展上下文长度以处理复杂任务的重要性。虽然传统的长上下文训练方法通常使用经过过滤的长文档，但这些方法会导致领域不平衡，从而限制模型性能。为了解决这个问题，已经开发出诸如随机文档拼接（标准方法）和基于相似性的方法（KNN、ICLM）等技术。然而，这些方法要么牺牲语义连贯性，要么牺牲多样性。为了平衡这两个方面，我们引入了 Quest，这是一种以查询为中心的的数据合成方法，它聚合语义相关且多样化的文档。Quest 使用生成模型来预测每个文档的潜在查询，将具有相似查询和关键词的文档分组。大量的实验表明，Quest 在长上下文任务上具有优越的性能，在长达 100 万个 token 的上下文长度下取得了显著的成果，并证实了其在各种模型规模上的可扩展性。