arXiv:2504.06438v1 类型: cross
摘要：大规模语言模型（LLMs）展示了生成流畅且上下文相关响应的巨大能力。然而，当用户查询包含一个或多个虚假前提（与已建立的事实相矛盾的断言）时，它们可能会产生虚构的输出。此类前提可能导致LLMs提供虚构或误导性的细节。现有的方法包括预训练、微调和推理时的技术，这些方法通常依赖于访问logits，或者在虚构发生后才进行处理。这些方法往往计算成本高昂，需要大量的训练数据，或者缺乏预防生成前虚构发生的主动机制，这限制了它们在实时应用中的效率。我们提出了一种检索为基础的框架，可以在生成之前识别和处理虚假前提。我们的方法首先将用户的查询转换为逻辑表示，然后使用检索增强生成（RAG）来使用事实来源评估每个前提的有效性。最后，我们将验证结果纳入LLM的提示中，以确保最终输出的准确性。实验结果显示，这种方法有效地减少了虚构的输出，提高了事实准确性，并不需要访问模型logits或大规模微调。
arXiv:2504.06436v1 类别: cross
摘要：作为大规模语言模型的领先例子，ChatGPT 和 Gemini 声称提供准确且无偏的信息，强调其对政治中立和避免个人偏见的承诺。这项研究调查了大型语言模型的政治倾向以及查询语言是否存在差异。为此，使用了 14 种不同的语言对 ChatGPT 和 Gemini 进行了政治轴测试。研究结果表明，这些大型语言模型确实表现出政治倾向，两者都显示出自由派和左翼偏见。对比分析显示，Gemini 在自由派和左翼倾向上比 ChatGPT 更明显。研究还发现，这些政治偏见会根据查询语言的不同而有所不同。研究探讨了构成政治倾向和语言差异的因素，包括教育数据来源和范围的差异、语言的结构和语法特征、文化与政治背景以及模型对语言特征的响应。从这一角度和伦理角度来看，建议人工智能工具应避免声称缺乏政治倾向和中立性，而是努力追求政治中立，并在执行用户查询时考虑这些倾向。
arXiv:2504.06413v1 交叉类型: 剪贴
摘要：量子计算利用量子比特的独特属性和量子并行性来解决古典系统无法处理的问题，提供了无与伦比的计算潜力。然而，量子电路的优化对于具有有限量子比特和高错误率的嘈杂的中等规模量子（NISQ）设备而言依然至关重要。遗传算法（GAs）提供了一种通过自动化优化任务来高效合成量子电路的有前景的方法。本文研究了遗传算法框架下各种变异策略对量子电路合成的影响。通过对不同变异如何改变电路进行分析，识别出了能够提升效率和性能的策略。实验使用了一个侧重于保真度的适应度函数，同时考虑电路深度和T操作，以优化四到六个量子比特的电路。全面的超参数测试表明，结合删除和交换策略的表现优于其他方法，证明了它们在开发基于遗传算法的稳健量子电路优化器方面的有效性。
arXiv:2504.06407v1 Announce Type: 横跨领域
摘要：机器遗忘的目的是在无需从头重新训练完整模型的情况下，移除训练好的模型中的不需要信息。尽管近期有所进步，但它们的基本损失景观和优化动力学却较少受到关注。在这篇文章中，我们通过模式连通性的视角来研究和分析机器遗忘——这是一种独立训练的模型可以在参数空间中通过平滑低损失路径相互连接的现象。我们定义并研究了遗忘过程中多种未被注意的情况下的模式连通性，包括不同遗忘方法之间的连接、使用和未使用递增学习的模型，以及使用一阶和二阶技术优化的模型。我们的发现显示了不同评估指标沿着曲线的不同波动模式，以及不同遗忘方法之间的机械（不）相似性。据我们所知，这是首次在机器遗忘的背景下研究模式连通性的研究。
arXiv:2504.06404v1 宣布类型: cross
摘要: 本文提出了一种从噪声测量数据中估计动态驾驶状态（位置、速度、加速度和航向）的方法。所提出的方法在完全观测和部分观测的情况下都有效，能够生成具有动力学一致性、确保速度是加速度的积分以及位置是速度的积分的精炼轨迹信号。此外，该方法考虑了车辆只能在其方向上移动的约束。该方法实现为一个可配置的 Python 库，并且还允许基于位置数据进行轨迹估计。对状态变化进行了正则化以避免极端变化。一个关键应用是增强记录的轨迹数据，以便将其用作机器学习模型的参考输入。最后，文章展示了该方法的结果，并与真实数据进行了比较。
arXiv:2504.06330v1 Cross-domain Few-shot Object Detection in Aerial Images with Low-Rank Adaptation (LoRA)
摘要：本文研究了Low-Rank Adaptation (LoRA) 在小模型中用于跨域少样本目标检测在航空图像中的应用。LoRA 原本是为大规模模型设计的，它有助于减轻过拟合，因此在资源受限的环境中具有很大的前景。我们将 LoRA 集成到 DiffusionDet 中，并在 DOTA 和 DIOR 数据集上评估其性能。我们的结果显示，在初始微调后应用 LoRA 略微提高了低样本设置（例如 1 射和 5 射）下的性能，而在高样本配置中，完全微调仍然更为有效。这些发现突显了 LoRA 在航空目标检测中高效调整的潜力，并鼓励进一步研究参数高效微调策略以应用于少样本学习。我们的代码可在以下链接获取：https://github.com/HichTala/LoRA-DiffusionDet。
arXiv:2504.06328v1 归类类型: cross
摘要: 几何机器学习(GML)已经表明，在数据空间中遵循非欧几里得几何可以相对于朴素的欧几里得假设显著提高性能。同时，量子机器学习(QML)作为一种新兴的范式已经出现，它利用量子态流形中的叠加、纠缠和干涉来进行学习任务。本文提供了一种统一的观点，将QML视为GML的一个专门但更为表达的分支。我们认为，无论是纯态还是混合态的量子态都位于弯曲流形上（例如，投影希伍尔空间或密度运算子流形），类似于协方差矩阵存在于对称正定（SPD）矩阵流形上，或图像集占据格拉斯曼流形。然而，QML还受益于纯粹的量子性质，例如由纠缠引起的曲率，这些性质可以产生更丰富的内核结构和更细腻的数据嵌入。
我们通过已发表和新讨论的结果来说明这些想法，包括用于糖尿病足溃疡分类和结构健康监测的混合经典-量子管道。尽管近期内硬件限制限制了纯粹量子解决方案的应用，但混合架构已经通过结合基于流形的经典特征提取与量子嵌入展示了实际效益。我们详细讨论了量子态的几何基础，强调了与经典黎曼几何和基于流形的优化的平行关系。最后，我们概述了开放的研究挑战和未来方向，包括量子大型语言模型（LLMs）、量子强化学习以及新兴硬件方法，展示了如何通过结合GML和QML原则来解锁下一代机器智能。
arXiv:2504.06325v1 交叉发布类型：跨学科
摘要：准确和精细化的乘客流量预测对于优化大规模交通枢纽内多种集散模式的协作管理至关重要。传统方法往往只关注总体乘客量，而忽略了枢纽内不同模式之间的相互依赖关系。为了解决这一局限，我们提出了一种基于动态时空图建模的综合多模式预测框架 MM-STFlowNet。首先，通过信号分解和卷积技术实现集成的时间特征处理策略，以应对数据峰值和高波动性。随后，我们引入了时空动态图卷积循环网络(STDGCRN)，以捕捉多交通模式之间的详细时空依赖关系，该网络通过自适应通道注意力机制得到了增强。最后，应用自注意力机制以纳入各种外部因素，进一步提高预测准确性。在中国广州南火车站的真实数据集上的实验结果表明，MM-STFlowNet 达到了最先进的性能，特别是在高峰时段，它为交通节点的管理提供了宝贵的见解。
arXiv:2504.06324v1 Announce Type: cross
摘要：随着大型语言模型（LLMs）越来越多地融入我们的日常生活，了解其潜在偏见和道德倾向变得越来越重要。为了解决这个问题，我们引入了一个基于道德基础理论的道德基础LLM数据集（MFD-LLM），该理论通过六个核心基础来概念化人类道德。我们提出了一个新颖的评估方法，通过回答一系列真实世界的道德困境来捕捉LLMs揭示出来的完整道德偏好谱系。我们的研究发现，最先进的模型在价值偏好方面表现出惊人的同质性，但在一致性方面却表现出不足。
arXiv:2504.06323v1 宣告类型: cross
摘要: 广泛的计算和内存需求限制了大型语言模型（LLMs）在任何硬件上的部署。压缩方法，如剪枝，可以减小模型大小，进而减少资源需求。最先进的剪枝方法基于粗粒度的方法。它们耗时且不可避免地移除了关键的模型参数，影响剪枝后模型的质量。本文提出了投影剪枝，这是一种新颖的细粒度方法，用于剪枝LLMs。此外，提出了我们称之为组合投影剪枝的新方法，它是无结构剪枝和结构剪枝的协同组合，无结构剪枝保留了准确性，结构剪枝减少了模型大小。我们开发了Mosaic，这是一种新型系统，使用组合投影剪枝来创建和部署剪枝的LLMs。Mosaic在多个硬件平台、LLMs和数据集上使用一系列性能和质量指标进行了评估。Mosaic在生成模型方面比现有方法快7.19倍。Mosaic模型在困惑度方面比粗粒度剪枝获得的模型低84.2%，在准确性方面高31.4%。对于Mosaic模型，推理速度提高高达67%，GPU内存使用量降低高达68%。