arXiv:2410.12538v2 宣告类型: 交叉替换
摘要：自动驾驶车辆（AVs）进入交通系统为提高道路安全性和效率提供了前所未有的机会。然而，了解自动驾驶车辆和人类驾驶车辆（HVs）在交叉口的交互行为仍是一个开放的研究问题。本研究旨在通过利用Waymo和Lyft提供的两个大规模AV数据集来弥合这一差距，研究无信号交叉口处AVs和HVs的行为差异和适应性。通过使用系统的方法，研究通过对碰撞时间（TTC）、侵入后时间（PET）、最大所需减速（MRD）、时间优势（TA）以及速度和加速度剖面等关键安全性和效率指标的计算，来识别和分析结合和穿越冲突。研究结果揭示了混合交通流中的悖论：虽然AVs保持更大的安全裕度，但其保守行为可能会导致意外情况，从而可能造成不安全的状况。从性能角度来看，人类驾驶员在与AVs交互时表现出比与其他HVs更一致的行为，这表明AVs可能有助于交通流模式的和谐。此外，在Waymo和Lyft车辆之间观察到了显著差异，这突显了在交通建模和管理策略中考虑制造商特定AV行为的重要性，以促进AVs的安全集成。本研究中使用的处理数据集已公开发布，以促进对AV-HV交互的研究。
arXiv:2410.11348v2 宣告类型: replace-cross
摘要：奖励模型在对齐或评估LLMs时经常被用作人类偏好的代理。然而，奖励模型是一个黑箱，通常不清楚它们实际上是在奖励什么。本文中，我们开发了基于重写的影响度量估计器（RATE）作为有效的方法，用于测量奖励模型对响应高层属性（如情感、有用性和复杂性）的灵敏度。重要的是，RATE衡量的是属性对奖励的因果效应。RATE使用LLMs重新编写响应，生成不完美的反事实实例，可用于衡量因果效应。一个关键挑战是，这些重写是不完美的，可能会在估计奖励模型对属性灵敏度时引入大量偏差。RATE的核心思想是通过重新编写两次来调整这种不完美的重写效应。我们建立了RATE过程的有效性，并通过实验证明它是有效的估计器。
arXiv:2410.09718v2 宣告类型: replace-cross
摘要: 潮汐能是提高可再生能源渗透率的关键组成部分之一。潮汐能并入电力网络的程度取决于潮电流速预测的准确性。潮电流速预测的不准确性影响了并入的程度。以往的研究主要使用物理模型进行潮电流速预测。然而，由天体轨道周期影响的潮电流速变化使得精确的物理建模变得困难。准确预测潮电流速的关键在于研究潮汐的多周期性。本文中，我们提出了小波增强卷积网络（WCN）以学习多周期性。该框架将一维潮流水流数据内的周期内和跨周期变化嵌入到二维张量的行和列中。然后，序列的二维变化可以通过卷积核进行处理。我们还将时间-频率分析方法整合到框架中，以进一步解决局部周期特征。此外，为了增强框架的稳定性，我们使用树结构帕兹估计算法优化了框架的超参数。所提出的框架避免了学习多周期性的不足。相比于基准模型，在10步预测中，所提出的框架分别将绝对平均误差和均方误差最多降低了90.36%和97.56%。
arXiv:2410.09615v2 类型：替换-交叉
摘要：针对大语言模型（LLMs）的常规模型压缩技术可以解决高内存消耗和慢推理问题，但通常需要耗费大量计算资源的重新训练以保持准确度。相比之下，单次压缩方法可以消除重新训练的成本，但在准确度方面往往难以匹及稠密模型。本文提出了SLIM，这是一个全新的单次压缩框架，将硬件友好型量化、稀疏性和低秩逼近整合到一个统一的过程中。首先，我们使用一种概率方法（SLIM-Quant）来制定量化过程，这使我们能够应用均匀量化。然后，我们使用现有的单次剪枝方法在量化权重上应用半结构化稀疏性。最后，为了补偿引入的聚合量化和稀疏性误差，我们使用了一种具有独特可逆性和加性特征的新颖显著函数，这使我们能够对低秩适配器的值进行数学计算。SLIM在2:4稀疏性与4位权重量化条件下，将LLaMA-2-7B模型的准确度提高了最多5.66%，相比之前的方法表现更优。使用SLIM压缩的模型在Nvidia RTX3060和A100 GPU上分别实现了最高3.78倍和3.75倍的层间加速。我们还提出了一种可选的PEFT菜谱，在无需微调的情况下将LLaMA-2-13B模型的准确度进一步提高了最多1.66%。
arXiv:2410.06883v3 公告类型: replace-cross
摘要：突触图网络（SGNs）因其在图分类中解决能耗挑战的能力吸引了研究人员和业界的兴趣。然而，SGNs 只适用于分布内数据，并不能处理分布外数据。本文中，我们首先提出了 SGNs 中的领域适应问题，并引入了一种名为 Degree-aware Spiking Graph Domain Adaptation for Classification（DeSGDA）的新型框架。提出的 DeSGDA 在三个方面解决了 SGNs 中的领域适应问题：节点度感知的个性化突触表示、对抗特征分布对齐以及伪标签精炼。首先，我们介绍了生成度依赖突触信号的个性化表示方法。具体来说，节点度决定了触发突触的阈值，这使得这种个性化方法能够捕捉更多用于分类的表达性信息。然后，我们提出了一种对抗性训练的图特征分布对齐模块，该模块使用膜电位对抗领域鉴别器进行训练。这种对齐模块可以在特征分布不一致的情况下有效地保持高性能和低能耗。此外，我们从两个空间中提取一致的预测来生成可靠的伪标签，有效地利用未标记的数据来提高分类性能。在基准数据集上的大量实验验证了 DeSGDA 相较于竞争性基线的优越性。
arXiv:2410.04081v2 宣布类型: replace-cross
摘要：在生成建模中，分词将复杂的数据简化为紧凑的结构化表示，从而创建一个更高效的可学习空间。对于高维视觉数据，它可以减少冗余并强调关键特征，以实现高质量的生成。当前的视觉分词方法依赖于传统的自编码器框架，其中编码器将数据压缩到潜在表示中，解码器重建原始输入。在这项工作中，我们提出了一个新的视角，通过提出去噪作为解码，将单步重构转变为迭代细化。具体来说，我们用一个扩散过程替代解码器，该过程根据编码器提供的潜在表示逐步细化噪声以恢复原始图像。我们通过评估重构（rFID）和生成质量（FID）来评估我们的方法，并将其与最先进的自编码方法进行比较。通过采用通过扩散进行的迭代重构，我们的自编码器，即$\epsilon$-VAE，实现了高质量的重构，这反过来又通过22%的下游生成质量提升和2.3倍的推理速度提升，提升了生成质量。我们希望这项工作为将迭代生成和自编码集成以提高压缩和生成提供新的见解。
arXiv:2410.03738v2 类型: replace-cross
摘要：聚类分析在各个领域和应用中起着至关重要的作用，例如市场营销中的客户细分。这些场景通常涉及多模态数据，包括表格数据和文本数据集，这使得难以表示隐藏的模式以获得有意义的聚类。本研究引入了ERASMO框架，该框架旨在对预训练的语言模型进行微调，使其能够处理文本编码的表格数据，并从微调的模型中生成嵌入。ERASMO采用文本转换器将表格数据转换为文本格式，从而使语言模型能够更有效地处理和理解数据。此外，ERASMO通过随机特征序列打乱和数字名词化等技术生成丰富上下文和结构代表性的嵌入。采用了多个数据集和基准方法进行了广泛的实验评估。我们的结果表明，ERASMO充分利用了每个表格数据集的特定上下文，从而产生了更精确和细腻的嵌入，以实现准确的聚类。这种方法通过捕获不同表格数据中的复杂关系模式来提高聚类性能。
arXiv:2410.01871v2 宣告类型：替换交叉
摘要：在“快速行动与打破规则”的时代，监管机构未能迅速应对因故障的人工智能（AI）部署而留下的安全、偏见和法律问题碎片。尽管关于如何解决最先进的AI模型的安全性、偏见和法律问题进行了大量合乎情理的讨论，但缺乏严格的和现实的数学框架来监管AI。我们的论文应对了这一挑战，提出了一种基于拍卖的监管机制，该机制可证明激励设备（i）部署合规模型和（ii）参与监管过程。我们将AI监管形式化为一个全额支付拍卖，企业提交模型以获得批准。监管机构实施合规门槛，并进一步奖励那些表现出比其同行更高合规度的模型。我们推导出纳什均衡，表明理性的行为人将提交超出规定合规门槛的模型。实证结果显示，与基础监管机制相比，我们的监管拍卖将合规率提高了20%，参与率提高了15%，并且优于仅施加最低合规标准的更简单的框架。
arXiv:2410.01066v2 宣告类型: replace-cross
摘要: 当使用检索增强生成（RAG）时，基于大型语言模型（LLM）的自然语言查询到结构化和正确的SQL转换正在大幅提升最先进的技术水平。与之前的回顾不同，本文综述提供了一种全面的研究基于LLM的文本到SQL系统的演变，从早期的基于规则的模型到使用（RAG）系统的高级LLM方法。我们讨论了基准、评估方法和评估指标。同时，我们还独特地研究了使用图RAG在这些系统中实现更好的上下文准确性和模式链接。最后，我们强调了计算效率、模型稳健性和数据隐私等关键挑战，以改进基于LLM的文本到SQL系统。
arXiv:2409.19689v2 宣传类型: 交叉替换
摘要：理解婴儿哭声的意义是年轻父母照顾新生儿时的一项重大挑战。背景噪音的存在和缺乏标注数据给开发能够检测哭声并分析其背后原因的系统带来了实际挑战。在这篇论文中，我们提出了一种新的数据驱动框架“InfantCryNet”，以解决这些问题。为了解决数据稀缺的问题，我们采用了预训练的音频模型来将先前的知识纳入到我们的模型中。我们提出使用统计聚合和多头注意力聚合技术以更有效地提取特征。此外，我们应用了知识蒸馏和模型量化以提高模型效率并减少模型大小，更好地支持在移动设备上的工业部署。在真实数据集上的实验表明，所提出的框架在分类准确性方面优于最先进的基线方法，提高了4.4%。模型压缩有效减少了模型大小7%，而不影响性能，并且最多可减少28%，同时仅将准确性降低8%，为模型选择和系统设计提供了实用的见解。