arXiv:2502.14048v1 类型: cross
摘要：在本文中，我们提出了两种用于上下文感知系统的技术：语义分解，该技术按顺序将输入提示分解为结构化和分层的信息方案，使系统能够轻松解析和处理；以及选择性上下文过滤，该技术使系统能够系统地过滤掉特定的相关性较低的上下文信息部分，这些信息通过基于NLP的处理管道传递。我们将探讨如何利用这两种技术来实现动态LLM-to-system接口，提高LLM生成更具上下文连贯性的用户面向响应的能力，并优化复杂的自动化工作流和处理管道。
arXiv:2502.14047v1 交叉公告类型
摘要：近年来，有论点认为随着AI模型规模和性能的提升，其表示正变得逐渐一致。设计了实证分析来支持这一观点，并猜测不同的表示将朝向一个共同的现实统计模型趋同。在本文中，我们提出了一种学习理论视角来研究表示一致性。首先，我们回顾并连接了基于度量、概率和谱的想法下的不同一致性观念。然后，我们专注于缝合方法，这是一种理解任务背景下不同表示相互作用的特定方法。我们的主要贡献在于将缝合的性质与底层表示的核一致性联系起来。我们的结果可以被视为将表示一致性转化为学习理论问题的第一步。
arXiv:2502.14045v1 公告类型: cross
摘要：近期在长期时间序列预测方面的进展引入了众多复杂的预测模型，这些模型在性能上持续优于之前发表的架构。然而，这种快速的进步也引发了关于不一致基准测试和报告实践的担忧，这可能削弱这些比较的可靠性。我们的立场强调了从追求越来越复杂的模型转向通过严格的标准化评估方法提升基准测试实践的重要性。为了支持这一论点，我们首先对最流行的基准上的表现最佳的模型进行了全面、详细且可重复的评估，在14个数据集上训练了3,500多个网络。然后，通过综合分析，我们发现实验设置或当前评估指标的微小变化极大地改变了对新发表结果正在推动前沿技术发展的普遍看法。我们的发现表明，需要严格的标准化评估方法，以便做出更有根据的声明，包括可重复的超参数设置和统计检验。
arXiv:2502.14043v1 宣告类型: cross
摘要: 大多数具有后悔保证的强化学习算法依赖于一个关键假设：所有错误都是可恢复的。Plaut等人的近期工作摒弃了这一假设，并提出了通过求助来避免“灾难”（即不可恢复的错误）的算法。然而，他们仅提供了安全性保证，并未考虑奖励最大化。我们证明，在他们设定的任何情况下，避免灾难的任何算法都可在任何马尔可夫决策过程（MDP）中保证高奖励（即亚线性后悔），包括具有不可逆转成本的MDP。这构成了对通用MDP的第一个无后悔保证。更广泛地说，我们的结果可能是首个正式证明，在未知、无限且高风险的环境中，一个代理能够获得高奖励并变得自给自足，同时避免灾难且无需重置的正式证明。
arXiv:2502.14037v1 通告类型: 横向
摘要: 尽管大型语言模型的性能不断提高，但它们仍然倾向于复制训练数据，生成多个重复内容，并专注于最常见的语法结构和词汇。可能的原因是采用的解码策略：最常见的解码策略要么只考虑最可能的标记，从而减少输出的多样性，要么在牺牲输出准确性和正确性的前提下增加不可能标记的可能性。在本文中，我们通过利用标记概率分布的数学分析提出了一种新的解码方法的家族。特别是，按顺序排序的概率之间的差异可以用来避免不正确的标记并增加低概率但准确的词汇出现的机会。关于数学问题解决、极端摘要以及发散关联任务的实验表明，我们的方法在质量和多样性方面至少与当前的替代方案相当。
arXiv:2502.14023v1 宣布类型: cross
摘要：虽然基础人工智能模型在分类和决策任务方面表现出色，但它们的高能耗使得它们不适合受能耗限制的应用。受大脑效率的启发，由于脉冲神经网络（SNNs）具有事件驱动的特性且兼容神经形态芯片，它们已成为一种可行的替代方案。本文提出了一种结合知识蒸馏和集成学习的新型系统，以弥合人工神经网络（ANNs）和SNNs之间的性能差距。一个基础人工智能模型作为教师网络，指导一个由SNN学生组织的集成，称为脉冲神经集成（SNE）。SNE使教师知识的分离成为可能，允许每个学生专注于预测其某个特定方面的内容，同时处理相同的输入。SNE的核心创新在于利用知识蒸馏，在教师特征空间信息分割（分离）增强的基础上，动态激活集成中的一部分SNN模型。通过只动态激活这些SNN学生的一部分，该系统在保持准确性的前提下实现了显著的能耗节省。此外，与教师网络相比，SNE具有更高的效率，在CIFAR-10数据集的准确率下降2%的情况下，计算需求减少了20倍。这种分离过程在CIFAR-10数据集上相对于其他分区方案实现了高达2.4%的准确率提升。最后，我们比较分析了SNE在噪声条件下的性能，展示了其相比其ANN教师增强的鲁棒性。总之，SNE为受能耗限制的应用提供了有前途的新方向。
arXiv:2502.14019v1 类型: cross
摘要：随着文本生成系统生成的输出日益具备拟人化特征，并被认为具有人性化的特征，学者们对这些输出可能引发的负面影响也提出了越来越多的关注，例如用户过度依赖这些系统或对这些系统产生情感依赖。然而，如何干预这些系统输出以减轻拟人化行为及其相关的负面影响，仍研究不足。通过这项工作，我们旨在为开发此类干预措施提供实证和理论基础。为此，我们编纂了一个集成了先前文献和一项众包研究的干预措施清单，参与者在该研究中编辑系统输出以使其显得不那么人性化。基于这份清单，我们还开发了一个概念框架，用于帮助描述可能的干预措施的景观，表述不同类型的干预措施之间的差异，并为评估不同干预措施的有效性提供理论基础。
arXiv:2502.14013v1 提供类型: cross
摘要: 基于DNN或AI的上放大算法因其在机器学习方面的改进而越来越受欢迎。使用CNN、GAN或混合方法的各种上放大模型已公布。大多数模型仅使用PSNR和SSIM或少数示例图像进行评估。但是，缺乏使用广泛的实际图像范围和主观评估的性能评估，而我们在本文中解决了这一问题。为此，我们描述了开发的数据集，该数据集使用136个基础图像和五种不同的上放大方法，即Real-ESRGAN、BSRGAN、waifu2x、KXNet和Lanczos。整个数据集包含1496张标注图像。我们数据集的标注重点在于图像吸引力，并使用我们的开源工具AVRate Voyager通过 crowdsourcing 完成。我们评估了不同方法的吸引力，结果表明Real-ESRGAN和BSRGAN表现最好。此外，我们训练了一个DNN来检测使用了哪种上放大方法，训练模型在我们的评估中表现出良好的整体性能。此外，我们还评估了最先进的图像吸引力和质量模型，但这些模型的预测性能并不高，因此我们也训练了两种自己的方法。第一个使用迁移学习具有最佳性能，第二个模型使用基于信号的特征和随机森林模型，整体性能良好。我们将数据和实现分享出来，以促进开放科学研究背景下的进一步研究。
arXiv:2502.14011v1 宣传类型: cross
摘要: 物联网生成大量数据流，边缘计算正在成为在线物联网应用和5G网络的关键使能器。边缘解决方案促进了实时机器学习推理，但也需要对概念漂移进行持续适应。基于集成的方法能够提高预测性能，但会带来更高的资源消耗、延迟和内存需求。本文介绍了DFDT：动态快速决策树，这是一种为能量高效和内存受限的数据流挖掘设计的新算法。DFDT通过根据传入数据动态调整宽容期、平局阈值和拆分评估来提高Hoeffding树生长效率。它结合了更严格的评估规则（基于熵、信息增益和叶子实例数），自适应扩展模式以及叶子禁用机制来管理内存，从而在频繁访问的节点上进行更多的计算，而在其他节点上节省能量。实验表明，所提出的框架可以在受限的内存和VFDT或SVFDT所需的一小部分运行时间内实现提高的预测性能（排名为0.43 vs 0.29）。
arXiv:2502.14010v1 交叉类型: cross
摘要: 大型语言模型（LLMs）展示了令人印象深刻的上下文中学习（ICL）能力，使它们能够在呈现中仅使用几个示例来执行新任务。已经提出了两种不同的机制来解释ICL：找到并复制相关令牌的归纳头部，以及激活计算ICL任务的潜在编码的功能向量（FV）头部。为了更好地了解是哪一个机制驱动ICL，我们在12个语言模型中研究并比较了归纳头部和FV头部。
通过详细的消融实验，我们发现少样本ICL性能主要依赖于FV头部，尤其是在更大的模型中。此外，我们发现FV头部和归纳头部之间存在联系：许多FV头部在训练过程中最初是归纳头部，然后过渡到FV机制。这促使我们推测归纳头部促进了学习更复杂的FV机制，最终驱动ICL。