arXiv:2503.21392v2 宣告类型: replace-cross
摘要：在锂离子电池（LIB）健康管理系统中准确预测剩余使用寿命（RUL）对于确保操作可靠性与安全性至关重要。然而，许多现有方法假设训练和测试数据遵循相同的分布，限制了它们向未见过的目标域推广的能力。为了解决这个问题，我们提出了一种新颖的RUL预测框架，该框架结合了领域适应（DA）技术。该框架集成了一个包含降噪、特征提取和归一化的信号预处理管道，以及一个称为HybridoNet Adapt的稳健深度学习模型。该模型通过结合LSTM、多头注意力和神经ODE层进行特征提取，之后是两个具有可训练权衡参数的预测模块。为提高泛化能力，我们采用了灵感来自于领域对抗神经网络（DANN）的DA策略，用最大均值偏差（MMD）替代对抗损失来学习领域不变特征。实验结果显示，HybridoNet Adapt在可扩展性和可靠性方面显著优于传统模型如XGBoost和Elastic Net，以及基于双输入DNN的深度学习基线，展示了其在电池健康管理（BHM）方面的潜力。
arXiv:2503.07137v3 宣布类型: 替换交叉
摘要：人工智能（AI）已经在许多领域取得了惊人的成就，特别是在基础大型模型的发展突破之后。这些大型模型利用其大量的训练数据，为广泛下游任务提供了灵活的解决方案。然而，随着现代数据集变得越来越多样化和复杂，大型AI模型的发展面临两大挑战：（1）巨大的计算资源消耗和部署困难，以及（2）适应异构和复杂数据的难度，这限制了模型的应用性。专家混合模型（MoE）最近引起了广泛关注，通过动态选择和激活最相关的子模型来处理输入数据，来解决这些挑战。研究表明，MoE可以在资源更少的情况下显著提高模型性能和效率，尤其在处理大规模、多模态数据方面表现出色。鉴于MoE在各个领域所展示出的巨大潜力，迫切需要对其在许多重要领域的最新进展进行全面总结。现有的MoE综述存在一些局限性，例如过时或缺乏对某些关键领域的讨论，我们旨在弥补这些差距。在这篇文章中，我们首先介绍了MoE的基本设计，包括门控函数、专家网络、路由机制、训练策略和系统设计。然后，我们探讨了MoE在连续学习、元学习、多任务学习和强化学习等重要机器学习范式中的算法设计。此外，我们总结了旨在理解MoE的理论研究，并回顾了其在计算机视觉和自然语言处理中的应用。最后，我们讨论了有前景的未来研究方向。
arXiv:2503.02497v2 通告类型: replace-cross
摘要：大型语言模型（LLMs）在代码生成、自然语言处理和领域特定推理方面展现出非凡的能力。然而，它们在量子软件开发中的应用仍然鲜有探索，特别是对于PennyLane——一个领先的混合量子经典计算框架。为了解决这一缺口，我们引入了一个新颖且高质量的数据集，包含3,347个PennyLane特定的量子代码样本及其上下文描述，旨在支持LLM的训练和微调，以提供量子代码辅助。我们的贡献包括三个方面：（1）从教材、官方文档和开源仓库中自动构建和开源发布了一个综合性的PennyLane数据集；（2）一种结构化的数据收集、标注和格式化方法，以增强LLM的可用性和相关性；以及（3）使用基线检索增强生成（RAG）和GraphRAG增强流水线对代码生成能力进行严格的评估。通过PennyLang框架，我们展示了，当GraphRAG应用于GPT-4o Mini模型时，其性能显著优于标准提示和基线RAG。准确率从不使用RAG的20.5%提高到使用GraphRAG的58.2%，展示了它在减少幻觉并提高量子编程任务中代码准确性方面的效果。与主要集中在Qiskit上的先前努力相比，我们的工作将LLM驱动的辅助扩展到了PennyLane生态系统，提供了实用的工具和可再现的方法，以促进人工智能辅助的量子软件开发。
arXiv:2502.19413v2 宣告类型: 替换-交叉
摘要：付费墙、许可证和版权规则常常限制科学知识的广泛传播和再利用。我们认为，从学术文本中提取科学知识既在法律上也是技术上可行的。当前的方法，如文本嵌入，难以可靠地保留事实内容，而简单的改写可能在法律上站不住脚。我们提出一种新想法供社区采纳：使用大语言模型（LLMs）将学术文档转化为知识保存但风格无关的表现形式，我们称之为知识单元（Knowledge Units）。这些单元使用结构化数据捕捉实体、属性和关系，而不包含风格化内容。我们提供了证据表明（1）知识单元形成了基于德国版权法和美国合理使用原则的法律上可行的知识共享框架；（2）测量结果显示，知识单元保留了原始文本中约95%的事实知识，通过四个研究领域的选择题（MCQ）测试来评估保留的知识。从版权中释放科学知识为科学研究和教育带来了变革性的好处，允许语言模型重新使用受版权保护文本中的重要事实。为了支持这一点，我们分享了将研究文档转换为知识单元的开源工具。总体而言，我们的研究工作提出了在尊重版权的同时，实现科学知识普及的可能性。
arXiv:2502.13845v2 更新类型: 替换交叉
摘要：由于缺乏显式的推理建模，现有的基于LLM的推荐未能充分利用LLM的推理能力。本文提出了一种名为CoT-Rec的流水线，将两种关键的链式思考（CoT）过程——用户偏好分析和物品感知分析——整合到基于LLM的推荐中，从而增强LLM推理能力的利用。CoT-Rec包括两个阶段：（1）个性化信息提取，其中提取用户偏好和物品感知，以及（2）个性化信息利用，其中将这些信息整合到基于LLM的推荐过程中。实验结果表明，CoT-Rec有望改进基于LLM的推荐。实现代码已在https://github.com/jhliu0807/CoT-Rec 公开 available。
arXiv:2502.13843v2 宣言类型: replace-cross
摘要：基于LLM的用户代理通过模拟用户交互行为，正逐渐成为增强推荐系统的一个有前景的方法。在现实世界场景中，用户的交互通常表现出跨域特性，并受到其他因素的影响。然而，当前方法中的记忆设计使得用户代理在跨域场景中进行决策时会引入大量无关信息，并使其无法识别其他用户交互的影响，如流行因素。为解决这一问题，我们提出了一种结合两步融合机制的双层记忆架构。该设计在进行决策时避免了无关信息的引入，同时确保了跨域偏好高效的整合。此外，我们引入了兴趣群体和群体共享记忆的概念，以便更好地捕捉类似兴趣用户受流行因素影响的情况。全面的实验验证了AgentCF++的有效性。我们的代码可在https://github.com/jhliu0807/AgentCF-plus获得。
arXiv:2502.13840v2 宣布类型: replace-cross
摘要: 推荐系统利用广泛的用户交互数据来建模偏好；然而，直接建模这些数据可能会引入偏向于流行项目的比例偏差。在本文中，我们证明了这种偏向性起源于训练过程中倾向性因素的影响。基于这一洞察，我们提出了一个公平采样（FS）方法，确保每个用户和每个项目在同一时间有同等的可能被选为正样本和负样本，从而减轻倾向性因素的影响。所提出的FS方法无需估计倾向性分数，因此避免了由于估计不准确而导致未能完全消除流行项目偏向性的风险。全面的实验表明，所提出的FS方法在点-wise 和 pair-wise 推荐任务中均实现了最先进的性能。代码实现可通过 https://github.com/jhliu0807/Fair-Sampling 获得。
arXiv:2502.13407v2 通知类型: replace-cross
摘要：深度学习在遥感图像变化检测（CD）领域取得了显著成功，但仍存在两大挑战：亚米级的全面开源CD数据集稀缺以及在变化区域不同的图像上实现一致和满意的检测结果具有困难。为解决这些问题，我们引入了JL1-CD数据集，该数据集包含5,000对分辨率为0.5到0.75米的512 x 512像素图像对。该数据集涵盖了由人类活动和自然变化引起的各种变化，包括建筑物、道路、硬化表面、森林、草地、农田、水域和光伏板等。此外，我们提出了一种新颖的多师知识蒸馏（MTKD）框架，并采用了Origin-Partition（O-P）策略来增强CD性能。在O-P策略中，我们根据变化区域比（CAR）将训练数据分为三类，分别训练小、中、大CAR值的模型，从而减轻每个模型的学习负担，并在各自的分区中提升其性能。在此基础上，我们的MTKD框架将多个在不同CAR分区上训练的教师模型的知识蒸馏到一个学生模型中，使学生模型在各种CAR场景下都能达到优异的检测结果，而无需在推理阶段增加额外的计算或时间开销。在JL1-CD和SYSU-CD数据集上的实验结果表明，MTKD框架显著提升了各种网络架构和参数规模下的CD模型性能，并实现了新的最先进的结果。JL1-CD数据集和代码可在https://github.com/circleLZY/MTKD-CD获取。
arXiv:2501.17176v2 宣告类型: 替换-交叉
摘要：由于大型语言模型（LLMs）的出现，实现师生比1:1的梦想比以往任何时候都更近。这些模型在教育领域的潜在应用之一是为大学生的编程入门课程提供反馈，以便遇到基本实现问题的学生可以寻求24/7可用的语言模型的帮助。本文侧重于研究这种应用相关的三个方面。首先，评估了两个著名模型GPT-3.5T和GPT-4T在为学生提供反馈方面的性能。实验证明GPT-4T的表现远远优于GPT-3.5T，然而尚不适用于实际情境。这是因为生成错误信息的可能性，这些潜在用户可能无法总能检测到。其次，文章提出了一种精心设计的提示，利用上下文学习技术，能够自动化评估过程中的重要部分，并提供反馈中包含错误信息比例的下限，从而节省时间和精力。这得益于生成的反馈具有可程序化分析的结构，整合了语言模型在解决请求任务方面表现的诊断信息。第三，文章还建议了一种基于语言模型的实用学习工具的实施策略，该策略根植于提出的提示技术。这种方法从教育角度来看，开启了大量有趣的可能性。
arXiv:2501.15708v3 宣告类型: replace-cross
摘要：分类任务在情境学习（ICL）范式中得到了广泛的研究。然而，当前的努力是在不相交的基准和设置上进行评估的，而这些性能受到了一些琐碎变量的影响，例如提示模板、数据采样、指令等，这导致了在各种文献中报告结果的一致性较差，阻碍了不同论文之间的公平比较或元分析。因此，本文提出了一套标准化且易于使用的评估工具包（StaICC）用于情境分类。对于普通的分类任务，我们提供了StaICC-Normal，选择了10个广泛使用的数据集，并生成固定形式的提示，以减轻实验实现之间的差异性影响。为了丰富我们基准的使用，我们还提供了StaICC-Diag子基准，用于从多个方面诊断ICL，旨在实现更稳健的推断处理。