arXiv:2502.04219v1 类型: cross
摘要: 在本文中，我们提出了一种基于新颖方法的工具，该方法受到自然语言处理(NLP)方法的启发，用于分析.NET CLR事件日志。我们的研究旨在通过详细的事件日志分析来满足软件系统有效监控和优化的日益增长的需求。我们利用了基于BERT的架构，并对其进行了增强的事件日志定制标记化处理。该工具是使用Python及其库和SQLite数据库开发的，既可用于学术目的的实验，又可有效解决新兴的行业任务。我们的实验表明，我们的方法在压缩事件序列、检测重复模式和识别异常方面具有有效性。训练后的模型在异常检测中的准确率很高，这显示了NLP方法提高软件系统可靠性和稳定性的潜力。
arXiv:2502.04210v1 类别:交叉学科
摘要：我们探讨了因果性、对称性和压缩之间的关系。我们在因果模型不可识别的情况下，建立并推广了学习与压缩之间的已知联系。我们提出了一种框架，在这种框架中，因果性作为通过跨多个环境压缩数据的必然结果而出现。我们定义了算法因果性，作为当传统因果可识别性假设不成立时因果性的替代定义。我们展示了如何通过最小化柯尔莫戈洛夫复杂性的上界来实现算法因果性和对称结构的出现，而无需了解干预目标。我们假设这些见解也可能为因果性在大型语言模型等机器学习模型中的出现提供一种新的视角，其中因果关系可能无法明显地识别出来。
arXiv:2502.04194v1 宣告类型: cross
摘要: 高质量的监督微调（SFT）数据对于从预训练的大语言模型（LLMs）中激发出色的能力至关重要。通常，指令会与多种响应配对，这些响应是从其他LLMs中采样出来的，往往与目标模型的分布不符。在大规模情况下，这会导致报酬递减甚至损害模型的性能和鲁棒性。我们提出了一种名为**GRAPE**的新型SFT框架，该框架考虑了目标模型的独特特性。对于每一个指令，GRAPE都会从各种LLMs中收集响应，并选择由目标模型测量概率最高的一条，表明它与目标模型的预训练分布最一致；然后进行标准的SFT训练。
我们首先通过一个受控实验评估了GRAPE，其中在UltraInteract中为每个问题从多个模型中采样各种解决方案，并在GRAPE选择的数据上对LLaMA3.1-8B、Mistral-7B和Qwen2.5-7B等常用的LM进行微调。GRAPE在这方面的表现显著优于强基准模型，包括绝对收益高达13.8%的最佳模型蒸馏，以及在基准测试中使用3倍数据训练的最大性能提升17.3%。GRAPE的强劲表现适用于现实场景。我们尝试了用于Tulu3和Olmo-2的后训练数据。与在4.5倍数据上训练的强基准模型相比，GRAPE平均性能提升6.1%；与最先进的数据选择方法相比，平均性能提升3%。令人惊讶的是，使用数据的1/3和一半的迭代次数，GRAPE使LLaMA3.1-8B超越了Tulu3-SFT 3.5%的性能。
arXiv:2502.04172v1 Announce Type: cross
摘要：先验分析（AA）是一种矩阵分解方法，它通过凸组合的数据点表示（称为先验点）来识别独特的模式，并通过先验点的凸组合重建每个数据点，从而形成表示数据中独特方面之权衡的多面体。AA因此形成一个多面体来表示数据中独特方面的权衡。现有的大多数AA方法都是为连续数据设计的，并没有利用数据分布的结构。本文我们提出了两种新的针对二元数据的AA优化框架。i）基于伯努利分布的AA似然函数的二阶逼近，并利用活跃集程序高效地更新定义先验点的凸组合，以及一种逐次最小优化策略来学习特定观察的重建。ii）基于伯努利似然函数的原始开发用于最小二乘优化的主凸包分析（PCHA）算法的版本。我们这些方法与依赖于增广更新的唯一现有二元AA过程进行了比较，并在合成和真实二元数据上展示了它们的优势。值得注意的是，我们提出的AA的优化框架 easily 可以扩展到其他数据分布，提供基于定制似然函数的通用高效优化框架，这些似然函数反映了底层的数据分布。
arXiv:2502.04153v1 宣告类型: cross
摘要：指令遵循使得现代大规模语言模型（LLMs）成为了有用的助手。然而，在复杂指令方面驯服LLMs的关键仍然神秘莫测，因为开源社区训练的模型与领先公司训练的模型之间存在巨大差距。为了弥合这一差距，我们提出了一种简单且可扩展的方法UltraIF，以使用开源数据构建能够遵循复杂指令的LLMs。UltraIF首先将现实世界用户提示分解为更简单的查询、约束以及相应评价问题。然后，我们训练了一个UltraComposer来组合与约束相关的提示和评价问题。这种提示组合器使我们能够合成复杂的指令，并利用评价问题来筛选响应。在我们的实验中，我们首次成功地将LaLLaMa-3.1-8B-Base对齐到其指令版本，在没有使用任何基准信息的情况下，在5个指令遵循基准上达到了与其指令版本相当的表现，仅使用8B模型作为响应生成器和评估器。对齐后的模型也在其他基准上取得了竞争力的表现。此外，我们还展示了UltraIF可以通过自我对齐进一步提高LaLLaMa-3.1-8B-Instruct的表现，这激励了该方法在更广泛用例中的应用。我们的代码将在https://github.com/kkk-an/UltraIF上提供。
arXiv:2502.04140v1 交叉公告类型：cross
摘要：许多物理过程可以通过偏微分方程（PDEs）来表达。此类过程的现实世界测量数据通常在空间上分布在不规则的点上，可以有效地表示为图；然而，目前现有的数据集还很少。我们的工作旨在通过创建和利用基于PDEs的数据集，使PDE建模领域的进展能够被时间图机器学习社区所利用，同时解决数据稀缺性问题。在本文中，我们创建并使用基于PDEs的合成数据集来支持机器学习中的时空图建模，以供不同应用使用。更具体地说，我们展示了三个方程来建模流行病学、大气颗粒和海啸波三大领域的不同类型的灾难和危害。此外，我们展示了如何通过在流行病学数据集上基准测试几种机器学习模型来使用这些创建的数据集。我们还展示了对这个数据集进行预训练如何提高在真实世界流行病学数据上的模型性能。所介绍的方法使其他人能够根据个人需求创建数据集和基准测试。我们的方法和创建的三个数据集的源代码可以在https://github.com/github-usr-ano/Temporal_Graph_Data_PDEs找到。
arXiv:2502.04128v1 类型: 交叉
摘要：最近基于文本的大语言模型（LLMs）的发展，特别是在GPT系列和O1模型中，展示了在训练时间和推理时间计算方面扩展的有效性。然而，当前使用LLMs的先进文本到语音（TTS）系统往往是多阶段的，需要单独的模型（例如，LLM之后的扩散模型），这使在训练或测试期间是否扩展特定模型变得复杂。本工作做出了以下贡献：首先，我们探索了语音合成中训练时间和推理时间计算的扩展。其次，我们提出了一种名为Llasa的简单框架，该框架使用单层向量量化（VQ）编解码器和单个Transformer架构，完全符合标准的LLMs，如Llama。我们的实验表明，Llasa的训练时间计算量的扩展始终可以提高合成语音的自然性，并且能够生成更复杂和准确的韵律模式。此外，从推理时间计算扩展的角度来看，我们使用语音理解模型作为搜索过程中的验证器，发现推理时间计算量的扩展会使采样模式偏向特定验证器的偏好，从而提高情感表达力、音色一致性和内容准确性。此外，我们发布了我们的TTS模型（1B、3B、8B）和编解码器模型的检查点和训练代码，使它们公开可用。
arXiv:2502.04110v1 宣告类型：交叉
摘要：实现沉浸式学习案例描述的一致性是至关重要的，但也是一个挑战，这主要是由于研究重点、方法论和研究人员背景的差异。我们通过利用浸没式学习案例表（ILCS），一种标准化案例描述的方法论工具来应对这些挑战，我们将其应用于一个在VRChat上关于古希腊技术的沉浸式学习案例。研究团队成员对ILCS和案例内容的熟悉程度不同，因此我们开发了一个定制版的ChatGPT助手，以促进团队在术语和流程上的一致性。本文构成了结构化案例报告如何成为沉浸式学习文献的新型贡献的范例。我们的发现表明，ILCS支持对案例的有结构的反思和解释。此外，我们报告指出，使用ChatGPT助手显著支持了团队成员在最终完成ILCS过程中的一致性和质量。这一成果展示了利用AI驱动的工具来增强质性教育研究中的协作和研究实践标准化的潜力。然而，我们还讨论了限制和挑战，包括依赖AI进行解释任务以及管理团队中不同的专业水平。因此，这项研究为AI在标准化沉浸式学习研究流程中的实际应用提供了见解。
arXiv:2502.04103v1 宣布类型：交叉
摘要：大型语言模型（LLMs）的快速演变已经改变了人机交互（HCI），但与LLMs的交互目前主要集中在文本交互上，而其他多模态方法仍然未被充分探索。本文介绍了VTutor，这是一个开源软件开发工具包（SDK），它将生成型AI与先进的动画技术相结合，以创建引人入胜、可适应且逼真的多模态代理（APAs）用于人机多媒体交互。VTutor利用LLMs进行实时个性化反馈，先进的唇同步以实现自然的语音对齐，并通过WebGL渲染无缝集成到网页中。支持各种2D和3D角色模型，VTutor使研究者和开发者能够设计出具有情感共鸣、上下文适应性强的学习代理。该工具包增强了学习者参与度、反馈接受度以及人机交互，同时推动了教育中的可信赖AI原则。VTutor为下一代APAs树立了新的标准，提供了一种可访问且可扩展的解决方案，用于培养有意义且沉浸式的人机交互体验。VTutor项目是开源的，并欢迎社区驱动的贡献和展示。
arXiv:2502.04098v1 交叉公告类型
摘要：视觉语言模型（VLMs）在视觉问答和图像字幕等任务中表现出色。然而，VLMs 往往受限于它们使用预训练图像编码器（如CLIP），这导致了图像理解错误，从而影响整体性能。此外，实际应用通常要求模型能够不断适应新数据，而这些数据往往数量有限。为解决这些问题，我们提出了一种名为LoRSU（低秩适应与结构化更新）的稳健且计算效率高的方法，用于选择性地更新VLM中的图像编码器。LoRSU引入了结构化和局部化的参数更新，有效纠正了之前错误的数据表现，同时保持了模型的总体鲁棒性。我们的方法利用理论洞见来识别并更新最关键参数，实现了显著的资源效率。具体而言，我们证明LoRSU相比全面更新VLM在计算开销上降低了超过25倍，而不牺牲性能。在少量样本连续学习设置下的图像字幕任务实验结果验证了LoRSU的可扩展性、效率和有效性，使其成为资源受限环境中图像编码器适应的有力解决方案。