arXiv:2502.08896v1 交叉类型:
摘要:大规模语言模型(LLMs)在生成有说服力的对话方面展现了出色的技巧,然而人们对它们输出的流畅性和 sophistication(复杂性/精致性)仍有顾虑。本文提出了一种多LLM通信框架,旨在增强自动生成有说服力数据的能力。该框架促进了高质量、多样性的语言内容的高效生产,并且在最少的人工监督下完成。通过广泛的评估,我们展示了生成的数据在自然性、语言多样性以及策略性使用说服技巧方面表现出色,即使在涉及社会禁忌的复杂场景中也是如此。该框架还证明了其在新颖情境下的泛化能力。我们的结果显示了该框架在涉及说服性沟通的计算科学和社会科学研究领域中的巨大潜力。
arXiv:2502.08886v1 交叉领域类型: cross
摘要:随着生成人工智能(GenAI)在各行各业中的地位和实用性不断加强,其在物联网(IoT)安全领域的整合也快速演进。本文深入探讨了当前文献和实际应用,研究GenAI如何提高和完善IoT安全领域的应用。我们的研究旨在映射当前GenAI在IoT安全领域的实施状况,探讨其进一步强化安全措施的潜力。通过收集、综合和分析应用于IoT的最新GenAI技术进展,本文不仅为该领域提供了新的见解,还为未来的研究方向奠定了基础。它解释了IoT安全领域的现有挑战,讨论了GenAI在解决这些问题方面的有效性,并通过MITRE Mitigations标识出了重要的研究缺口。伴随三个案例研究,本文提供了GenAI在IoT安全领域进展及未来前景的全面概述。本研究为通过创新应用GenAI提高IoT安全奠定了基础资源,从而为IoT安全和科技整合的更广泛讨论做出了贡献。
arXiv:2502.08884v1 声明类型: cross
摘要: 过程表示是一种理想的、多功能且流行的形状编码方式。无论是手动创作还是使用数据驱动的方法来创作它们,仍然是具有挑战性的,因为一个良好的过程表示应该紧凑、直观且易于操作。形状分析长期存在的一个问题是,如何发现一个可重用的过程函数库,这些函数具有语义对齐的外露参数,能够解释整个形状家族。我们提出了ShapeLib作为第一个利用先进语言模型先验知识来设计3D形状抽象函数库的方法。我们的系统接受两种形式的设计意图:函数的文本描述(包括在库中应包含的函数)和种子形状的示例集。我们通过提出并验证函数的应用和实现来发现符合这种设计意图的过程抽象。库中发现的形状函数不仅表达能力强,还能超越种子集泛化到整个形状家族。我们训练了一个识别网络,该网络能够从不同的视觉模态(原语、体素、点云)中学习推断基于我们库的形状程序。我们的形状函数具有语义可解释的参数,可以通过修改这些参数来生成合理的形状变化。我们展示了这使得通过文本提示可以成功操作推断出的程序。我们在不同的数据集上评估了ShapeLib,并展示了与现有方法和替代方案相比的明显优势。
arXiv:2502.08869v1 类型: cross
摘要:时间序列分析从传统的自回归模型、深度学习模型,发展到了近期的Transformer和大型语言模型(LLMs)。在这一过程中,也有研究利用视觉模型进行时间序列分析,但由于该领域主要集中在序列建模研究上,这些努力在社区中的可见度较低。然而,连续时间序列与LLMs中的离散标记空间之间的差异,以及在多变量时间序列中明确建模变量间关系的挑战,已将一些研究注意力转向了同样成功的大型视觉模型(LVMs)和视觉语言模型(VLMs)。为填补现有文献中的空白,本文综述了视觉模型在时间序列分析中的优势。本文提供了现有方法的全面而深入的概述,并从两方面的详细分类中回答了关键研究问题,包括如何将时间序列编码为图像,以及如何建模成像的时间序列以供各种任务使用。此外,本文还讨论了框架中前期和后期处理步骤中的挑战,并概述了进一步利用视觉模型提升时间序列分析的未来方向。
arXiv:2502.08834v1 宣告类型: cross
摘要: 扩散模型已经迅速成为许多不同数据模态生成任务中的最新技术。扩散模型的重要能力之一是能够将来自数据分布的样本重新编码回采样先验分布。这对于通过连续伴随方程进行现实数据样本的修改以及引导生成非常有用。我们提出了一种代数可逆求解器,它可以准确地将现实数据样本重新映射回先验分布。
arXiv:2502.08828v1 交叉公告类型:研究论文
摘要:表格数据是生命科学、医疗保健和市场营销等领域中最广泛使用的数据格式之一。随着人工智能向数据为中心的视角发展,提高表格数据的质量对于增强表数据驱动应用的模型性能至关重要。本文综述了数据驱动的表格数据优化,具体探讨了作为改进数据空间基础技术的强化学习(RL)和生成方法在特征选择和特征生成中的应用。特征选择旨在识别和保留最具信息量的属性,而特征生成则构建新的特征以更好地捕捉复杂的数据模式。我们系统地回顾了现有的表格数据工程生成方法,分析了它们的最新进展、实际应用及其各自的优点和局限性。本文强调了基于RL和生成技术如何促进特征工程的自动化和智能化。最后,我们总结了现有的挑战,并讨论了未来的研究方向,旨在提供推动该领域持续创新的见解。
arXiv:2502.08826v1 类型:交叉学科
摘要:由于依赖静态训练数据,大型语言模型(LLMs)在幻觉和过时知识方面存在困难。检索增强生成(RAG)通过集成外部动态信息来缓解这些问题,增强了事实和更新的知识基础。近期多模态学习的进步催生了多模态RAG的发展,将文本、图像、音频和视频等多种模态整合在一起,以增强生成输出。然而,跨模态对齐和推理给多模态RAG带来了独特的挑战,将它与传统的单模态RAG区分开来。本综述提供了多模态RAG系统的结构化和全面分析,涵盖了数据集、度量、基准、评估、方法论以及检索、融合、增强和生成的创新。我们精确地回顾了训练策略、鲁棒性增强和损失函数,并探讨了多样的多模态RAG场景。此外,我们讨论了开放的挑战和未来的研究方向,以支持该不断发展的领域的进步。本综述为开发更强大和可靠的AI系统奠定了基础,这些系统能够有效利用多模态动态外部分知识库。资源可在 https://github.com/llm-lab-org/Multimodal-RAG-Survey 获取。
arXiv:2502.08821v1
公告类型: cross
摘要: 近年来,生成模型的发展,如扩散模型和生成对抗网络(GANs),在互联网上各个领域中引发了惊人的AI生成图像的兴起。虽然这些技术具有普及艺术创作的好处,但也带来了信息误导、数字伪造和真实性验证等方面的挑战。此外,AI生成图像在媒体和营销中的未署名使用引发了在线社区的强烈反对。为应对这一问题,我们引入了DejAIvu,这是一个结合了实时AI生成图像检测和基于显著性的可解释性的Chrome扩展程序。通过使用优化的ONNX深度学习模型,DejAIvu自动分析诸如Google Images之类的网站上的图像,使用模型推断识别AI生成的内容,并叠加显著性热图以突出显示与AI相关的特征。我们的方法结合了高效在浏览器中的推断、基于梯度的显著性分析和无缝的用户体验,确保AI检测是透明且可解释的。我们还在多个预训练架构和基准数据集上评估了DejAIvu,展示了其高准确性和低延迟,使其成为提高AI图像问责制的实用且可部署的工具。此系统的代码可在https://github.com/Noodulz/dejAIvu找到。
arXiv:2502.08806v1 类型:交叉
摘要:软件测试是软件开发的一个关键方面,然而生成测试案例仍然是工程师的一项常规任务。本文介绍了一个基准测试,称为CLOVER,用于评估模型在特定条件下生成和完成测试案例的能力。这些任务从简单的断言完成扩展到涵盖多个文件中的特定代码块的测试案例编写,基于12个Python仓库,分析了845个问题,上下文长度从4k到128k不等。利用代码测试框架,我们提出了一种方法,使用覆盖信息构建检索上下文。虽然模型在短上下文下的性能相当,但在16k上下文时,差异明显。值得注意的是,如GPT-4o和Claude 3.5等模型能够有效地利用相关片段;然而,所有模型在复杂任务III中得分均低于35%,即使提供了 oracle 上下文。这突显了基准测试的重要性及其为模型改进提供的潜力。该基准测试容器化以便跨任务执行代码,并且我们将发布代码、数据和构建方法。
arXiv:2502.08792v1 类别: cross
摘要: 我们研究了一个贝叶斯机制设计问题,其中卖方希望通过向 n 个买家中的一个出售一件不能分割的商品来最大化收入,同时考虑到来自机器学习模型的买家私有价值可能不可靠的预测(信号)。我们提出了一种框架,在这种框架中,这些信号有时反映了买家的真实估值,但有时则是幻觉,这些幻觉与买家的真实估值无关。我们的主要贡献是在这种框架下对最优拍卖机制的刻画。我们的刻画表明,对于一个买家的情况,卖方的最佳策略是根据信号之一发布三个相当直观的价格中的一个,我们称之为“忽略”、“跟随”和“封顶”行动。