arXiv:2501.09751v2 宣布类型: replace-cross
摘要：使用大型语言模型进行机器写作通常依赖于检索增强的生成。然而，这些方法仍受限于模型预定义的范围，限制了丰富信息内容的生成。具体而言， vanilla 的检索信息往往缺乏深度、新颖性，并且存在冗余，这会负面影响生成的文章质量，导致浅薄、不original和重复的输出。为了解决这些问题，我们提出了 OmniThink，这是一种模拟人类渐进扩展和反思过程的机器写作框架。OmniThink的核心思想是模拟学习者在逐渐加深对主题理解时的认知行为。实验结果表明，OmniThink在不牺牲连贯性和深度等指标的情况下，可以提高生成文章的知识密度。人类评估和专家反馈进一步突显了OmniThink在处理长篇文章生成的实际挑战方面的潜力。
arXiv:2412.14497v2 宣告类型: replace-cross
摘要：从观察数据中估计治疗效果在各个研究领域引起了广泛关注。然而，许多广泛使用的方 法依赖于未混杂性假设，由于无法观察到所有混杂因素，这种假设往往是不现实的，从而忽略了潜在混杂因素的影响。为了解决这一限制，最近的方法利用辅助网络信息来推断潜在混杂因素，从而放松了这一假设。然而，这些方法通常将观测变量和网络仅视为潜在混杂因素的代理，当某些变量影响治疗而不影响结果，或反之亦然时，这可能导致准确性问题。这种不同潜在因素的混叠损害了治疗效果估计的精确性。为克服这一挑战，我们提出了一种新颖的解耦变分图自编码器，用于网络观察数据中的治疗效果估计。我们的图编码器将潜在因素分解为工具、混杂、校正和噪声因素，并通过希尔伯特-施密特独立性准则强制因子独立。在多个网络数据集上的广泛实验表明，我们的方法优于现有最先进的方法。
arXiv:2412.12468v2 宣告类型: replace-cross
摘要：用户定向，即从候选用户池中选择目标用户以供非专家营销者使用的过程，在数字营销的推动下引起了大量关注。然而，现有的用户定向方法遇到了两个主要挑战：(i) 跨领域和跨场景的转移性和泛化能力差，以及(ii) 实际应用中的预测能力不足。这些限制阻碍了它们在各种工业场景中的应用。本工作中，我们提出了一种工业级、可转移和可预测的用户定向基础模型——FOUND。为了增强跨领域的转移性，我们的框架整合了异质多场景用户数据，并通过对比预训练将它们与一语定向的需求输入对齐。为了提高预测性，每个用户的文本描述基于预期的未来行为得出，而用户表示则是基于历史信息构建的。实验结果表明，在跨领域的实际用户定向场景中，我们的方法显著优于现有基准，展示了FOUND的优越能力。此外，我们的方法已在支付宝平台上成功部署，并广泛应用于各种场景。
arXiv:2412.06148v2 通知类型: replace-cross
摘要: 在本文中，我们通过使用电路复杂性框架来分析 Mamba 和状态空间模型（SSMs）的计算限制。尽管 Mamba 具有状态设计，并且近期被认为是超越变换器的强大候选者，但我们已经证明，无论是具有 $\mathrm{poly}(n)$ 精度和常数深度层的 Mamba 还是 SSMs，都局限于 $\mathsf{DLOGTIME}$-统一的 $\mathsf{TC}^0$ 复杂性类。这个结果表明，从理论上讲，Mamba 与变换器具有相同的计算能力，并且如果 $\mathsf{TC}^0 \neq \mathsf{NC}^1$，Mamba 无法解决算术公式问题、布尔公式值问题和排列合成问题。因此，这挑战了 Mamba 在计算表达能力上优于变换器的假设。我们的贡献包括严格的证明，表明选择性 SSM 和 Mamba 架构可以由 $\mathsf{DLOGTIME}$-统一的 $\mathsf{TC}^0$ 电路模拟，并且它们无法解决 $\mathsf{TC}^0$ 之外的问题。
arXiv:2412.03718v2 宣告类型: replace-cross
摘要: 在离线多目标优化（MOO）中，我们利用包含设计及其关联标签的离线数据集同时最小化多个目标。这种设置比单目标优化更接近复杂的现实世界问题。最近的工作主要采用进化算法和贝叶斯优化，但很少关注此类数据中固有的生成建模能力。在本研究中，我们通过流匹配探索离线MOO中的生成建模，流匹配因其有效性和效率而受到重视。我们介绍了ParetoFlow，该模型专门设计用于引导流采样以逼近帕累托前沿。传统的预测器（分类器）引导对于这种目的而言是不足的，因为它们仅对单个目标进行建模。作为回应，我们提出了一种多目标预测器引导模块，该模块为每个样本分配一个权重重矢量，表示在多个目标预测上的加权分布。为了解决非凸帕累托前沿问题，我们引入了一种局部过滤方案。这些权重均匀覆盖整个目标空间，有效地引导样本生成朝向帕累托前沿。由于具有相似权重的分布往往会生成相似的样本，我们引入了邻域进化模块以促进相邻分布之间的知识共享。该模块从这些分布中生成后代样本，并选择其中最有前途的一个进行下一次迭代。我们的方法在各种任务中达到了最先进的性能。
arXiv:2411.09429v4 宣告类型: replace-cross
摘要：先进材料的发现是人类技术发展和进步的基础。材料的结构及其相应的性质本质上是晶格、电荷、自旋、对称性和拓扑性等多种自由度复杂相互作用的结果。这为材料的逆设计方法带来了巨大的挑战。长期以来，人类通过大量的实验探索新材料，并提出了相应的理论体系来预测新材料的性质和结构。随着计算能力的提高，研究人员逐渐开发出了各种电子结构计算方法，如密度泛函理论和高通量计算方法。近年来，计算机科学领域人工智能技术的迅速发展使得有效表征材料性质与结构之间的隐含关联成为可能，从而为功能材料的逆设计开辟了高效的范式。基于生成和判别模型的材料逆设计取得了显著进展，引起了研究人员的广泛关注。考虑到这一快速的技术进步，在这篇综述中，我们通过介绍背景、关键发现和主流技术发展路线，回顾了人工智能驱动的材料逆设计的最新进展。此外，我们总结了未来方向所面临的挑战。这份综述提供了人工智能驱动的材料逆设计的最新概览，可以作为研究人员的有用资源。
arXiv:2411.03675v2 通知类型: 替换交叉
摘要：虽然大规模语言模型（LLMs）已经成为优秀的写作助手，但在引语生成方面仍然面临挑战。这是因为它们要么在提供事实引语时产生了幻觉，要么无法提供超出人类期望的引语。为了解决这个问题，我们系统地研究了如何评估和提高LLMs在引语生成任务中的性能。我们首先建立了一个针对引语生成任务的全面自动评估系统，该系统包含五个标准，每个标准都有相应的自动指标。为了提高LLMs的引语生成能力，我们构建了一个涵盖广泛维度且内容丰富的双语知识库，包含多达32,022条引语。此外，在我们的标准指导下，我们进一步设计了一个专门用于重新排名知识库中检索到的引语的指标。广泛的实验表明，我们的指标与人类偏好高度相关。现有的LLMs很难生成所需引语，但我们的引语知识库和重新排名指标有助于缩小这一差距。我们的数据集和代码可在https://github.com/GraceXiaoo/QUILL 公开获取。
arXiv:2411.03292v2 宣告类型: replace-cross
摘要：多模态大型语言模型（MLLMs）在设计到代码任务中表现出色，即从UI原型生成UI代码。然而，现有的基准仅包含静态网页，忽略了动态交互，限制了生成网页的实用性和可用性以及用户的参与度。
为弥补这些差距，我们进行了首个系统研究，探讨MLLMs在生成交互式网页方面的应用。具体来说，我们提出了交互到代码任务，并建立了Interaction2Code基准，包括127个独特的网页和涵盖15种网页类型及31类交互的374种不同的交互。通过使用最先进的（SOTA）MLLM进行全面实验，并通过自动指标和人工评估进行评估，我们识别出MLLM在交互到代码任务中的四个关键限制：（1）与完整页面相比，交互生成不足；（2）容易出现十种类型的失败；（3）对视觉上微妙的交互表现不佳；（4）在仅限单模态视觉描述的情况下对交互的理解不足。为解决这些限制，我们提出了四种增强策略：交互元素突出显示、失败感知提示（FAP）、视觉显著性增强以及视觉描述与文本描述的结合，所有策略均旨在改善MLLMs在交互到代码任务中的表现。Interaction2Code基准及代码可在 https://github.com/WebPAI/Interaction2Code 获取。
arXiv:2411.00138v4 Announce Type: replace-cross
摘要：获得连续软机器人的动态模型是软机器人分析和控制的核心，研究者们已将大量注意力集中在提出数据驱动和基于原理的解决方案的挑战上。然而，这两种途径都显示出其局限性；前者缺乏结构，在训练数据之外表现不佳，而后者在实践中需要大量的简化和广泛的专业知识。本文介绍了一种简洁的方法，用于学习低维度的、基于物理的模型，这些模型既准确又易于解释。我们首先提出了一种算法，该算法利用图像数据（即形状演化）来确定描述软机器人运动所需的最小必要段。随后，我们应用动态回归和应变稀疏化算法来识别相关的应变并定义模型的动力学。我们通过使用各种平面软操纵器进行仿真，验证了该方法，并将其性能与其他学习策略进行了比较，展示了我们的模型不仅在计算效率方面表现优异，在训练分布外的输入上还比其他模型准确25倍。最后，我们证明了由于该方法能够生成物理兼容模型的能力，所学模型可以简便地与基于模型的控制策略结合使用。
arXiv:2410.23506v2 宣布类型: replace-cross
摘要: 我们引入了"信念状态变换器"，这是一种同时接受前缀和后缀作为输入的下一个标记预测器，其新颖的目标是预测前缀的下一个标记和后缀的前一个标记。信念状态变换器有效地学习解决传统仅向前的变换器在处理困难问题时遇到的挑战，这种学习是跨领域的。这种成功的关键在于学习一种紧凑的信念状态，这种信念状态能够捕捉到准确预测所需的所有相关信息。实证消融实验表明，在标准变换器表现不佳的困难场景中，模型的每个组成部分都是必不可少的。对于已知前缀和后缀的故事情节写作任务，我们的方法能够超越中间填空方法以达到已知目标，并在目标未知时也展示了更好的性能。总的来说，信念状态变换器能够在小型问题上实现更高效的条件解码、更好的测试时推理以及高质量的文字表示。网址: https://sites.google.com/view/belief-state-transformer