arXiv:2311.18138v5 公告类型: replace-cross
摘要：我们研究一个贝叶斯说服博弈，发送方希望说服接收方采取一项二元行动，例如购买一个产品。发送方了解到（实值）世界状态的信息，比如产品的质量，但是关于接收方的信仰和效用只有有限的信息。受客户调查、用户研究以及人工智能领域最近进展的启发，我们允许发送方通过查询模拟接收方行为的或acles来了解接收方更多信息。在固定次数的查询后，发送方承诺一个消息策略，并且接收方根据收到的消息最大化其预期效用采取行动。对于接收方类型的任意分布，我们刻画了发送方的最优消息策略。然后，我们设计了一个多项式时间的查询算法，优化发送方在该游戏中的预期效用。此外，我们还考虑了近似或acles、更一般的查询结构以及昂贵的查询。
arXiv:2310.18304v4 通知类型: 替换-交叉
摘要: 我们开发了一个灵活的框架，用于非平稳环境下的统计学习。在每个时间周期中，我们的方法应用稳定性原则来选择一个回顾窗口，以最大限度地利用历史数据，同时将累计偏差保持在可接受范围内，相对于随机误差而言。我们的理论和数值实验展示了该方法对未知非平稳性的适应性。当总体损失函数为强凸或仅Lipschitz连续时，我们证明了遗憾界是 minimax 最优的，除非是对数因子。我们分析的核心在于两个新颖的组成部分：函数之间的相似性度量和将非平稳数据序列分割为准平稳片段的技术。
arXiv:2309.17170v2 通知类型: replace-cross
摘要: 目前，马铃薯番茄的称重和包装工作需要大量的手工操作。自动化的主要障碍在于开发一种可靠的机械臂抓取系统来抓取已收获的马铃薯番茄束，这在通常的存储和运输过程中存在大量杂乱物品的情况下尤其困难。我们提出了一种方法，能够在箱中堆叠有大量杂乱物品的马铃薯番茄束上抓取，这是它们在收获后通常的存储和运输方式。该方法包括一个基于深度学习的视觉系统，首先识别箱中的各个马铃薯番茄束，然后确定茎部的合适抓取位置。为此，我们引入了一种具有在线学习能力的抓取姿态排名算法。在选择出最有希望的抓取姿态后，机器人执行捏取抓取而无需使用触觉传感器或几何模型。使用配备眼手RGB-D摄像机的机械臂进行的实验室实验显示，当任务是从一堆中选取所有马铃薯番茄束时，清空率为100%。首次抓取成功率为93%，剩余的7%需要更多的尝试。
arXiv:2309.14054v2 宣布类型: replace-cross
摘要：由于对隐私和合规性日益增长的担忧，监管生成模型的输出变得尤为重要。为此，本工作的目标是从预训练的生成对抗网络（GAN）中防止生成包含不期望特征的输出，而该预训练模型的底层训练数据集不可访问。我们的方法受到以下观察的启发：生成对抗网络的参数空间存在有意义的方向，可以用来抑制特定的不期望特征。然而，这些方向通常会导致生成样本质量的下降。我们提出的一种两阶段方法，称为“Adapt-then-Unlearn”，在能有效去除不期望特征的同时，还能保持生成样本的质量。在初始阶段，我们根据用户提供的包含不期望特征的负样本集对预训练的GAN进行适应。随后，我们使用正样本集以及排斥正则化器重新训练原始的预训练GAN。该正则化器鼓励学习到的模型参数远离适应模型（第一阶段）的参数，而不牺牲生成质量。我们对所提出的方法提供了理论见解。据我们所知，我们的方法是第一个在高保真GAN（如StyleGAN）领域解决学习遗忘问题的方法。我们通过全面的实验验证了该方法的有效性，包括在MNIST和AFHQ数据集上的类别级学习遗忘和在CelebA-HQ数据集上的特征级学习遗忘任务。我们的代码和实现可在以下链接获得：https://github.com/atriguha/Adapt_Unlearn。
arXiv:2210.00116v3 公告类型: 替换交叉
摘要：预测细胞在扰动下的响应可能为药物发现和个性化治疗带来重要益处。在本文中，我们提出了一种新颖的图形变分贝叶斯因果推理框架，以预测细胞在假设性扰动（细胞实际上并未受到的扰动）下的基因表达，利用表示生物知识的基因调控网络（GRNs）信息来辅助个性化细胞响应预测。为了构建一个数据自适应的GRN，我们还开发了一种邻接矩阵更新技术，并将其应用于图卷积网络的预训练中，从而在提升模型性能的同时，对基因关系提供了更深入的见解。此外，我们提出了一种稳健的估计器，用于在我们的框架中进行边际扰动效应的渐进高效估计，在以往的工作中尚未进行此类估计。通过广泛的实验，我们展示了我们的方法在个人响应预测方面相较于最先进的深度学习模型的优势。
arXiv:2209.05935v4 宣布类型: replace-cross
摘要: 当结果是高维的（例如，基因表达、冲击响应、人类面部）且协变量相对有限时，传统因果推理和监督学习方法在估计个体在反事实治疗下的潜在结果方面是一项具有挑战性的任务。在这种情况下，为了构建个体在反事实治疗下的结果，重要的是除了协变量外，还要利用其可观测到的实况结果中包含的个体信息。我们提出了一种深入的变异贝叶斯框架，该框架严谨地整合了两种主要的信息源以构建反事实治疗下的结果：一种信息源是高维实况结果中嵌入的个体特征；另一种信息源是实际上接受该感兴趣治疗的相似主体的响应分布（这些主体具有相同的协变量）。
arXiv:2411.00003v4 提取类型: 代替
摘要：近期在神经组合优化(NCO)方法方面的进展表明，在无需专家量身定制的启发式算法的情况下，可以获得接近最优的解决方案。然而，这些方法的高性能通常依赖于在生成候选解之后进行特定问题的人工专家导向搜索，这限制了它们在诸如旅行商问题(TSP)等常见解决的CO问题中的应用。本文中，我们提出了IC/DC，这是一种无监督的CO框架，可以直接从头开始训练一个扩散模型。我们以一种自监督的方式训练我们的模型，以最小化解决方案的成本并遵守特定问题的约束。IC/DC 特别适用于解决涉及两个不同物品集的CO问题，并且不需要特定问题的搜索过程来生成有效解。IC/DC 采用了一种新颖的架构，能够捕捉物品之间的复杂关系，从而在具有挑战性的CO场景中实现有效的优化。IC/DC 在平行机器调度问题(PMSP)和非对称旅行商问题(ATSP)上的性能优于现有的NCO方法。
arXiv:2410.17883v2 宣告类型: 替换
摘要: 本文介绍了一种新型的移动电话控制架构——轻量级多模态应用控制（LiMAC），用于高效地在各种Android应用之间进行交互和控制。LiMAC接受文本目标和一系列过去的移动观察作为输入，例如截屏和相应的UI树，以生成精确的动作。为了解决智能手机固有的计算限制，我们引入了一个与精细调整的视觉语言模型（VLM）集成的小型动作变换器（AcT），用于实时决策和任务执行。我们使用两个开源移动控制数据集评估了LiMAC，结果显示，与开源VLM的精细调整版本相比，我们的小型元件方法在性能上优越。该方法还显著优于使用封闭源基础模型如GPT-4o的提示工程基线。具体来说，与精细调整的VLM相比，LiMAC的整体动作准确率提高了最多19%；与提示工程基线相比，提高了最多42%。
arXiv:2410.01692v2 宣告类型: 替换
摘要：大规模语言模型（LLMs）在某些下游任务中表现出 emergent 能力，在达到一定阈值后，模型性能起初停滞不前，随后在规模增加时会突然且不可预测地大幅提高。在本工作中，我们通过根据问题难度级别进行组群来研究这一现象，并提供了一种可能的解释。具体来说，我们观察到对于难度高的问题，存在 U 型扩展模式；而对于难度低的问题，则存在倒 U 型扩展模式，随后是稳步改进。这两种扩展模式最初相互抵消，导致整体性能停滞不前。当难度低的问题的扩展模式从倒 U 型返回到标准扩展模式时，性能开始大幅上升，从而表现出 emergent 能力。基于这一发现，我们提出了一个简单且有效的管道，称为 Slice-and-Sandwich，用于预测 emergent 能力出现的阈值和阈值后的模型性能。我们的代码可在 https://github.com/tony10101105/ExpEmergence 获取。
arXiv:2409.08820v2 宣称类型: 替换
摘要：能力问题（CQ）的表述是多种本体开发和评估方法的核心。传统上，构建这些能力问题的任务通常依赖于领域专家和知识工程师的努力，这往往耗时且劳动密集。随着大型语言模型（LLMs）的出现，自动化和增强这一过程变得有可能。与其他类似工作不同，其他工作使用现有的本体或知识图谱作为LLM的输入，我们提出了一种检索增强生成（RAG）方法，该方法使用LLM根据被视为领域知识库的科学论文集自动生成CQ。我们研究了其性能，并具体研究了不同数量的论文对RAG以及不同温度设置的LLM的影响。我们在GPT-4上进行了两个领域本体工程任务的实验，并将结果与领域专家构建的真实CQ进行比较。利用评价指标（精确度和一致性）对结果进行实证评估显示，相比于零样本提示，将相关领域知识添加到RAG中可以提高LLM在为具体本体工程任务生成CQ方面的性能。