arXiv:2403.01875v4 宣告类型: replace-cross
摘要：在不确定性下的决策问题中，预测未知参数通常被认为是与优化部分独立的。决策导向学习（DFL）是一种以任务为导向的框架，通过调整预测模型来为相应的任务提供更好的决策。当计算参数相对于最优决策的梯度时，会遇到一个不可避免的挑战。现有研究通过平滑地重新定义替代优化或构建模仿任务损失的替代损失函数来应对这一问题。然而，它们仅适用于受限的优化领域。在本文中，我们提出了一种全局替代损失模型——局部凸全球损失网络（LCGLN），该模型可以在通用的DFL框架中实现。LCGLN利用部分输入凸神经网络来学习任务损失，在选定的输入上保证凸性，而对于其他输入则保持非凸的全局结构。这使得LCGLN可以通过单一的替代损失并且不需要为选择合适的形式感来实现通用的DFL。通过评估我们提出的模型在三种随机决策问题中的有效性，我们验证了LCGLN的有效性和灵活性。
arXiv:2402.15589v2 宣告类型: 更新交叉
摘要：学术同行评审过程中最重要但也极其繁重的任务之一是撰写元审稿，这涉及汇总多名专家的不同意见，形成高级专家自身的判断，并将各种观点综合成一个简洁的整体概述，以作出整体建议。这一过程耗时且容易受到人类因素如疲劳、不一致、遗漏细节等的影响。考虑到大型语言模型（LLMs）的最新重大进展，认真研究LLMs能否帮助元审稿人员更好地完成这一重要任务是非常引人入胜的。在本文中，我们对三种流行的LLMs——GPT-3.5、LLaMA2和PaLM2——进行了一项案例研究，以帮助元审稿人员更全面地理解多位专家的观点，生成多视角总结（MPS）。为此，我们根据最近提出的TELeR分类法，为三种LLMs提供了不同类型的/级别的提示。最后，我们对LLMs生成的MPS进行了详细的定性研究，并报告了我们的发现。
arXiv:2402.14029v3 宣告类型: replace-cross
摘要: 随机初始化的密集网络包含一些在不需要权重学习的情况下就能实现高准确率的子网络——强大的赛马票（Strong Lottery Tickets, SLTs）。近日，Gadhikar等人（2023）展示了在随机剪枝的源网络中也可以找到SLTs。这一现象可用于进一步压缩SLTs所需的较小内存大小。然而，他们的方法仅限于比源网络更稀疏的SLTs，导致由于无意的高稀疏性而降低准确率。本文提出了一种方法，用于减少SLTs所需的内存大小，而不限制可以找到的SLTs的稀疏度。通过永久剪枝或将其锁定为SLT的固定部分来冻结初始权重的一部分，从而减小模型大小。实验结果表明，冻结网络中的Edge-Popup（Ramanujan等人，2020；Sreenivasan等人，2022）在找到SLTs时相比密集源网络或随机剪枝源网络具有更好的准确率-模型大小折衷。特别是，在ImageNet上冻结ResNet的70%提供了与在密集对应物中找到的SLT相比3.3倍的压缩比，与在随机剪枝对应物中找到的SLT相比提高了最多14.12的准确率，并且比两者都提供了更好的准确率-模型大小折衷。
arXiv:2401.17417v2 Announce Type: replace-cross
摘要：本文提出了一种针对墙体穿透场景从WiFi信道状态信息（CSI）合成图像的开创性方法。利用WiFi的优势，如成本效益、光照不变性和墙体穿透能力，我们的方法能够在不使用摄像头的情况下跨房间边界进行室内环境的视觉监控。更广泛地说，它通过解锁基于图像的下游任务选项，例如视觉活动识别，提高了WiFi CSI的可解释性。为了实现从WiFi CSI到图像的跨模态转换，我们依赖于一种适应我们问题特定性的多模态变分自编码器（VAE）。我们通过架构配置的消融研究和重建图像的定量/定性评估，广泛评估了我们提出的方法。我们的结果证明了该方法的可行性，并突显了其在实际应用中的潜力。
arXiv:2401.14295v4 宣告类型: 替换-交叉
摘要：自然语言处理（NLP）领域在过去几年中取得了显著进展，特别是在通过创新的提示技术提高大型语言模型（LLM）性能方面。在这之中，结合结构的提示工程已成为一种有前途的范式，设计如Chain-of-Thought、Tree of Thoughts或Graph of Thoughts等，整体LLM推理由一个结构如图指导。通过大量示例的说明，这种范式显著增强了LLM解决各种任务的能力，从逻辑或数学推理到规划或创造性写作。为了促进对该领域增长的理解并为未来的发展铺平道路，我们提出了一种有效的和高效的LLM推理方案的一般蓝图。为此，我们对提示执行管道进行了深入分析，澄清并明确定义了不同的概念。随后，我们构建了第一个结构增强型LLM推理方案的分类体系。我们着重于识别被利用的基本结构类别，并分析了这些结构的表示、使用这些结构执行的算法，以及其他许多方面。我们将这些结构称为推理拓扑，因为它们的表现部分具有空间性特征，这些结构都处于LLM上下文中。我们使用提出的分类体系比较了现有的提示方案，讨论了某些设计选择如何导致性能和成本的不同模式。我们还概述了理论基础，提示与LLM生态系统中的其他部分如知识库之间的关系，以及相关的研究挑战。我们的工作将有助于推进未来的提示工程技术。
arXiv:2401.10036v2 宣告类型: 替换-跨领域
摘要: 安全运营中心(SoC)分析师从广泛可访问的全球威胁库中收集威胁报告，并根据其组织的需求定制信息，例如开发威胁情报和安全政策。他们还依赖于组织内部的仓库，这些仓库充当私有的本地知识数据库。这些本地知识数据库存储着可靠的网络威胁情报、关键的操作和基础设施细节。SoC需要进行一项耗时的劳动密集型任务，利用这些全球威胁库和本地知识数据库来创建针对组织特定的威胁情报和缓解策略。最近，大型语言模型(LLMs)展示了有效处理各种知识来源的能力。我们利用这一能力来自动化生成组织特定的威胁情报。我们提出了一个名为LocalIntel的新型自动化威胁情报上下文框架，该框架可以从全球威胁库检索零日漏洞报告，并利用其本地知识数据库来确定影响和缓解策略，以提醒和协助SoC分析师。LocalIntel包含两个关键阶段：知识检索和上下文化。定量和定性评估表明，它可以生成高达93%准确的组织威胁情报，且同行评估的一致性达到64%。
arXiv:2311.08170v2 宣布类型: replace-cross
摘要：晶格基底约简是一个组合优化问题，旨在找到给定晶格中最正交的基底。伦斯特拉-伦斯特拉-洛瓦兹（LLL）算法是文献中解决该问题的最佳算法。鉴于最近关于算法发现的研究，本文旨在回答这样一个问题：是否可以通过神经网络参数化晶格基底约简问题的空间，并在无监督数据的情况下找到一个算法？我们的策略是使用共变和不变参数化，并采用自我监督方式进行训练。我们设计了一个深层神经模型，输出因子化的单位矩阵，并通过惩罚非正交晶格基底的方式以自我监督方式进行训练。我们通过使模型对环境空间的等距变换和缩放不变，并使模型对超立方体群进行共变变换（该群通过置换和翻转晶格基底元素），将晶格基底约简的对称性纳入模型中。我们展示了这种方法在一组基准测试上产生的算法与LLL算法具有可比的复杂度和性能。此外，鉴于某些无线通信应用的需求，我们将方法扩展到卷积架构，该架构可以对网格排列的空间相关晶格进行联合约简，从而将成本分摊到多个晶格上。
arXiv:2311.01030v2 Announce Type: replace-cross
摘要：aspect 基于情感分类（ASC）的目标是判断给定 aspect 词在句子中所传达的情感极性。情感极性不仅由局部语境决定，还与远离给定 aspect 词的词语有关。最近基于注意力机制的大多数研究尚不能在某些情况下充分区分它们应该更加关注哪些词语。同时，基于图的模型正在被引入 ASC 中以编码句法依赖树信息。但这些模型并未充分发挥句法依赖树的作用，因为它们未能有效结合依赖关系标签信息以进行表示学习。本文通过有效建模局部和全局特征来解决这些问题。首先，我们设计了一个局部编码器，包含：一个高斯掩码层和一个协方差自注意力层。高斯掩码层倾向于自适应调整 aspect 词周围的接受域，以减弱无关词语的影响，更多地关注局部信息。协方差自注意力层可以更明显地区分不同词语的注意力权重。此外，我们通过充分利用依赖关系标签信息来构建一个双层图注意力网络作为全局编码器，以有效地捕捉长距离信息。我们的模型在 SemEval 2014 和 Twitter 数据集上取得了最先进的性能。
arXiv:2310.16472v2 Announce Type: replace-cross
摘要：我们研究了代数系统赋值——这一最初在关系数据库环境中定义的成功框架——在描述逻辑中的应用。在这种背景下，本体公理被标记为半环的元素，并且这些标记以一种方式传播到本体推论，反映了它们是如何被推导出来的。我们定义了一种适用于涵盖几种轻量级描述逻辑的语言的赋值语义，并展示了它与本体使用特定类型注释（如模糊程度）标记所定义的语义之间的关系。在某些半环限制条件下，该语义满足期望的性质（如扩展数据库中定义的半环赋值语义）。随后，我们重点关注已知的why-赋值，对于这一赋值，我们研究了与断言或合取查询答案赋值相关的复杂性问题。最后，我们考虑了两种更受限的情况，这对应于数据库环境中所谓的正布尔赋值和追溯性。对于这些情况，我们展示了与描述逻辑中已知解释概念的关系，并完成了复杂性分析。作为次要贡献，我们提供了$\mathcal{ELHI}_\bot$本体的条件，以确保推理的可处理性。
arXiv:2310.10645v2 宣告类型: replace-cross
摘要：交互式机器人框架实现了长期规划任务，并且在执行过程中可以轻松地适应新目标和不同的任务。然而，大多数传统方法需要预定义模块设计，这使得它们难以适应不同的目标。最近基于大型语言模型的方法可以允许更开放的规划，但通常需要大量的提示工程或特定领域的预训练模型。为了解决这个问题，我们提出了一种简单的框架，通过结合高层规划和低层技能执行来使用语言模型进行交互式任务规划，利用预训练的视觉模型将场景与语言进行联系。我们在真正制作奶茶饮料的任务上验证了我们系统的鲁棒性。我们的系统能够为未见过的目标生成新颖的高层指令，并成功地完成用户任务。此外，当用户发送新的请求时，我们的系统能够根据新的请求、任务指南和之前执行的步骤进行相应的重新规划，具备精确性。这种方法可以通过简单地替换任务指南轻松适应不同的任务，无需额外的复杂提示工程。请访问我们的网站 https://wuphilipp.github.io/itp_site 和视频 https://youtu.be/TrKLuyv26_g 了解更多详细信息。