arXiv:2401.11817v2 宣告类型: replace-cross
摘要：幻觉已被广泛认为是大型语言模型（LLMs）的一个重大缺陷。有许多试图减少幻觉程度的研究工作。然而，这些努力大多是经验性的，无法回答是否可以完全消除幻觉这一根本问题。在本文中，我们形式化了这个问题，并证明了在LLMs中完全消除幻觉是不可能的。具体来说，我们定义了一个形式世界，在该世界中，幻觉被定义为计算型LLM与可行的基准函数之间的一致性差异。通过应用学习理论的结果，我们证明了LLMs不能学习所有可行的函数，因此作为通用问题求解器时不可避免地会存在幻觉。由于形式世界是更复杂现实世界的部分，因此现实世界的LLMs也会不可避免地出现幻觉。此外，对于受限于可验证时间复杂性的现实世界的LLMs，我们描述了容易产生幻觉的任务，并且实证验证了我们的论点。最后，使用形式世界框架，我们讨论了现有幻觉抑制器的可能机制及其有效性，以及它们对LLMs安全部署的实用影响。
arXiv:2312.01476v2 通知类型: 交叉替换
摘要: 在数据处理管道中从关系性和富有上下文的多模态源收集数据、提取价值并结合见解是一项挑战，对于传统的关系型DBMS而言尤为如此。虽然关系操作符允许声明和优化查询的指定，但它们局限于无法捕捉或分析上下文的数据转换。另一方面，表示学习模型可以将富有上下文的数据映射成嵌入，这使得机器自动化处理上下文成为可能，但需要将命令式数据转换与分析性查询集成。为了弥合这一分歧，我们提出了一种增强上下文的关系连接，并引入了一个与关系操作符可组合的嵌入操作符。这使得能够进行混合关系和富有上下文的向量数据处理，并且与关系代数具有代数等价性，同时具备相应的逻辑和物理优化。我们调查了模型-操作符交互在向量数据处理中的表现，并研究了E-连接操作符的特性。通过一个字符串嵌入的示例，我们展示了如何使用向量嵌入在关系连接操作符上实现增强上下文的混合处理。从逻辑到物理的整体优化的重要性通过大幅缩短执行时间得到了验证。
arXiv:2310.19347v4 公布类型: replace-cross
摘要: 尽管大型语言模型（LLMs）在新闻摘要方面取得了近期进展，但它们经常生成与原始文章事实不一致的摘要，这种情况称为文本生成中的“幻觉”。与之前的小型模型（如BART、T5）相比，当前的LLMs犯的错误较少但更复杂，如错误地强加因果关系、添加虚假细节、过分概括等。这些幻觉通过传统方法很难检测，这给提高文本摘要的事实一致性带来了巨大挑战。本文中，我们提出了一种对比偏好优化（CPO）方法，以分离LLMs生成真实和虚假内容的倾向。此外，我们采用了基于探针的特定训练方法，以提高它们区分两种倾向的能力。这样，LLMs可以更准确地执行指令，并增强对幻觉的感知。实验结果显示，CPO显着提高了基于LLMs的摘要可靠性。
arXiv:2309.11876v3 通告类型: replace-cross
摘要：医学图像分割是一项基本但具有挑战性的任务，由于从专家那里获取大量高质量标注数据的过程非常艰辛。对比学习提供了一种有希望但仍然存在问题的解决方案。首先，现有的医学对比学习策略主要关注提取图像级别的表示，而忽视了丰富的多级别表示。此外，它们要么通过随机初始化，要么通过分开预训练编码器和解码器来未充分利用解码器，从而忽视了编码器和解码器之间的潜在合作。为了应对这些问题，我们提出了一种新型的多级别不对称对比学习框架MACL，用于体医学图像分割的预训练。具体而言，我们设计了一种不对称对比学习结构，同时对编码器和解码器进行预训练，以提供更好的分割模型初始化。此外，我们开发了一种多级别对比学习策略，将特征级别、图像级别和像素级别的对应关系整合在一起，以确保在预训练阶段，编码器和解码器能够从不同尺度和粒度的表示中捕获全面的细节。最后，实验结果表明，我们的MACL框架优于现有的11种对比学习策略。具体而言，我们的MACL在使用10%标注数据的情况下，在ACDC、MMWHS、HVSMR和CHAOS等8个医学图像数据集上，分别取得了ACDC、MMWHS、HVSMR和CHAOS数据集上比之前最好结果高出1.72%、7.87%、2.49%和1.48%的Dice分数，且从可视化图中可以看出有更好的精确预测结果。此外，我们的MACL在5种变体UNet骨干网络之间具有很强的泛化能力。我们的代码将在 https://github.com/stevezs315/MACL 释放。
arXiv:2308.13916v5 宣告类型：替代交叉
摘要：知识图谱在众多人工智能任务中发挥着重要作用，但它们经常面临不完整的问题。在这项研究中，我们探索使用大型语言模型（LLM）来完成知识图谱。我们将知识图谱中的三元组视为文本序列，并引入了一种名为知识图谱大型语言模型（KG-LLM）的创新框架来建模这些三元组。我们的方法使用三元组的实体和关系描述作为提示，并利用模型的响应进行预测。在各种基准知识图谱上的实验表明，我们的方法在三元组分类和关系预测等任务中达到了最先进的性能。我们还发现，微调相对较小的模型（例如，LLaMA-7B、ChatGLM-6B）的性能优于最近的ChatGPT和GPT-4。
arXiv:2305.17438v2 宣告类型: 交叉替换
摘要：对象检测是各种安全敏感应用的关键组成部分，例如自动驾驶和视频监控。然而，现有的对象检测器容易受到对抗攻击的影响，这对其可靠性和安全性构成了重大挑战。通过实验，我们首先发现，现有提高对象检测器对抗鲁棒性的工作的安全性感觉是虚假的。其次，我们发现对于增强对象检测器的对抗鲁棒性而言，对抗预训练的骨干网络是至关重要的。然后，我们提出了一种简单且有效的方法，用于使用对抗预训练的骨干网络加速对象检测器的对抗微调。在不修改对象检测器结构的情况下，我们的方法在对抗鲁棒性方面显著优于现有工作。最后，我们探索了不同现代对象检测器设计在使用我们的方法改进对抗鲁棒性方面的潜力，并展示了有趣的发现，这激发了我们设计最新的鲁棒检测器（SOTA）。我们的实验结果为对抗鲁棒对象检测设定了一个新的里程碑。代码和训练检查点可在 https://github.com/thu-ml/oddefense 获取。
arXiv:2303.03388v3 通告类型: replace-cross
摘要：由于其复杂性，基于图学习的多模态集成和分类是疾病预测中最具挑战性的障碍之一。为了有效地抵消多模态集成过程中模态间的负面影响，并从图中提取异质信息，我们提出了一种名为MMKGL（多模态多核图学习）的新方法。针对模态间负面影响的问题，我们提出了一种多模态图嵌入模块来构建多模态图。不同于传统方法手动为所有模态构建静态图，每个模态通过自适应学习生成单独的图，在多图融合嵌入过程中引入功能图和监督图为优化。随后，我们提出了一种多核图学习模块来从多模态图中提取异质信息。在不同级别的多模态图信息通过具有不同感知场大小的卷积核聚合后，生成一种交叉核发现张量用于疾病预测。我们的方法在基准Autism Brain Imaging Data Exchange (ABIDE) 数据集上进行了评估，并优于现有最先进的方法。此外，我们的模型还识别出了与自闭症相关的具有区分性的脑区，为自闭症病理学的研究提供了指导。
arXiv:2212.14695v2 公告类型: 替换-交叉
摘要：知识追踪（KT）是计算机辅助教育和智能辅导系统中的一个重要任务，通过预测学生对新问题的表现来从他们对之前问题的回应中。一个准确的KT模型可以捕捉到学生在不同知识主题上的掌握程度，这体现在他们在不同问题上预测的表现中。这有助于通过推荐适当的新问题来提高学习效率，这些新问题能够补充学生当前的知识状态。然而，当前的KT模型存在显著的局限性，即忽视了历史回应的不平衡区分度。很大一部分问题回应提供了有限的信息来区分学生在知识掌握上的差异，例如那些在不同学生中表现出一致表现的问题。优化这些情况的预测可能提高整体KT的准确性，但也可能负面地影响模型追踪个性化知识状态的能力，尤其是在导致错误的性能性能激增方面。为了解决这一问题，我们提出了一种框架，基于其在训练中的区分度重新加权不同回应的贡献。此外，我们引入了一种自适应预测分数融合技术，以在非区分性强的回应上保持准确性，从而在学生知识掌握和问题难度之间取得适当平衡。实验结果表明，我们的框架在三个广泛使用的数据集上提高了三种主流KT方法的性能。
arXiv:2206.12934v4 Announce Type: replace-cross
摘要：在本文中，我们提出了概率类型自然演绎演算TPTND，它旨在推理和推导概率计算过程的信任性质，这些过程类似于当前AI应用的基础。TPTND中的推导被解释为从给定的分类分布中提取n个可能复杂的输出样本，并以一定的频率进行。我们将这些输出的信任形式化为假设检验的形式，检验此类频率与预期概率之间的距离。演算的主要优势在于使其能够验证这种信任性质。我们展示了我们推理的项的计算语义，然后给出了TPTND的形式化语义，其中通过引入规则和消去规则定义了逻辑运算符以及一个信任运算符。我们阐述了结构和元理论性质，特别是关注在何种项演化和逻辑规则应用下，可以保持这种信任性质的概念。
arXiv:2203.13310v5 声明类型: replace-cross
摘要：单目3D物体检测长期以来一直是自主驾驶领域的挑战性任务。大多数现有方法遵循传统的2D检测器，首先定位物体中心，然后通过相邻特征预测3D属性。然而，仅使用局部视觉特征不足以理解场景级别的3D空间结构，并且忽略了物体之间长距离的深度关系。在本文中，我们首次引入了名为MonoDETR的深度导向Transformer单目检测框架。我们修改了 vanilla Transformer 使其具有深度感知能力，并通过上下文深度线索引导整个检测过程。具体而言，在捕获物体外观的同时，我们引入了一个预测前景深度图的方法，并专门设计了一个深度编码器来提取非局部深度嵌入。然后，我们将3D物体候选对象表示为可学习的查询，并提出一个深度导向解码器以执行物体-场景深度交互。这样，每个物体查询可以适应地从图像上的深度导向区域估计其3D属性，而不再受限于局部视觉特征。在使用单目图像作为输入的KITTI基准测试上，MonoDETR达到了最先进的性能，并且不需要额外的密集深度标注。此外，我们的深度导向模块还可以在nuScenes数据集上轻松插入以增强多视图3D物体检测器，证明了我们更强的泛化能力。代码可在 https://github.com/ZrrSkywalker/MonoDETR 获取。