arXiv:2501.11849v3 Announce Type: replace-cross
摘要：检测有组织的政治运动对于打击社交媒体上的虚假信息至关重要。目前用于识别此类有组织行动的方法主要采用网络科学、图机器学习和自然语言处理的技术。它们的最终目标是分析用户之间的关系和互动（例如转发），以及其帖子的文本相似性。尽管这些方法在识别星哨兵运动方面具有有效性，但它们面临显著的挑战，特别是可用训练数据集中的类别不平衡问题。为了缓解这一问题，最近的方法通常依赖于数据增强或增加正样本的数量，但在现实世界的场景中这可能并不总是可行或足够的。遵循不同的路径，本文提出了一种基于大规模语言模型（LLMs）的新型框架来识别星哨兵运动，引入了一个平衡检索增强生成（Balanced RAG）组件。我们的方法首先将有关帖子（在我们的情况下是推文）的文本信息及其社交网络中的用户互动作为输入提供给语言模型。然后，通过提示工程和提出的平衡检索增强生成方法，它有效地在X（推特）上检测了有组织的虚假信息运动。提出的框架不需要对语言模型进行任何训练或微调。相反，通过战略性地利用提示工程和平衡检索增强生成的优点，它使LLMs能够克服类别不平衡的影响，并有效地识别有组织的政治运动。实验结果表明，通过结合提出的提示工程和平衡检索增强生成方法，我们的框架在精度、召回率和F1分数方面比传统的图基线取得了2倍到3倍的改进。
arXiv:2501.07186v2 通报类型: 替换-交叉
摘要：能源转型需要新的拥堵管理方法。其中一种方法是使用机器学习（ML）控制电网拓扑。这种方法在 Learning to Run a Power Network（L2RPN）比赛之后变得流行起来。图神经网络（GNNs）是一类反映计算中图结构的ML模型，使其适合于电力网络建模。因此，提出了多种针对拓扑控制的GNN方法。我们提出了第一个仅使用GNN层的电网拓扑控制GNN模型。此外，我们识别了广泛使用的同质图表示所遭受的母线信息不对称问题，并提出了一个异质图表示来解决这一问题。我们在模仿学习任务中训练了同质和异质GNN以及全连接神经网络（FCNN）基线模型。我们根据分类准确性和电网操作能力评估了这些模型。我们发现，在分布内网络中，异质GNN表现最佳，其次是FCNN，而同质GNN表现最差。我们还发现，两种GNN类型的泛化能力优于FCNN，特别是在分布外网络中。
arXiv:2501.06254v2 宣告类型: 交叉替换
摘要：稀疏自动编码器（SAEs）作为提高大型语言模型（LLMs）可解释性的有希望工具，引起了极大的关注。它们通过将多义神经元的复杂叠加映射为单义特征，并构建一个稀疏词汇字典来实现这一目标。然而，传统的性能指标如均方误差和L0稀疏性忽略了一种对SAEs进行评价的方法——即SAEs是否能够在保留词汇语义关系的同时，学习到可解释的单义特征。例如，并不清楚从中学到的稀疏特征能否区分一个词的多种含义。在本文中，我们提出了针对SAEs的评估套件，通过关注多义词来分析单义特征的质量。我们的发现表明，为了改进均方误差-L0帕特洛摆线，开发的SAEs可能会混淆可解释性，这并不一定能够更有效地提取单义特征。对多义词的SAEs分析还可以揭示LLMs的内部机制；更深层的层和注意模块有助于区分一个词中的多义性。我们聚焦于语义的评估为研究多义性和现有的SAE目标提供了新的见解，并有助于开发更实用的SAEs。
arXiv:2501.05767v3 Announce Type: replace-cross
摘要：近年来，多模态大语言模型（MLLMs）在单张图像的精细感知和多张图像的综合理解方面取得了显著进展。然而，现有的MLLMs在复杂多图场景中实现精确的语义对齐仍然面临挑战。为了解决这个问题，我们首先探索了一种Chain-of-Thought（CoT）框架，将单张图像的语义对齐与多张图像的理解结合起来。虽然部分有效，但由于其非端到端的性质，该框架仍然不稳定，并且难以捕捉抽象的视觉信息。因此，我们引入了Migician，这是第一个能够在多张图像上进行自由形式且准确的语义对齐的多图语义对齐模型。为此，我们提出了MGrounding-630k数据集，该数据集包含源自现有数据集的多种多图语义对齐任务数据，以及新生成的自由形式的语义对齐指令遵循数据。此外，我们还提出了MIG-Bench，这是一种专门用于评估多图像语义对齐能力的综合基准。实验结果表明，我们的模型在多图语义对齐能力上取得了显著的优越性，比现有的最佳MLLMs高出24.94%，甚至超越了更大的70B模型。我们的代码、模型、数据集和基准已经完全开源，可以在https://migician-vg.github.io/找到。
arXiv:2501.00383v2 宣传类型：替换交叉
摘要：在对话型AI领域长期存在的梦想之一是让它们能够在对话中主动发起行动，即成为积极主动的参与者。这对于多轮对话尤其具有挑战性。以往的语言处理研究主要集中在从上下文如前一轮对话中预测下一个发言者。在本文中，我们展示了这些方法的局限性，并重新思考AI在多轮、人类-AI对话中如何表现得积极主动。我们提出，就像人类一样，AI不仅应仅仅对轮流发言的提示作出反应，而应在对话过程中形成自己的内心想法，并寻找合适的时机来贡献自己的想法。通过一项包括24名参与者的形成性研究，并借鉴语言学和认知心理学的灵感，我们介绍了内心想法框架。我们的框架赋予AI在显性交流过程的同时拥有持续且隐蔽的思想流动，这使AI能够通过建模其表达这些思想的内在动机来主动参与。我们将这一框架实现为两个实时系统：一个AI游乐场网页应用和一个聊天机器人。通过技术和用户研究，我们的框架在拟人性、连贯性、智能以及轮流发言的适宜性等方面显著超越了现有基线。
arXiv:2501.00152v2 宣告类型: replace-cross
摘要：本文探讨了增强大型语言模型（LLMs）的 temporal 理解能力是否能够提高时间线总结的质量，时间线总结的任务是总结包含事件序列的长文本，例如社交媒体线程。首先，我们介绍了一个名为 NarrativeReason 的新数据集，重点关注叙述中序列事件之间的 temporal 关系，区别于现有的主要处理事件对之间关系的 temporal 理解数据集。然后，我们的方法通过知识蒸馏框架将 temporal 理解与时间线总结相结合，在此框架下，我们首先在 temporal 理解任务上微调一个导师模型，然后将这些知识蒸馏到一个学生模型中，并同时训练该学生模型以完成时间线总结任务。实验结果表明，我们的模型在涉及长社交媒体线程、事件重复以及情感混合的时间线总结领域外的精神健康相关任务中实现了更好的性能，突显了利用 temporal 理解提高时间线总结质量的重要性及其普遍适用性。
arXiv:2412.20694v2 公告类型: replace-cross
摘要: 传统上，解决NP难问题依赖于启发式方法，但对于复杂问题手动设计有效的启发式方法仍然是一项重大挑战。虽然像FunSearch这样的最新进展表明，大语言模型（LLMs）可以被集成到进化算法（EAs）中以用于启发式设计，但它们的潜力受限于在利用和探索之间的平衡不足。我们引入了一种名为Quality-Uncertainty Balanced Evolution（QUBE）的新方法，该方法通过在FunSearch框架内重新定义优先级标准来增强LLM+EA方法。QUBE采用基于我们提出的包含不确定性质量度量的Quality-Uncertainty Trade-off Criterion（QUTC）来评估和引导进化过程。通过在具有挑战性的NP完全问题上的广泛实验，QUBE在FunSearch和基线方法上表现出显著的性能提升。我们的代码在 https://github.com/zzjchen/QUBE_code 可用。
arXiv:2412.19437v2 宣告类型: replace-cross
摘要: 我们介绍了DeepSeek-V3，这是一种具有总计671亿参数的强混合专家（MoE）语言模型，每令牌激活37亿参数。为了实现高效的推理和成本效益较高的训练，DeepSeek-V3采用了多头潜在注意（MLA）和DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了彻底验证。此外，DeepSeek-V3率先提出了一种无辅助损失的负载均衡策略，并设置了多令牌预测训练目标以实现更强的性能。我们首先在14.8万亿个多样且高质量的令牌上对DeepSeek-V3进行预训练，随后进行监督微调和强化学习阶段，以充分利用其性能。全面的评估表明，DeepSeek-V3在性能上优于其他开源模型，并达到了与领先封闭源模型相当的性能。尽管其性能卓越，但DeepSeek-V3的全程训练仅需2.788M H800 GPU小时。此外，其训练过程极为稳定。在整个训练过程中，我们没有经历过任何不可恢复的损失激增或任何回滚。该模型的检查点可从https://github.com/deepseek-ai/DeepSeek-V3获取。
arXiv:2412.13879v3 安全宣告类型: 替换-跨平台
摘要: 大型语言模型(LLMs)在各种任务上表现出色，但仍易受到外部威胁的影响，尤其是大型语言模型服务拒绝攻击（LLM-DoS 攻击）。具体而言，LLM-DoS 攻击旨在耗尽计算资源并阻止服务。然而，现有研究主要集中在白盒攻击上，导致黑盒场景下研究不足。本文中，我们介绍了一种用于黑盒 LLM 的自动生成 LLM-DoS 攻击（AutoDoS 攻击）的自动化算法。AutoDoS 构建了 DoS 攻击树，并扩展节点覆盖范围，以在黑盒条件下实现有效性。通过基于可移植性的迭代优化，AutoDoS 能够在单个提示下应用于不同的模型。此外，我们揭示了嵌入长度特洛伊病毒（Length Trojan）能使 AutoDoS 更有效地绕过现有防御。实验结果显示，AutoDoS 显著将服务响应延迟放大了超过 250 倍，从 GPU 利用率和内存使用量方面来说，导致严重的资源消耗。我们的工作为 LLM-DoS 攻击和安全防御提供了新的视角。我们的代码可在 https://github.com/shuita2333/AutoDoS 获取。
arXiv:2412.10658v3 宣告类型: replace-cross
摘要：分类模型的置信度校准是一种估计预测类的真实后验概率的技术，这对于在实际应用中确保可靠决策至关重要。现有的置信度校准方法主要使用统计技术从数据中估计校准曲线或拟合用户定义的校准函数，但往往未能充分利用校准曲线背后的先验分布。然而，一个充分知情的先验分布可以在数据有限或置信分数低密度区域提供超出经验数据的有价值见解。为了解决这一问题，本文提出了一种新方法，将校准曲线背后的先验分布与经验数据结合以估计连续的校准曲线。这种方法通过将校准数据的采样过程建模为二项过程，并最大化二项过程的似然函数来实现。我们证明了校准曲线估计方法是对数据分布的Lipschitz连续，并且需要的样本量仅为直方图分箱所需的样本量的1/3，其中B表示箱子的数量。此外，我们设计了一种新的校准指标（$TCE_{bpm}$），该指标利用估计的校准曲线来估计真正的校准误差（TCE）。研究表明，$TCE_{bpm}$是一个一致的校准衡量标准。此外，可以通过二项过程建模从预设的真实校准曲线和置信分数分布生成现实校准数据集，这些数据集可以作为基准，用于衡量和比较现有校准指标与真实校准误差之间的差异。我们的校准方法和指标在真实数据和模拟数据中得到了验证。