大型语言模型 (LLM) 在文本数据处理方面取得了令人瞩目的成果，这激发了人们将这些模型应用于文本数据以外领域（例如图数据）的兴趣。在图学习领域，人们越来越关注利用 LLM 来理解和操作图结构数据。现有研究主要集中在具有丰富文本特征的图（例如知识图谱或文本属性图）上，利用 LLM 处理文本的能力，但未能充分解决图结构问题。这项工作特别旨在评估和增强 LLM 理解和利用图数据本身固有结构知识的能力，而不是仅仅关注富含文本内容的图。为此，我们引入了**图理解自然语言驱动分析模型 (GUNDAM)**。该模型使 LLM 能够更好地理解和处理图数据的结构，使其能够通过利用图的结构本身来执行复杂的推理任务。我们在图推理基准上的实验评估不仅证实了 GUNDAM 模型优于最先进的基线，而且揭示了影响 LLM 图推理能力的关键因素。此外，我们还进行了理论分析，说明推理路径如何增强 LLM 的推理能力。
华为翻译服务中心（HW-TSC）提交了其参加第20届中国机器翻译大会（CCMT 2024）机器翻译任务的论文。我们参与了双语机器翻译任务和多领域机器翻译任务。针对这两个翻译任务，我们基于深度Transformer-big架构的神经机器翻译（NMT）模型，使用了正则化dropout、双向训练、数据多样化、正向翻译、反向翻译、交替训练、课程学习和转导集成学习等训练策略。此外，为了探索大型语言模型（LLM）是否能够提高NMT系统的翻译质量，我们使用监督微调训练llama2-13b作为自动后期编辑（APE）模型，以改进NMT模型在多领域机器翻译任务上的翻译结果。通过使用这些策略，我们的提交在最终评估中取得了具有竞争力的结果。
理解分子结构和相关知识对于科学研究至关重要。最近的研究将分子图与其文本描述相结合，以增强分子表示学习。然而，这些研究关注的是整个分子图，而忽略了频繁出现的子图（即基序），而基序对于确定分子特性至关重要。缺乏这种细粒度的知识，这些模型难以泛化到未见过的分子和需要基序级别洞察力的任务。为了弥合这一差距，我们提出了FineMolTex，这是一个新颖的细粒度分子图-文本预训练框架，用于联合学习粗粒度的分子级知识和细粒度的基序级知识。具体来说，FineMolTex包含两个预训练任务：一个用于粗粒度匹配的对比对齐任务和一个用于细粒度匹配的掩码多模态建模任务。特别是后者预测被掩盖的基序和单词的标签，利用彼此的见解，从而使FineMolTex能够理解基序和单词之间的细粒度匹配。最后，我们在三个下游任务中进行了广泛的实验，在基于文本的分子编辑任务中实现了高达230%的改进。此外，我们的案例研究表明，FineMolTex成功地捕获了细粒度的知识，可能为药物发现和催化剂设计提供有价值的见解。
我们提出了一种名为TRACE-cs的新型混合系统，它结合了符号推理和大语言模型 (LLM) 来解决调度问题中的对比查询。TRACE-cs 利用SAT求解技术来编码调度约束并为用户查询生成解释，同时利用LLM将用户查询处理成逻辑子句，并将符号求解器生成的解释细化为自然语言句子。通过集成这些组件，我们的方法证明了结合符号方法和LLM来创建具有正确性保证的可解释AI智能体的潜力。
本文介绍了DeepDiveAI，这是一个专门策划的综合数据集，用于从大型学术文献数据库中识别与人工智能相关的研究论文。该数据集是使用先进的长短期记忆 (LSTM) 模型创建的，该模型在一个二元分类任务上进行训练，以区分与人工智能相关的论文和非人工智能相关的论文。该模型在一个庞大的数据集上进行训练和验证，实现了高精度、高查全率、高召回率和高F1分数。最终的DeepDiveAI数据集包含自1956年达特茅斯会议以来发表的940多万篇与人工智能相关的论文（截至2024年），为分析趋势、主题发展以及人工智能研究在各个学科中的演变提供了重要的资源。
外交是人类社会最复杂精妙的活动之一。多方/多主体间的复杂互动涉及多种能力，例如社会推理、谈判技巧和长期战略规划。以往的AI智能体已证明其在涉及多个智能体的任务中处理多步骤博弈和更大动作空间的能力。然而，外交涉及极其庞大的决策空间，尤其是在需要谈判阶段的情况下。最近，大型语言模型（LLM）智能体在一些应用中展现了其超越以往智能体的潜力，然而，它仍然不足以应对复杂多主体环境中极长的规划周期。借助最先进的LLM技术，我们首次尝试探索AI在如此高度综合的多主体任务中实现类人智能体的上限，方法是结合三种对更强大的基于LLM的社会智能体至关重要的核心能力：1）具有记忆和反思能力的战略规划者；2）具有社会推理能力的目标导向型谈判者；3）通过自我博弈来增强记忆，实现无需人工干预的自我进化。
本文介绍了一种名为标准基LoRA（SBoRA）的新型参数高效微调方法，用于大型语言模型，该方法建立在低秩自适应（LoRA）和正交自适应的开创性工作的基础上。SBoRA将可训练参数的数量减少一半，或者在与LoRA相同数量的可训练参数下将秩加倍，同时提高学习性能。通过利用正交标准基向量来初始化一个低秩矩阵（$\mathbf{A}$或$\mathbf{B}$），SBoRA促进了区域权重更新和内存高效的微调。这产生了两种变体，SBoRA-FA和SBoRA-FB，其中只有一个矩阵被更新，导致稀疏更新矩阵$\mathrm{\Delta} \mathbf{W}$主要包含零行或零列。因此，大多数微调模型的权重$(\mathbf{W}_0+\mathrm{\Delta} \mathbf{W})$与预训练权重保持不变，类似于人脑的模块化组织，可以有效地适应新任务。我们的实证结果表明，在各种微调任务（包括常识推理和算术推理）中，SBoRA-FA优于LoRA。此外，我们评估了QSBoRA在不同规模的量化LLaMA模型上的有效性，突出了其高效适应新任务的潜力。代码可在https://github.com/cityuhkai/SBoRA获取。
大型语言模型 (LLM) 在各种应用中展现出令人印象深刻的性能，其中角色扮演语言代理 (RPLA) 吸引了广泛的用户群体。现在，对代表关键意见领袖 (KOL) 的 RPLA 的需求日益增长，即在各自领域塑造潮流和观点的互联网名人。然而，这方面的研究仍然不足。在本文中，我们介绍了 MINDECHO，这是一个用于开发和评估 KOL RPLA 的综合框架。MINDECHO 从各个专业领域的互联网视频转录本中收集 KOL 数据，并利用 GPT-4 合成他们的对话。然后，对话和转录本分别用于个性化模型训练和推理时间检索。我们的评估涵盖了 KOL 的一般维度（即知识和语气）和以粉丝为中心的维度。大量的实验验证了 MINDECHO 在开发和评估 KOL RPLA方面的有效性。
在大型数据集上预训练的视觉语言模型 (VLMs) 会无意中通过将性别信息与特定的物体或场景关联起来而学习到偏差。当前的方法侧重于修改输入并监控模型输出概率分数的变化，往往难以从模型组件的角度全面理解偏差。我们提出一个框架，该框架结合因果中介分析来衡量和映射 VLMs 内偏差产生和传播的路径。这种方法使我们能够识别干预对模型偏差的直接影响以及干预对通过不同模型组件进行中介的偏差的间接影响。我们的结果表明，图像特征是偏差的主要贡献者，其影响远高于文本特征，分别在 MSCOCO 和 PASCAL-SENTENCE 数据集中占偏差的 32.57% 和 12.63%。值得注意的是，图像编码器的贡献超过了文本编码器和深度融合编码器。进一步的实验证实，语言和视觉模态的贡献是一致且不冲突的。因此，专注于模糊图像编码器中的性别表示（对模型偏差贡献最大），可以有效地减少 MSCOCO 和 PASCAL-SENTENCE 数据集中 22.03% 和 9.04% 的偏差，同时最大限度地减少性能损失或增加计算需求。
基于传感器的智能家居环境中日常生活活动（ADL）识别技术，为能源管理、安全、福祉和医疗保健等领域带来了诸多应用。ADL识别通常基于深度学习方法，需要大量的训练数据集。最近，一些研究证明大型语言模型（LLM）能够有效地捕捉关于人类活动的常识性知识。然而，LLM在智能家居环境中进行ADL识别的有效性仍有待研究。在这项工作中，我们提出了ADL-LLM，一个新颖的基于LLM的ADL识别系统。ADL-LLM将原始传感器数据转换为文本表示，然后由LLM进行零样本ADL识别。此外，在只有少量标记数据集的情况下，ADL-LLM也可以通过少样本提示进行增强。我们在两个公共数据集上评估了ADL-LLM，证明了其在该领域的有效性。