本文介绍了智能个人助手（IPA）CORE（研究与探索清单组织者）的功能与潜力，该助手旨在支持宇航员在国际空间站（ISS）、月球门户站及更远的空间站上的操作流程。我们反思了可靠且灵活的离线操作助手的重要性，并强调了利用增强现实元素进行视听交互以直观展示清单信息的实用性。我们认为，当前太空操作中IPA的设计方法未能充分满足这些标准。因此，我们提出CORE作为结合知识图谱（KGs）、检索增强生成（RAG）用于生成预训练变压器（GPT）以及增强现实（AR）元素的助手，以确保对操作步骤的直观理解、可靠性、离线可用性以及在响应风格和流程更新方面的灵活性。
大规模语言模型如GPT的成功可归因于其高效预测序列中下一个标记的能力。然而，这些模型无论预测的标记复杂度如何，都依赖于恒定的计算量，缺乏迭代优化的能力。本文提出了一种新型循环残差神经网络，通过利用更长的计算时间而不增加模型规模，实现了更好的性能。我们的方法通过多次重访输入，利用残差连接迭代循环模型的子集来优化预测。通过与GPT-2版本的实验对比，我们展示了这种方法在语言建模任务中的有效性，同时保持了相似的参数数量。重要的是，这些改进无需额外的训练数据即可实现。
arXiv:2409.14191v1 公告类型: 新提交 摘要: AI模型训练的有效性在很大程度上取决于所使用的轨迹数据的质量，特别是在使模型的决策与人类意图保持一致方面。然而，在人类任务解决轨迹中，我们观察到人类意图与记录的轨迹之间存在显著的不一致，这可能会削弱AI模型的训练效果。本文通过提出一种可视化工具和一种启发式算法来解决这些不一致性的挑战，该算法旨在检测和分类轨迹数据中的差异。尽管启发式算法需要一组预定义的人类意图才能运行，而目前我们无法提取这些意图，但可视化工具为这些不一致性的本质提供了宝贵的见解。我们预计消除这些不一致性可以显著提高轨迹数据在AI模型训练中的实用性。我们还建议未来的工作应集中于开发方法，如主题建模，以准确地从轨迹数据中提取人类意图，从而增强用户行为与AI学习过程之间的一致性。
传染病，无论是直接还是间接传播，都是引发流行病和大流行的主要原因。因此，在预测疫情爆发、检测变异、追踪接触、发现新药物以及对抗错误信息方面存在多个开放性挑战。人工智能（AI）可以提供应对这些场景的工具，在抗击COVID-19大流行中展示了令人鼓舞的成果。AI正日益融入社会的各个方面。然而，确保AI的利益公平分配并负责任地使用AI至关重要。多个国家正在制定法规来解决这些问题，但AI的无国界特性需要全球合作来定义监管和指南共识。考虑到这一点，全球南方AI用于大流行和流行病准备与响应网络（AI4PEP）已经发起了一项倡议，涵盖全球南方16个国家的16个项目，旨在加强利用南方主导的负责任AI解决方案的公平和响应性公共卫生系统，以改善对新兴和再发传染病爆发的预防、准备和响应。本文介绍了我们在拉丁美洲和加勒比（LAC）国家的分支机构，并讨论了LAC在生物技术背景下的人工智能治理。我们在LAC的网络具有巨大潜力，可以帮助抗击传染病，特别是在低收入和中等收入国家，为广泛应用AI技术以改善社区健康和福祉创造机会。
arXiv:2409.14173v1 公告类型: 新论文 摘要: 本文探讨了利用卡车和无人机解决最后一公里配送难题的新兴且有前景的研究方向。其中，无人机在卡车移动或到达客户位置时进行拦截的问题属于车辆路径问题与无人机拦截（VRPDi）优化问题的一部分。本文提出了一种进化算法来解决VRPDi问题。在这种VRPDi变体中，需要调度多对卡车和无人机。这些对离开和返回仓库位置，或单独进行配送，以服务客户节点。无人机可以在配送后拦截卡车，或在下一个客户位置与卡车会合。该算法在Bouman等人（2015）的旅行商问题与无人机（TSPD）数据集上执行，并通过将VRPDi的结果与相同数据集的VRP结果进行基准测试来比较算法的性能。这种比较显示，总配送时间改善了39%至60%。进一步的算法结果详细分析考察了总配送时间、距离、节点配送调度以及算法执行期间的多样性程度。该分析还考虑了算法如何处理VRPDi的约束条件。随后，算法结果与Dillon等人（2023）和Ernst（2024）的算法进行了基准测试。后者在VRPDi中增加了最大无人机距离约束来解决问题。算法结果的分析和基准测试表明，该算法在合理时间内成功解决了50和100节点问题，并且找到的解决方案优于Dillon等人（2023）和Ernst（2024）针对相同问题所找到的解决方案。
arXiv:2409.14165v1 公告类型: 新 摘要: 人工智能（AI）在自动驾驶（AD）研究中扮演着至关重要的角色，推动其向智能化和高效化发展。目前，AD技术的发展遵循两条主要技术路径：模块化和端到端。模块化将驾驶任务分解为感知、预测、规划和控制等模块，并分别进行训练。由于模块间训练目标的不一致性，集成效果存在偏差。端到端试图通过使用单一模型直接从传感器数据映射到控制信号来解决这一问题。这条路径在学习全面特征方面能力有限，难以处理不可预测的长尾事件和复杂的城市交通场景。面对两条路径中遇到的挑战，许多研究人员认为，具有强大推理能力和广泛知识理解的大型语言模型（LLMs）可能是解决方案，期望LLMs为AD系统提供更深层次的理解和决策能力。鉴于两条路径面临的挑战，许多研究人员认为，LLMs凭借其强大的推理能力和广泛的知识，可能提供解决方案。为了了解LLMs是否能增强AD，本文对LLMs在AD系统中的潜在应用进行了全面分析，包括探索其在模块化和端到端方法中的优化策略，特别关注LLMs如何解决当前解决方案中的问题和挑战。此外，我们讨论了一个重要问题：基于LLM的人工通用智能（AGI）是否是实现高级AD的关键？我们进一步分析了LLMs在推动AD技术发展中可能遇到的潜在限制和挑战。
理解分子结构及相关知识对科学研究至关重要。近期研究将分子图与其文本描述相结合，以增强分子表示学习。然而，这些研究主要关注整个分子图，忽视了频繁出现的子图，即基序，这些基序对于确定分子性质至关重要。缺乏此类细粒度知识，这些模型难以泛化到未见过的分子及需要基序级洞察的任务。为填补这一空白，我们提出了FineMolTex，一种新颖的细粒度分子图-文本预训练框架，旨在联合学习粗粒度的分子级知识和细粒度的基序级知识。具体而言，FineMolTex包含两个预训练任务：用于粗粒度匹配的对比对齐任务和用于细粒度匹配的掩码多模态建模任务。特别是后者，通过预测掩码基序和单词的标签，利用彼此的洞察力，从而使FineMolTex能够理解基序与单词之间的细粒度匹配。最后，我们在三个下游任务上进行了广泛实验，在基于文本的分子编辑任务中取得了高达230%的改进。此外，我们的案例研究表明，FineMolTex成功捕捉了细粒度知识，可能为药物发现和催化剂设计提供有价值的洞察。
arXiv:2409.14091v1 公告类型: 新 摘要: 随着基于变压器的大型语言模型的规模和成本不断增加，最近人们对将早期变压器隐藏表示直接映射到最终表示以降低模型推理成本的捷径方法产生了兴趣。特别是，通过在早期层上使用线性变换来捷径预训练变压器，已被证明可以提高早期推理的精度。然而，对于大型语言模型，即使这种方法也变得计算昂贵。在这项工作中，我们提出了窄跳结论（NJTC）和归一化窄跳结论（N-NJTC）——一种参数高效的替代标准线性捷径方法，将捷径参数数量减少了超过97%。我们展示了N-NJTC在早期阶段可靠地优于恒等捷径，并为GPT-2-XL、Phi3-Mini和Llama2-7B变压器模型提供了从所有变压器块层级稳定的精度，证明了更参数高效的捷径方法的可行性。
arXiv:2409.14050v1 公告类型: 新文章 摘要: OpenAI的ChatGPT（GPT-4和GPT-4o）以及其他大型语言模型（LLMs）如微软的Copilot、谷歌的Gemini 1.5 Pro和Antrophic的Claude 3.5 Sonnet，在科学研究的各个阶段都能得到有效应用。它们在各种语言任务和推理中的表现接近或超过普通人类水平，并且迅速提升，赋予这些模型一种类似于较高水平心智理论的能力。LLMs目前处理人类心理学和沟通信息的能力，为它们在人格心理学和人际沟通技能领域的科学应用创造了机会。本文展示了GPT-4o和其他先进LLMs在设计人际沟通技能自我评估量表中的典型任务中的可能用途，如量表项目的筛选与改进以及量表内容效度的评估。同时，也展示了自动化项目生成和应用的潜力。案例研究示例附有适用于这些目的的LLMs提示。最后，总结了在评估、设计和改进人际沟通技能自我评估量表过程中使用LLMs的潜在益处。
arXiv:2409.14038v1 公告类型: 新提交 摘要: 大型语言模型 (LLMs) 在特定领域的下游任务中经常出现幻觉现象，本体匹配 (OM) 也不例外。LLMs 在 OM 中的广泛应用促使我们需要基准测试来更好地理解 LLM 的幻觉现象。OAEI-LLM 数据集是本体对齐评估倡议 (OAEI) 数据集的扩展版本，用于评估 LLM 在 OM 任务中的特定幻觉现象。我们概述了数据集构建和模式扩展所使用的方法，并提供了潜在用例的示例。