本研究开发了一种基于人工智能的自主在轨服务（OOS）任务实现方案，用于协助航天器碰撞规避机动（CAM）。我们提出了一种使用强化学习（RL）训练的自主“服务器”，能够自主检测目标卫星与空间碎片之间的潜在碰撞，与受威胁卫星进行交会对接，并执行最佳的CAM。RL模型整合了碰撞风险评估、卫星规格和碎片数据，为OOS交会和碰撞预防生成最佳机动矩阵。我们采用交叉熵算法来高效地找到最佳决策策略。初步结果表明，自主机器人OOS用于碰撞规避服务的可行性，重点关注一个服务器航天器对一个受威胁卫星的场景。然而，合并航天器交会和最佳CAM带来了巨大的复杂性。我们通过案例研究讨论了框架成功实施的设计挑战和关键参数。
大幅提升模型尺寸极大地挑战了大型语言模型 (LLM) 的部署和推理。由于 LLM 权重中的冗余性，最近的研究集中于将权重量化推向极低比特（甚至低至 2 比特）。这减少了内存需求，优化了存储成本，并在推理过程中减少了内存带宽需求。然而，由于数值表示的限制，传统的基于标量的权重量化难以实现如此极低的比特。最近关于 LLM 的矢量量化 (VQ) 的研究表明，通过使用查找表将向量压缩成索引，可以实现极低比特模型量化。
本文介绍了用于 LLM 极低比特量化的矢量后训练量化 (VPTQ)。我们使用二阶优化来制定 LLM VQ 问题，并通过解决优化来指导我们的量化算法设计。我们进一步使用通道独立二阶优化来细化权重，从而实现粒度 VQ。此外，通过分解优化问题，我们提出了一种简短有效的码本初始化算法。我们还扩展了 VPTQ 以支持残差和异常值量化，这提高了模型精度并进一步压缩了模型。我们的实验结果表明，VPTQ 在 LLaMA-2 上将模型量化困惑度降低了 0.01-0.34，在 Mistral-7B 上降低了 0.38-0.68，在 LLaMA-3 上降低了 4.41-7.34，优于 2 比特下的 SOTA，在 LLaMA-2 上平均精度提高了 0.79-1.5%，在 Mistral-7B 上提高了 1%，在 LLaMA-3 上提高了 11-22%，平均而言。我们只使用了量化算法执行时间的 10.4-18.6%，与 SOTA 相比，推理吞吐量提高了 1.6-1.8 倍。
现实生活中，医疗数据通常是多模态且不完整的，这加剧了对能够有效整合这些数据的先进深度学习模型的需求。使用各种模态，包括组织病理学切片、MRI 和遗传数据，为改善预后预测和揭示新的治疗途径提供了前所未有的机会。对比学习广泛用于从多模态任务中的配对数据中推导出表示，假设不同的视图包含相同的与任务相关的的信息，并且仅利用共享信息。当处理医疗数据时，这种假设变得具有限制性，因为每种模态也包含与下游任务相关的特定知识。我们引入了 DRIM，这是一种新的多模态方法，用于捕获这些共享和独特表示，即使数据稀疏也是如此。更具体地说，给定一组模态，我们的目标是为每个模态编码一个表示，该表示可以分为两个部分：一个封装跨模态的患者相关信息，另一个封装模态特异性细节。这是通过增加不同患者模态之间的共享信息，同时最小化每个模态内共享和独特组件之间的重叠来实现的。我们的方法在胶质瘤患者生存预测任务中优于最先进的算法，同时对缺失模态具有鲁棒性。为了促进可重复性，代码已在 https://github.com/Lucas-rbnt/DRIM 上公开提供。
印尼社区卫生中心（Puskesmas）效率低下的主要原因之一是医患互动耗时。医生需要进行彻底的咨询，包括诊断患者的病情，提供治疗建议，并将详细的笔记转录到病历中。在语言背景多样化的地区，医生经常需要问一些澄清问题，这会进一步延长整个过程。虽然诊断至关重要，但转录和摘要通常可以使用人工智能自动完成，以提高时间效率，帮助医生提高护理质量，并实现早期诊断和干预。本文提出了一种使用本地化大型语言模型 (LLM) 来转录、翻译和总结医患对话的解决方案。我们利用 Whisper 模型进行转录，并利用 GPT-3 将它们总结成 ePuskemas 病历格式。该系统作为现有网页浏览器扩展的附加组件实现，允许医生在交谈时填写患者表格。通过利用该解决方案进行实时转录、翻译和摘要，医生可以缩短患者护理的周转时间，同时提高记录质量，使记录更加详细和有见地，以便于未来访问。这项创新解决了印尼医疗机构设施拥挤和医疗保健提供者行政负担等挑战。我们相信该解决方案将帮助医生节省时间，提供更好的护理，并生成更准确的医疗记录，这将是现代化医疗保健和确保患者即使在资源有限的环境中也能获得及时、高质量护理的重要一步。
低地球轨道 (LEO) 中的碎片激增对空间可持续性和航天器安全构成重大威胁。主动碎片清除 (ADR) 已经成为解决这一问题的有希望的方法，它利用轨道转移飞行器 (OTV) 来促进碎片脱轨，从而降低未来的碰撞风险。然而，ADR 任务非常复杂，需要准确的规划才能使任务在经济上可行并在技术上有效。此外，这些服务任务需要高度的自主能力，才能在不断变化的轨道条件和不断变化的任务要求下进行规划。本文提出了一种基于深度强化学习 (DRL) 的自主决策规划模型，用于训练 OTV 以规划最佳碎片清除排序。结果表明，使用该框架，智能体可以找到最佳的任务计划，并学会自主更新计划，以包括对碰撞风险高的碎片的风险处理。
数学是由人为了人而创造的：正如自然语言语料库不仅反映命题，还反映语言使用者的交流目标一样，模型训练所使用的数学数据不仅反映了理想化的数学实体，还反映了丰富的交流意图。虽然以纯粹符号的方式处理数学有其重要优势，但我们在此假设，将数学视为情境化的语言交流是有益的，而语言模型非常适合实现这一目标，其方式尚未得到充分认识。我们用两个案例研究说明了这些观点。首先，我们进行了一项实验，发现语言模型以类人的方式解释等号——为相同的基础方程的不同排列方式生成系统不同的文字问题。其次，我们发现语言模型更喜欢以自然的方式排列证明，即使其他顺序在逻辑上是等价的。我们主张开发从人类生成的数学中学习并代表其中隐含的交流意图的 AI 系统。
数据选择对于预训练大型语言模型至关重要，因为大规模可用的训练语料库中存在质量差异。为了实现这一点，研究人员目前正在研究使用数据影响力来衡量数据实例的重要性，即高影响力得分表明将此实例纳入训练集可能会提高模型性能。因此，他们选择得分最高的 top-k 实例。然而，这种方法存在一些局限性。(1) 计算所有可用数据的影響力非常耗时。(2) 所选数据实例不够多样化，这可能会阻碍预训练模型有效地推广到各种下游任务。在本文中，我们介绍了 \texttt{Quad}，这是一种数据选择方法，它通过使用数据影响力来实现最先进的预训练结果，从而兼顾质量和多样性。特别是，考虑到注意力层捕获了广泛的语义细节，我们对注意力层的加速 $iHVP$ 计算方法进行了调整，增强了我们评估数据影响力（即其质量）的能力。对于多样性，\texttt{Quad} 将数据集聚集成每个集群内的相似数据实例和不同集群之间的多样化实例。对于每个集群，如果我们选择从中选择数据，我们会取一些样本评估影响力，以避免处理所有实例。为了确定要选择哪些集群，我们利用经典的多臂老虎机方法，将每个集群视为一个臂。这种方法有利于具有高度影响力实例的集群（确保高质量）或选择频率较低的集群（确保多样性），从而在质量和多样性之间取得良好的平衡。
大型语言模型 (LLM) 在工业界和学术界被广泛用于各种任务，但评估生成文本响应的一致性仍然是一个挑战。传统的指标如 ROUGE 和 BLEU 与人类判断的相关性较弱。使用自然语言推理 (NLI) 的更复杂指标已经显示出改进的相关性，但它们实施起来很复杂，由于跨域泛化能力差，需要特定领域的训练，并且缺乏可解释性。最近，使用 LLM 作为评估者的基于提示的指标出现了；虽然它们更容易实现，但它们仍然缺乏可解释性，并且依赖于特定于任务的提示，这限制了它们的泛化能力。这项工作介绍了使用 LLM 的自动可解释一致性评估 (AXCEL)，这是一个基于提示的一致性指标，它通过提供详细的推理并指出不一致的文本跨度来为一致性得分提供解释。AXCEL 也是一个可泛化的指标，可以在不更改提示的情况下应用于多个任务。在摘要中，AXCEL 在检测不一致方面比非提示和基于提示的最先进 (SOTA) 指标高出 8.7%，在自由文本生成中高出 6.2%，在数据到文本转换任务中高出 29.4%。我们还评估了底层 LLM 对基于提示的指标性能的影响，并使用最新的 LLM 重新校准了 SOTA 基于提示的指标，以便进行公平比较。此外，我们证明了 AXCEL 使用开源 LLM 表现出强大的性能。
这项工作提出了一种针对深度层次分类任务的新方法，即根据以严格的父子结构组织的多个标签对数据进行分类的问题。它由一个多输出深度神经网络组成，该网络在每个输出层之前配备了特定的投影算子。这种名为词典混合深度神经网络 (LH-DNN) 的架构设计，是通过结合来自不同且相距甚远的科研领域的工具实现的：词典多目标优化、非标准分析和深度学习。为了评估该方法的有效性，将得到的网络与 B-CNN 进行了比较，B-CNN 是一种针对层次分类任务定制的卷积神经网络，在 CIFAR10、CIFAR100（它最初和最近被提出，然后被采用并调整以适应多个现实世界应用）和 Fashion-MNIST 基准测试中进行了比较。证据表明，LH-DNN 可以实现相当甚至更好的性能，尤其是在学习层次关系方面，即使学习参数、训练周期和计算时间大幅减少，也不需要专门的损失函数权重值。
本文考察了ChatGPT发布前后瑞典人工智能（AI）元辩论的发展。从议程设置理论的角度出发，我们认为是政党政治之外的精英群体主导了这场辩论——也就是说，在这一快速发展中，政客们相对沉默。我们还认为，近年来，这场辩论变得更加实质性和风险导向。为了研究这一论点，我们利用了从2010年代初期到现在的精英级文件原始数据集，其中包括发表在多家瑞典主要报纸上的评论文章。通过对这些材料进行定性内容分析，我们初步的发现支持了学术精英而非政治精英引导这场辩论的预期。