由于文本到语音模型的可用性，合成数据被广泛用于语音识别，这有助于将模型适应以前未见过的文本领域。然而，现有的方法在用合成数据微调自动语音识别 (ASR) 模型时性能下降，因为它们受到通常称为合成到真实差距的分布偏移的影响。本文发现任务向量算术可以有效地减轻这种差距。我们提出的方法，SYN2REAL 任务向量，在 SLURP 数据集上相对于基线方法显示出平均 10.03% 的词错误率改进。此外，我们表明，当我们有多个不同领域的真实语音时，SYN2REAL 任务向量的平均值可以进一步适应原始 ASR 模型，使其在目标文本领域表现更好。
我们证明了，在特定情况下，即使使用非策略数据，目标网络和过度参数化的线性函数逼近的组合也能为引导值估计建立一个更弱的收敛条件。我们的条件自然地适用于整个状态-动作空间上的预期更新，或从情节马尔可夫决策过程学习的完整轨迹批次。值得注意的是，仅使用目标网络或过度参数化的模型并不能提供这样的收敛保证。此外，我们将我们的结果扩展到学习截断轨迹，表明通过类似于轨迹中最终状态的值截断的微小修改，所有任务都能够实现收敛。我们的主要结果侧重于预测的时序差分估计，提供了高概率的值估计误差界限，并在 Baird 的反例和四房间任务上进行了实证分析。此外，我们探索了控制设置，证明了类似的收敛条件适用于 Q 学习。
大型语言模型 (LLM) 在具身人工智能的现实世界决策任务中展现出巨大潜力，尤其是在针对特定应用进行微调时，可以利用其固有的常识和推理能力。然而，这种微调过程引入了相当大的安全漏洞，尤其是在安全至关重要的网络物理系统中。在这项工作中，我们针对具身人工智能中基于 LLM 的决策系统提出了第一个全面的后门攻击框架 (BALD)，系统地探索了攻击面和触发机制。具体而言，我们提出了三种不同的攻击机制：词语注入、场景操控和知识注入，针对基于 LLM 的决策管道中的各个组件。我们在自动驾驶和家用机器人任务中对代表性的 LLM（GPT-3.5、LLaMA2、PaLM2）进行了广泛的实验，证明了我们的后门触发器在各种攻击渠道中的有效性和隐蔽性，例如车辆加速驶向障碍物以及机器人将刀具放在床上。我们的词语和知识注入攻击在多个模型和数据集上实现了近 100% 的成功率，而只需要有限的系统访问权限。我们的场景操控攻击的成功率超过 65%，最高可达 90%，并且不需要任何运行时系统入侵。我们还评估了这些攻击对防御的鲁棒性，揭示了它们的弹性。我们的研究结果突出了具身 LLM 系统中的关键安全漏洞，并强调了迫切需要保护这些系统以减轻潜在风险。
开放权重大型语言模型（LLMs）是为特定领域的服务机器人应用微调代码 LLMs 生成训练数据的特别有吸引力的选择，因为它们具有成本效益、可定制且提供更好的隐私保护。然而，与专有 LLMs 不同，开放权重模型更容易出错，并且经常生成违反特定领域约束的程序。一个有希望的解决方案是将机器人模拟器与定义明确的环境相结合，以验证程序的正确性。然而，这些环境需要预先枚举相关实体及其状态，这限制了可以有效验证的程序的多样性。在这项工作中，我们引入了 ROBO-INSTRUCT，它保留了 LLM 生成的程序的多样性，同时提供了基于模拟器的检查的正确性。ROBO-INSTRUCT 引入了 ROBOSIM，为每个生成的程序动态合成一致的模拟环境。此外，ROBO-INSTRUCT 通过 INSTALIGN 处理更微妙的指令-程序不一致，这些不一致不会导致约束违反，INSTALIGN 是一个 LLM 辅助的指令-程序对齐过程。给定特定领域的 API 和一些种子示例，ROBO-INSTRUCT 可以利用 8B Llama3 模型生成训练数据集，用于微调 7B CodeLlama 模型。我们微调后的模型在 pass@1 上比原始基础模型提高了 28.75%，比其 SELF-INSTRUCT 微调的对应模型提高了 13.75%，甚至超过了 GPT-3.5-Turbo 和 Gemini-Pro 等一些专有 LLMs 的性能。
大型语言模型 (LLM) 已取代传统方法，成为众多自然语言处理任务的首选。然而，在命名实体识别 (NER) 中，现有的基于 LLM 的方法...
解决水下垃圾沉没问题对于保护水生生态系统和海洋生物至关重要。虽然识别水体表面的垃圾相对容易，但由于光线折射、吸收、悬浮颗粒、颜色变化和遮挡等因素造成的图像失真，评估水下沉没的垃圾是一个挑战。本文对现有数据集和最先进的架构进行了全面综述，以建立水下垃圾检测的基准。主要目标是建立目标定位技术的基准，以便被先进的水下传感器和自主水下航行器利用。最终目标是探索水下环境，识别和清除水下垃圾。许多研究中缺乏基准（数据集或算法）突出了对更强大的算法解决方案的需求。通过这项研究，我们旨在对各种水下垃圾检测算法进行性能比较分析。
从 fMRI 信号进行视觉解码的研究工作在研究界引起了极大的关注。然而，由于不同受试者之间以及同一受试者在不同试验中 fMRI 信号的巨大差异，多受试者 fMRI 解码一直被认为是难以解决的问题。为了解决多受试者脑解码的当前局限性，我们在这里介绍了一种使用名为 MindFormer 的多受试者 fMRI 信号语义对齐的新方法。该模型专门设计用于生成 fMRI 条件特征向量，这些特征向量可以用于调节 Stable Diffusion 模型进行 fMRI 到图像生成或调节大型语言模型 (LLM) 进行 fMRI 到文本生成。更具体地说，MindFormer 包含两个关键创新：1) 一个特定于受试者的标记，有效地捕获 fMRI 信号的个体差异，同时协同组合多受试者 fMRI 数据进行训练；2) 一种基于 IP-Adapter 的新型特征嵌入和训练方案，用于从 fMRI 信号中提取语义上有意义的特征。我们的实验结果表明，MindFormer 在不同受试者之间生成了语义一致的图像和文本。由于我们的 MindFormer 通过充分利用不同受试者之间的训练数据来保持语义保真度，并且在多受试者脑解码方面显著优于现有模型，这可能有助于我们更深入地了解个体之间神经处理的变化。
强化学习与人类反馈 (RLHF) 被认为是微调大型语言模型 (LLM) 的标准方法。然而，此类方法通常面临一些局限性，例如不合理的黑盒奖励模型、收集人类偏好数据方面的困难以及对稀疏标量奖励的依赖。当应用于需要复杂特定领域理解的任务时，这些方法往往力不从心。
为了解决这些挑战，我们提出了一种新的微调范式，称为基于符号反馈的强化学习 (RLSF)，旨在比传统奖励信号更有效地提高 LLM 的特定领域理解能力。在 RLSF 设置中，正在被微调的 LLM 被视为一个 RL 智能体，而环境则被允许访问推理或领域知识工具（例如，求解器、证明器、代数系统或知识库）。至关重要的是，在 RLSF 中，这些推理工具可以通过多尺寸证书（例如，证明）向 LLM 提供反馈，这些证书描述了 LLM 生成的对象相对于某些正确性规范的错误。作为一项额外优势，我们的 RLSF 方法不需要我们使用的推理系统可微分。基于 RLSF 的微调能够利用证书生成符号工具，从而为 LLM 提供可靠的细粒度（令牌级）奖励信号，因此解决了上述传统奖励模型的局限性。
通过广泛的评估，我们表明我们基于 RLSF 的 LLM 微调在五个不同的应用中优于传统方法，即从自然语言伪代码到编程语言的程序合成、三个化学任务以及解决 24 点游戏。一项重要结论是，通过 RLSF 进行微调使相对较小的 LLM 能够显著优于规模大几个数量级的闭源模型（例如 GPT-4）。
训练后量化 (PTQ) 技术应用于权重、激活和 KV 缓存，极大地减少了大型语言模型 (LLM) 的内存使用、延迟和功耗，但在存在异常值时可能会导致较大的量化误差。旋转激活或权重矩阵有助于消除异常值并有利于量化。在这项工作中，我们确定了一组适用的旋转参数化，这些参数化在全精度 Transformer 架构中产生相同的输出，同时提高了量化精度。此外，我们发现一些随机旋转比其他旋转具有更好的量化效果，在后续的零样本推理性能方面最多相差 13 个点。因此，我们提出了 SpinQuant，这是一种新方法，它结合了学习到的旋转矩阵，以实现最佳的量化网络精度。通过对权重、激活和 KV 缓存进行 4 位量化，SpinQuant 将 LLaMA-2 7B 模型在零样本推理任务上与全精度之间的精度差距缩小到仅 2.9 个点，超过了 LLM-QAT 19.1 个点和 SmoothQuant 25.0 个点。此外，SpinQuant 的性能也优于同时期的工作 QuaRot，后者对随机旋转进行应用以消除异常值。特别是对于难以量化的 LLaMA-3 8B 模型，SpinQuant 相对于 QuaRot 将与全精度之间的差距缩小了 45.1%。
随着大型语言模型如 LLaMA 和 OpenAI GPT-3 的出现，上下文学习 (ICL) 由于其有效性和效率而获得了极大的关注。然而，ICL 对用于在提示中编码演示的选择、顺序和语言表达方式非常敏感。检索增强型 ICL 方法试图通过利用检索器来提取语义相关的示例作为演示来解决这个问题。虽然这种方法可以产生更准确的结果，但其对各种类型对抗攻击的鲁棒性，包括对测试样本、演示和检索数据的扰动，仍未得到充分探索。我们的研究表明，检索增强型模型可以增强对测试样本攻击的鲁棒性，优于传统 ICL，攻击成功率 (ASR) 降低了 4.87%；然而，它们在演示中表现出过度自信，导致演示攻击的 ASR 增加了 2%。对抗训练可以帮助提高 ICL 方法对对抗攻击的鲁棒性；然而，在大型语言模型的背景下，这种训练方案可能过于昂贵。作为替代方案，我们引入了一种有效的无训练对抗防御方法 DARD，它通过那些攻击样本丰富了示例池。我们表明，DARD 在性能和鲁棒性方面取得了改进，与基线相比，ASR 降低了 15%。代码和数据已发布以鼓励进一步研究：https://github.com/simonucl/adv-retreival-icl