arXiv:2407.11686v4 宣告类型: replace-cross
摘要：大型语言模型（LLMs）通过在大量数据集上训练，在多个领域取得了卓越的性能。然而，在资源受限的情况下扩展LLMs以支持多种下游领域应用仍然是一个重大挑战。现有的方法往往难以在多个领域之间平衡性能与资源效率，限制了它们的广泛应用。为了解决这一问题，我们引入了CCoE架构，这是一种模块化框架，能够将特定领域的专家无缝集成到统一的LLM中。通过在共享主干分割上独立训练专家子网络，CCoE实现了最先进的性能，同时显著降低了多专家部署所需的资源要求。此外，CCoE中的基于规则的门控和专家规划使得任务分配具有灵活性，促进了专家间的协作以处理复杂的推理任务。CCoE不仅降低了推理成本，还提供了一种灵活且可扩展的解决方案来整合跨不同应用的领域专业知识。在五个领域上的实验表明，CCoE的性能与当前领域特定的LLMs相当。此外，与现有的多领域模型集成方法相比，CCoE在内存使用上减少了61.3%，在参数效率多专家集成方法的推理效率上提升了0.76倍。
arXiv:2407.11480v2 生成类型: 替换交叉
摘要：随着生成模型如ChatGPT的显著成功，人工智能生成内容（AIGC）正处于爆炸性发展之中。不仅限于文本和图像，生成模型可以生成工业时间序列数据，解决数据收集和数据标注的难题。由于它们出色的生成能力，已经在物联网、元宇宙和网络物理社会系统中广泛使用，以提高工业生产效率。在本文中，我们从深度生成模型（DGMs）到大型生成模型（LGMs）全面概述了工业时间序列的生成模型。首先，我们提出了一种基于DGM的AIGC框架，用于工业时间序列的生成。在这个框架中，我们回顾了先进的工业DGMs，并提供了一个多角度分类。此外，我们系统地从四个方面分析了构建工业LGMs所需的关键技术：大规模工业数据集、LGMs架构以适应复杂工业特性、工业时间序列的自监督训练，以及工业下游任务的微调。最后，我们总结了挑战和未来方向，以促进工业中生成模型的发展。
arXiv:2407.10810v2 宣布类型: replace-cross
摘要：人工智能是推动集成电路（IC）制造发展的关键。大型多模态模型（LMMs）的近期突破使我们能够在理解和分析图像及文本方面获得非凡的能力，进而促进智能化制造。利用LMMs的强大功能，我们引入了FabGPT，这是一个针对晶圆缺陷知识查询定制的大型多模态模型。FabGPT 在扫描电子显微镜（SEM）图像中的缺陷检测方面表现出色，并能够进行根本原因分析和提供关于制造过程的专家问答。FabGPT 通过将增强的多模态特征匹配技术自动检测复杂晶圆背景下的细微缺陷，减少手动阈值设置的主观性。此外，提出的调制模块和交互语料训练策略将晶圆缺陷知识嵌入预训练模型中，有效平衡了与缺陷知识相关的问答查询和原始知识之间的关系，并减轻了模态偏差问题。在内部晶圆厂数据上的实验结果显示，FabGPT 在晶圆缺陷检测和知识查询方面取得了显著的性能提升。
arXiv:2407.10275v2 宣布类型: 替换-交叉
摘要：大型语言模型通常期望能够不断适应新的知识来源，知识编辑技术旨在以最小的修改高效地修补过时的模型知识。大多数先前的工作集中在英语的单语知识编辑上，尽管新的信息可能从世界上任何地方、任何语言中涌现出来。我们提出了跨语言多跳知识编辑范式，用于衡量和分析各种最先进的知识编辑技术在跨语言设置下的性能。具体来说，我们创建了一个平行跨语言基准——CROLIN-MQUAKE，用于衡量知识编辑能力。我们在各种知识编辑技术的广泛分析中发现了跨语言和以英语为中心设置之间的显著性能差距。在此之后，我们提出了一种显著改进的跨语言多跳知识编辑系统——CLEVER-CKE。CLEVER-CKE基于检索、验证和生成的知识编辑框架，其中形成了一种检索编辑事实的方法，以支持LLM遵循知识编辑。我们为这个框架中的跨语言和细粒度的事实检索与验证过程开发了语言感知和难否定样本为基础的对比目标，从而提高这些过程的性能。在三个LLM、八种语言和两个数据集上的 extensive 实验显示，CLEVER-CKE 在与先前方法相比时，性能有了高达30%的显著提升。
arXiv:2407.04259v2 宣布类型: replace-cross
摘要: 在本文中，我们提出了一种新颖的 $Q$-学习算法，允许解决分布稳健的马尔可夫决策问题，其中概率测度的含混集可以任意选择，只要含混集中只包含有限数量的测度。因此，我们的方法超越了涉及围绕某个参考测度的含混集的情况，其中参考测度的距离用 Wasserstein 距离或 Kullback-Leibler 散度进行度量。因此，我们的方法允许申请者根据她的需求创建更贴合的含混集，并通过我们的主要成果保证能够利用 $Q$-学习算法解决相关稳健的马尔可夫决策问题。此外，我们在多个数值实验中展示了我们方法的可处理性。
arXiv:2407.04191v2 通告类型: replace-cross
摘要：给定一个文本提示，扩散模型能够提供前所未有的图像生成能力。虽然新兴的控制扩散模型的方法使用户能够指定生成内容的空间布局，但由于人类视觉复杂性的原因，它们并不能预测或控制观众将更多关注的地方。鉴于在实际应用中关注点可控的图像生成的重要性，我们提出了一种基于显著性的框架，将人类视觉注意机制的数据先验融入生成过程。给定用户指定的观者注意力分布，我们的控制模块条件化一个扩散模型以生成能够吸引观众注意力指向所需区域的图像。为了评估我们方法的有效性，我们进行了眼动追踪用户研究和大规模模型导向的显著性分析。结果显示，跨用户的注视分布和显著性模型的预测都与所需的关注分布相一致。最后，我们概述了几个应用，包括交互式设计显著性引导、对不希望注意的区域进行注意抑制，以及适应不同显示/观看条件的生成方法。
arXiv:2407.02025v4 宣布类型: replace-cross
摘要：受化学和其他科学应用的启发，我们研究了消息传递神经网络在几何图中的表现力，其中节点特征对应于三维位置。近期的研究表明，这类模型可以分离通用的非同构几何图，尽管它们可能无法分离一些稀有的复杂实例。然而，这些结果假设了一个全连接的图，其中每个节点都拥有其他所有节点的全部知识。相比之下，通常情况下，每个节点只拥有其最近邻居的有限知识。
本文表明，在基础图连接的情况下，具有旋转不变特征的消息传递网络可以分离通用的非同构几何图。当仅允许不变的中间特征时，对于通用全局刚性的图，这种分离是得到保证的。我们介绍了一个简单的架构——EGENNET，该架构实现了我们的理论保证，并在合成和化学基准测试中与替代架构相比表现良好。我们的代码可在 https://github.com/yonatansverdlov/E-GenNet 获取。
arXiv:2406.18351v2 通知类型: replace-cross
摘要: 强化学习（RL）在库存控制（IC）领域已被证明表现出色且具有普适性。然而，由于在线经验的两个局限性，进一步改进IC领域的RL算法变得困难。首先，在现实世界应用中的在线经验获取成本高昂。由于RL算法的低样本效率特性，要训练RL策略达到收敛需要花费大量时间。其次，在IC中通常存在的缺货现象使得在线经验不一定能够反映真实需求，这使得学习过程更加困难。为了解决以上挑战，我们提出了一种结合强化学习、反馈图（RLFG）和内在动机探索（IME）的决策框架，以提高样本效率。具体来说，我们首先利用缺货IC问题固有的特性，并专门为缺货IC问题设计反馈图（FG），以生成丰富的辅助经验来辅助RL更新。然后，我们对设计的FG如何减少RL方法的样本复杂性进行了严谨的理论分析。基于理论见解，我们设计了一个内在奖励，指导RL代理探索具有更多辅助经验的状态-动作空间，进一步发挥FG的功能。实验结果表明，我们的方法极大地提高了在IC中应用RL的样本效率。我们的代码可在 https://anonymous.4open.science/r/RLIMFG4IC-811D/ 获取。
arXiv:2406.16746v4 宣布类型: replace-cross
摘要：基础模型开发吸引了越来越多的贡献者、科学家和应用程序。为了帮助塑造负责任的开发实践，我们引入了《基础模型开发速查表》：一个涵盖250多种工具和资源的不断增长的集合，涉及文本、视觉和语音等多种模态。我们基于大量此前的工作对资源（例如软件、文档、框架、指南和实用工具）进行了调查，这些资源支持知情的数据选择、处理和理解、精确和具备局限性意识的文档、高效的模型训练、对训练环境影响的先进认识、谨慎的能力、风险和声明的模型评估，以及负责任的模型发布、许可和部署实践。希望这份精心挑选的资源集合能够引导更负责任的发展。在整理这份列表的过程中，我们得以审视AI开发生态系统，揭示了现有实践中的工具严重缺少、误用或过度使用的情况。我们发现：（i）用于数据来源、模型评估和监控的工具严重未能满足伦理和现实世界的需求；（ii）模型安全性、能力和环境影响的评估均缺乏可重复性和透明度；（iii）文本分析，特别是以英语为中心的分析，仍主导着多语言和多模态分析；（iv）需要对系统而非仅仅对模型进行评估，以便在上下文中评估能力和影响。
arXiv:2406.15938v4 宣告类型: replace-cross
摘要: 大规模语言模型（LLMs）在对其响应的细致可控性方面仍然存在不足，这是提高它们性能和用户体验的关键。然而，通过监督微调（SFT）数据集来改进LLM的可控性通常依赖于人类专家或专有LLM，这需要额外的成本。为了弥合这一差距，我们提出了基于规则的数据回收（RuleR）方法，该方法通过预定义规则将多个约束整合到原始数据样本中，从而创建新的训练任务以巩固LLM的可控性。RuleR 并非从头创建新数据，而是通过简单地对现有数据的响应应用基于规则的编辑并在其原始指令中附加规则说明来“回收”现有数据。实验结果证明，RuleR 在提高LLM可控性的同时，能够保持一般指令遵循能力的有效性。