arXiv:2504.08862v1 宣布类型: cross
摘要: 作为一种现代硬件设计中的重要组成部分，手动编写寄存器传输级（RTL）代码，如Verilog，通常是劳动密集型的工作。随着大型语言模型（LLMs）的极大成功，研究人员已经开始探索利用LLMs生成RTL代码。然而，目前的研究主要集中在生成简单的单一模块，这不能满足现实世界的需求。事实上，由于管理和处理大型的RTL代码上下文以及复杂的跨文件依赖关系的挑战，现有的解决方案无法在实际的硬件开发中处理大型的Verilog存储库。作为独占地将LLMs适应大规模RTL开发的第一个尝试，我们提出了RTLRepoCoder，这是一个开创性的解决方案，它结合了特定的微调和检索增强生成（RAG）技术，以实现仓库级别的Verilog代码补全。来自真实世界的开源Verilog存储库，以及扩大的上下文大小，用于特定领域的微调。优化的RAG系统通过检索相关代码片段来提高输入上下文的信息密度。针对RAG进行了定制优化，包括嵌入模型、跨文件上下文分割策略和片段大小。我们的解决方案在公共基准上达到了最先进的性能，特别是在编辑相似性和精确匹配率方面显著超过了GPT-4和先进领域的LLMs。全面的实验表明我们方法的显著效果，并为未来的工作提供了见解。
arXiv:2504.08861v1 公告类型: cross
摘要：目的：机器学习（ML）有可能促进医学中的“持续学习”，在这种模式下，ML系统在面对时间上新数据的暴露时继续进化，即使是在临床环境中部署之后。在本文中，我们提供了一篇教程，探讨了迄今为止文献中被忽视的此类“适应性”ML系统在医学中的伦理问题的范围。
目标受众：本文的目标受众是机器学习AI系统的开发者、医疗卫生监管者、更广泛的医学信息学社区以及临床医生。
范围：到目前为止，关于适应性ML系统的讨论忽视了这类系统可能表现出的两种类型的变异性——历时进化（随时间的变化）和共时变异（不同地点同一时间的不同版本算法之间的差异），并且低估了后者的重要性。我们强调了历时进化和共时变异对患者护理质量、知情同意和公平性带来的挑战，并讨论了设计此类系统所涉及的复杂的伦理权衡。
arXiv:2504.08860v1 行类别: 交叉
摘要: 稀疏矩阵-向量乘法（SpMV）是科学计算和人工智能中广泛应用的基本操作。然而，稀疏矩阵的大型规模和稀疏性往往使其成为性能瓶颈。在本文中，我们强调了基于哈希技术在优化稀疏矩阵重排方面的有效性，引入了基于哈希的分区（HBP）格式，这是一种轻量级的SpMV方法。HBP保留了2D分区方法的性能优势，同时利用哈希转换的能力将相似元素分组，从而加速稀疏矩阵重排的预处理阶段。此外，我们通过一种竞争性的方法实现了矩阵分区的并行负载均衡。我们在Nvidia Jetson AGX Orin和Nvidia RTX 4090上进行的实验显示，在预处理步骤中，与排序方法相比，我们的方法提供了平均3.53倍的加速，与Regu2D中使用的动态规划方法相比提供了平均3.67倍的加速。此外，在SpMV中，我们的方法在Orin上实现了最大3.32倍的加速，在RTX4090上实现了最大3.01倍的加速，这都是针对来自University of Florida稀疏矩阵集合的稀疏矩阵相对于CSR格式的加速。
arXiv:2504.08859v1 类别：交叉学科
摘要：聚合物构象生成是一项关键任务，它使原子级研究各种聚合物材料成为可能。虽然在设计用于小分子和蛋白质的各种构象生成方法方面取得了显著进展，但这些方法在生成聚合物构象时遇到了困难，因为聚合物具有独特的结构特征。聚合物构象数据集的稀缺性进一步限制了进展，使这一有前景的领域大多未被探索。在这项工作中，我们提出了PolyConf，这是一种开创性的定制聚合物构象生成方法，利用分层生成模型解锁了这一任务的新可能性。具体来说，我们将聚合物构象分解为一系列局部构象（即其重复单元的构象），通过自回归模型生成这些局部构象。然后，我们使用diffusion模型开发相应的方向变换以将这些局部构象组装成完整的聚合物构象。此外，我们首次开发了一个基准，该基准基于分子动力学模拟获得了一个高质量的聚合物构象数据集，以促进这一领域的相关研究。全面的评估表明，PolyConf 一致地生成高质量的聚合物构象，促进了聚合物建模和模拟的发展。
arXiv:2504.08856v1 交叉领域类型：课程表示
摘要：从课程信息和材料中提取关键概念及其关系，有助于为需要从大量课程中选择合适课程的学习者提供可视化和推荐。然而，手动识别和提取主题耗时且费力。以前基于机器学习的方法从课程中提取相关概念大量依赖详细的课程材料，这需要大量的人力准备课程材料。本文研究了大规模语言模型（LLM）如GPT自动生成课程概念及其关系的潜力。具体而言，我们设计了一系列提示，并向GPT提供不同详细程度的课程信息，从而生成高质量的课程概念并识别它们之间的关系。此外，我们通过广泛的实验全面评估了生成的概念和关系的质量。我们的结果表明，LLM可以作为支持教育内容选择和交付的工具。
arXiv:2504.08855v1 类型: cross
摘要：本文探讨了人工智能 (AI) 和机器人技术如何在全球劳动力市场中产生变革。由于休息和假期的限制，人工工人每个工时的有效工作日仅占33%，每小时成本为14至55美元。相比之下，数字劳动力几乎可以全天候运行，每小时的成本仅为0.10至0.50美元。我们研究了医疗保健、教育、制造业和零售业等各个行业，发现40%至70%的任务有可能实现自动化。然而，情感智能和适应性等人类技能仍然至关重要。人类每小时处理5000至20000个令牌（信息单位），而AI的处理能力远超人类，尽管其能耗是人类的3.5至7倍，这可能抵消20%至40%的成本节约。通过现实世界的例子，如 journalism 和法律领域的 AI 应用，我们阐明了这些动态并提出六种策略，如四天工作周和重新培训，以确保向由 AI 驱动的经济平稳过渡。
arXiv:2504.08853v1 类型：交叉
摘要：人工智能（AI）系统表现出复杂且看似自主的行为的普及，迫切需要从哲学层面对其自主性、自治性和道德地位进行深刻审视。在本文中，我们对人工系统中的基本自主性、自主性和道德自主性之间的差异进行了系统分析。我们认为，尽管当前的AI系统极为复杂，但它们缺乏真正的自主性和自主性，因为：它们在预编程的目标范围内运作，而不是在环境中表现出真正的目标导向行为；它们无法真正塑造其与世界的互动；并且它们缺乏实现完全自主所需的批判性自我反思和自主性能力。然而，我们不排除未来可能通过伦理决策的混合方法实现有限形式的人工道德自主性的可能性。这意味着，通过强调知觉对于道德体验的必要性，我们认为这样的无意识AMA可能代表了一种挑战传统关于道德自主性和道德享有必要联系的假设的情况。
arXiv:2504.08852v1 类型: cross
摘要: 机器学习（ML）模型的日益庞大和复杂性推动了对高效支持ML工作负载的自定义硬件加速器的需求。然而，设计这样的加速器仍然是一个耗时的过程，工程师们需要通过清晰的文档和有效的沟通手动确保其设计的可解释性。近年来，大型语言模型（LLMs）的进步为自动化这些设计可解释性任务提供了 promising 的机会，特别是用于生成寄存器传输级（RTL）代码的自然语言描述的任务，我们称之为“RTL-to-NL任务”。在本文中，我们探讨了设计可解释性，特别是RTL-to-NL任务，如何影响硬件设计过程的效率。我们回顾了现有工作以适应这些任务的LLMs，指出了仍然未解决的关键挑战，包括数据、计算和模型开发方面的问题，并确定了应对这些问题的机会。通过这种方式，我们旨在指导未来的研究，利用ML自动化RTL-to-NL任务并提高硬件设计的可解释性，从而加快硬件设计过程，并满足在机器学习及其他领域对自定义硬件加速器日益增长的需求。
arXiv:2504.08851v1 交叉类型: cross
摘要: 最近，在大型多模态模型（LMMs）中，上下文内学习（ICL）已成为一个重要的推理范式，利用少量的上下文内示范（ICDs）来促使LMMs执行新任务。然而，多模态数据中的协同效应增加了ICL性能对ICDs配置的敏感性，刺激了对一种更稳定和普适的映射函数的需求。从数学上来说，在基于变换器的模型中，ICDs充当添加到查询标记的隐藏状态中的“移位向量”。受到这一想法的启发，我们引入了模拟上下文学习（MimIC），以从ICDs中学习稳定的和可泛化的移位效果。具体而言，与一些基于移位向量的方法相比，MimIC通过将轻量级可学习模块整合到LMMs中，并通过四项关键增强来更严格地逼近移位效果：1) 在注意力层之后插入移位向量，2) 为每个注意力头分配一个移位向量，3) 让移位幅度依赖于查询，4) 使用逐层对齐损失。在两种LMMs（Idefics-9b和Idefics2-8b-base）上的三个多模态任务（VQAv2、OK-VQA、Captioning）的广泛实验表明，MimIC优于现有的基于移位向量的方法。源代码可在https://github.com/Kamichanw/MimIC获取。
arXiv:2504.08850v1 类型：交叉
摘要：提前退出技术最近被证明是通过有效减少硬件计算和内存访问加快大型语言模型（LLMs）的一种有前途的方法。在这篇论文中，我们介绍了 SpecEE，一种具有推测性提前退出的快速 LLM 推断引擎。（1）在算法层面，我们提出了一种基于推测的轻量级预测器设计，通过利用推测性令牌与正确结果之间的概率相关性以及 GPU 的高并行性。（2）在系统层面，我们指出并非所有层都需要预测器，并基于偏斜分布和上下文相似性设计了两级启发式预测器调度引擎。（3）在映射层面，我们指出不同的解码方法共享相同的基本特性，并提出了支持推测性解码的概念感知合并映射，以及在云和个人电脑（PC）场景中支持各种现有正交加速技术（例如量化和稀疏激活）的框架，成功地推动了准确性和加速比的帕累托前沿。值得注意的是，SpecEE 可以通过可忽略不计的训练开销应用于任何 LLM，而不会影响模型的原始参数。广泛的实验表明，SpecEE 在云和 PC 场景中分别实现了 Llama2-7B 的 2.25 倍和 2.43 倍加速。