LLM2D

arXiv 论文列表

作者: Kecheng Chen, Xinyu Luo, Tiexin Qin, Jie Liu, Hui Liu, Victor Ho Fun Lee, Hong Yan, Haoliang Li
arXiv:2504.02008v1 基础医学分割模型:交叉 摘要:基础医学分割模型,在MedSAM最为流行的情况下,已经在不同器官和病灶上取得了令人瞩目的性能。然而,MedSAM在结构和外观复杂的特定病灶上仍然存在性能妥协的问题,以及边界框提示引起的扰动。尽管当前医学图像分割的测试时间适配(TTA)方法可以解决这一问题,但部分(例如,批量标准化)或整个参数更新限制了它们的效果,因为在大型模型中受限的更新信号会导致灾难性遗忘。同时,这些方法忽略了适配过程中的计算复杂性,这对现代基础模型尤为重要。为了应对这一挑战,我们的理论分析表明,在MedSAM架构下,直接精炼图像嵌入是可行的方法,这使得我们能够在不面临灾难性遗忘风险的情况下实现高计算效率和分割性能。在这一框架下,我们提出了一种利用拟合后的潜在条件随机场损失和熵最小化损失相结合的方法,以鼓励最大化后验预测概率的因子化条件概率。实验结果显示,在三个数据集中,我们实现了大约3%的Dice分数提高,同时计算复杂度降低了7倍以上。
发布时间: 4/4/2025
查看原文
作者: Vikram Kulothungan, Priya Ranjani Mohan, Deepti Gupta
arXiv:2504.02000v1 宣告类型:交叉 摘要:人工智能(AI)日益成为经济增长的核心,承诺带来新的效率和市场。这种经济意义引发了关于AI监管的辩论:规则和监督是否通过建立信任和保护公众而长期促进经济增长,还是限制创新和自由企业?本文探讨了AI监管与资本主义理想的平衡,重点关注不同的AI数据隐私方法如何影响AI驱动应用的创新。中心问题是,AI监管是否促进或抑制资本主义经济中的增长。我们的分析综合了历史先例、当前美国监管环境、经济预测、法律挑战和近期AI政策的案例研究。我们讨论了精心制定的AI数据隐私监管措施——在创新激励与公众利益之间取得平衡,可以通过建立信任和确保负责任的数据使用来促进可持续增长;但过度监管可能会限制创新并固化既有巨头的风险。
发布时间: 4/4/2025
查看原文
作者: Jinendra Malekar, Peyton Chandarana, Md Hasibul Amin, Mohammed E. Elbtity, Ramtin Zand
arXiv:2504.01994v1 宣告类型: 交叉 摘要: 在本文中,我们提出了PIM-LLM,一种用于加速1比特大语言模型(LLMs)的混合架构。PIM-LLM 利用了模拟处理-in-内存(PIM)架构和数字 systolic 数组,分别加速了1比特 LLMs 中投影层的低精度矩阵乘法(MatMul)操作和注意力头中的高精度 MatMul 操作。我们的设计在每秒token数方面实现了约80倍的改善,并在每焦耳token数方面提高了70%。此外,PIM-LLM 比之前的基于PIM的LLM加速器表现更佳,分别在GOPS和GOPS/W方面至少提高了2倍和5倍。
发布时间: 4/4/2025
查看原文
arXiv:2504.01992v1 类别:交叉学科 摘要:本文通过生成场景来探讨人工智能在社会和经济方面可能产生的潜在影响(AI)。我们通过应用影响不确定性矩阵对影响人工智能集成和采纳的关键因素进行分类和分析。提议的方法涉及查询学术数据库、识别新兴趋势和主题,并将这些内容分类到影响不确定性框架中。该论文识别出AI可能带来重大变化的关键领域,并基于这些见解概述了潜在的未来情景。这项研究旨在告知政策制定者、行业领导者和研究人员所需的策略规划,以应对AI带来的挑战和机遇。
发布时间: 4/4/2025
查看原文
作者: Dario Garcia-Gasulla, Gokcen Kestor, Emanuele Parisi, Miquel Albert'i-Binimelis, Cristian Gutierrez, Razine Moundir Ghorab, Orlando Montenegro, Bernat Homs, Miquel Moreto
arXiv:2504.01986v1 宣告类型:交叉 摘要:大语言模型(LLM)的迅速进步推动了生成式AI在各种领域的应用,包括电子设计自动化(EDA)。与传统的软件开发不同,EDA 提出了独特的挑战,因为生成的 RTL 代码不仅需要在语法上正确且功能准确,还需要能够被硬件生成器综合,并满足性能、功耗和面积的要求。这些额外的要求引入了现有代码生成基准往往无法捕捉的复杂性,限制了它们在评估 LLM 在 RTL 生成方面的有效性。为了弥补这一差距,我们提出 TuRTLe,这是一种统一的评估框架,旨在系统地评估 LLM 在关键的 RTL 生成任务方面的性能。TuRTLe 整合了多个现有基准,并自动化了评估过程,使我们能够全面评估 LLM 在语法正确性、功能正确性、综合、PPA 优化以及准确行定位方面的性能。使用此框架,我们对一组不同开放的 LLM 进行基准测试,并分析它们在特定于 EDA 的任务中的优势和劣势。结果显示,基于推理的模型,如 DeepSeek R1,在多个评估标准上一直表现出色,但代价是计算开销和推理延迟增加。此外,基础模型在模块完成任务中表现更好,而指令调整模型在规范到 RTL 的任务中表现更佳。
发布时间: 4/4/2025
查看原文
arXiv:2504.01985v1 Announce Type: cross 摘要:在现代仓库场景中,电子商务的迅速发展和日益复杂、多层次的存储环境暴露了传统AGV(自动引导车)路径规划方法的局限性——这些方法通常依赖于静态的2D模型和专家调参的启发式算法,难以处理动态交通和拥堵。为解决这些问题,本文介绍了一种新的AGV路径规划方法,适用于3D仓库环境,该方法结合了蚁群优化(ACO)和深度学习模型的混合框架,称为NAHACO(神经自适应启发式蚁群优化)。NAHACO整合了三项创新:首先,一种创新的3D仓库货物建模启发式算法,使用多维张量,解决了启发式算法准确性的挑战;其次,在蚁群优化框架中集成了一个拥堵感知损失函数(CARL,Congestion-Aware Reinforce Loss),根据交通和容量约束调整路径成本,从而为基于蚁群优化的路径规划提供动态启发式校准;第三,一种自适应的注意力机制,捕捉多尺度空间特征,从而进一步优化基于蚁群优化的路径规划和AGV导航。NAHACO显著提高了路径规划效率,计算时间更快,性能优于常规方法和最先进的方法,并且能够自动适应仓库约束进行实时优化。在TSP基准测试中,NAHACO将总成本降低了高达24.7%。在仓库测试中,与先前的方法相比,NAHACO将成本降低了高达41.5%,拥堵降低了高达56.1%。
发布时间: 4/4/2025
查看原文
作者: Kaiyuan Yang, Huang Ouyang, Xinyi Wang, Bingjie Lu, Yanbo Wang, Charith Abhayaratne, Sizhao Li, Long Jin, Tiantai Deng
arXiv:2504.01981v1 Announce Type: cross 摘要:本文介绍了Natural-Level Synthesis(NLS)这一创新方法,该方法使用生成性人工智能在系统级和组件级生成硬件。NLS填补了当前硬件开发流程中的一个空白,即算法工程师和应用工程师的参与通常仅限于需求阶段。通过使用Gen-AI模型将自然语言描述直接转换为硬件描述语言代码,NLS使工程师能够更深入地参与到开发、合成和测试阶段。这种方法不仅简化了硬件开发流程,还提高了可访问性,促进了硬件工程师和算法工程师之间的协作工作流程。我们开发了NLS工具,以促进自然语言驱动的HDL合成,从而能够快速生成系统级HDL设计,同时显著降低开发复杂性。通过对性能、功耗和面积指标进行案例研究和基准测试,NLS展示了其在硬件开发中提高资源效率的潜力。本文提供了一种扩展性和高效的硬件合成解决方案,并建立了一个Visual Studio Code扩展程序,以评估由Gen-AI驱动的HDL生成和系统集成,为未来带有AI增强和AI参与的电子产品自动化工具奠定了基础。
发布时间: 4/4/2025
查看原文
作者: Ludvig Ericson, Jos\'e Pedro, Patric Jensfelt
arXiv:2504.01980v1 宣告类型:交叉 摘要:移动机器人自主探索由两个相互竞争的目标驱动:覆盖,即尽可能全面地观测环境;路径长度,即在最短路径上完成观测。虽然在不知道未知信息的情况下很难评估最佳行动方案,但通过模型、地图或常识可以理解未知信息。然而,以往的工作已经表明,通过上述先验知识提高信息获取估计会导致贪婪行为,并最终导致回溯,从而降低覆盖率。事实上,任何信息获取最大化都会表现出这种行为,即使没有先验知识也是如此。任务完成时获得的信息是固定的,无法最大化。因此,它不适合作为优化目标的选择。相反,信息获取是决定哪些候选状态仍应被考虑进行探索的决策标准。因此,任务变成了以最短的总路径长度完成任务。由于确定最短路径通常无法实现,因此有必要依赖启发式方法或估计来识别最小化总路径长度的候选状态。为了解决这个问题,我们提出了一种启发式方法,通过偏好那些距离机器人较近但与其他候选状态较远的候选状态来减少回溯。我们将在仿真中将所提出启发式的性能与基于信息获取的方法和前沿探索方法进行对比,并证明在有和没有环境先验知识的情况下,我们的方法显著缩短了总路径长度。
发布时间: 4/4/2025
查看原文
作者: Ziang Yan, Xingyu Zhao, Hanqing Ma, Wei Chen, Jianpeng Qi, Yanwei Yu, Junyu Dong
arXiv:2504.01979v1 宣告类型: cross 摘要: 随着社交媒体和基于位置的社会网络(LBSN)的发展,跨平台的签到数据已成为用户身份链接(UIL)的关键。这些数据不仅揭示了用户的空间和时间信息,还提供了其行为模式和兴趣的见解。然而,跨平台的身份链接面临着数据质量差、高稀疏性和噪声干扰等挑战,这阻碍了现有方法从跨平台用户数据中提取有用信息。为了解决这些问题,我们提出了一种名为 MT-Link 的关联注意掩蔽变换器用于用户身份链接网络,这是一种基于变换器的框架,通过学习跨平台用户的空间和时间共现模式来增强模型性能。我们的模型有效地捕捉了跨平台用户的签到序列的空间和时间共现。它采用关联注意机制来检测用户签到序列之间的空间和时间共现。根据注意权重图,该模型关注共现点并过滤掉噪声,最终提高分类性能。实验结果显示,我们的模型在宏F1和曲线下面积(AUC)方面分别比最新基线高出12.92%~17.76%和5.80%~8.38%。
发布时间: 4/4/2025
查看原文
作者: Christoph Brunken, Sebastien Boyer, Mustafa Omar, Martin Maarand, Olivier Peltre, Solal Attias, Bakary N'tji Diallo, Anastasia Markina, Olaf Othersen, Oliver Bent
arXiv:2504.01973v1 公告类型: cross 摘要: 对分子系统进行粗粒化(Coarse-grained, CG)力场方法是模拟大型生物大分子的关键工具,因此对于生物分子系统的表征至关重要。尽管近年来基于深度学习(Deep Learning, DL)的全原子力场模型有了显著改进,但我们观察到并分析了目前基于DL的CG模拟方法中存在的重要局限性。在这项工作中,我们提出了首个可移植的基于DL的CG力场方法(即,不限于仅为某一特定系统类型设计的方法),适用于广泛的生物系统。为了实现这一目标,我们的CG算法不依赖于硬编码的规则,并被调整为输出优化的粗粒化系统,以最小化真实CG力量的统计噪声,从而显著改善了模型训练。我们的力场模型也是首个基于MACE架构的CG变体,并在一种通过新方法创建的大型生物系统碎片化数据集上进行了训练,该方法涵盖了蛋白质、RNA和脂质化学。我们证明了我们的模型可以在分子动力学模拟中应用,以获得各种系统稳定且定性准确的轨迹,同时讨论了其中一些我们观察到可靠性有限的案例。
发布时间: 4/4/2025
查看原文