arXiv:2504.10677v1 多智能体类型: 跨领域
摘要: 在本文中,我们提出了一种多智能体强化学习(MARL)框架,用于使用工程化生物代理优化组织修复过程。我们的方法包括:(1) 随机反应扩散系统来建模分子信号,(2) 神经样电化学通信带有Hebbian可塑性,以及(3) 结合化学梯度跟踪、神经同步和鲁棒惩罚的生物学启发的奖励函数。通过一种课程学习方案,引导智能体逐步通过越来越复杂的修复场景。模拟实验展示了Emergent修复策略,包括动态分泌控制和空间协调。
arXiv:2504.10663v1 宣布类型: cross
摘要: 维基百科由 MediaWiki 驱动,这是一个自由且开源的软件,也是许多其他基于维基的在线百科全书的基础。这些包括最近启动的网站 Ruwiki,该网站复制并修改了原始的俄语维基百科内容以符合俄罗斯法律。为了识别与不同形式的知识操控相关的实践和叙事,本文对这个俄罗斯维基百科分支进行了详细分析。我们提出了一种方法,用于对相对于原始版本的主要变化进行特征化。这项研究的基础是对俄罗斯维基百科及其分支的超过 1.9 百万篇文章进行了全面的比较分析。利用元信息以及地理、时间、类别和文本特征,我们探索了 Ruwiki 编辑所做的更改。此外,我们还呈现了该分支中知识操控主要主题的分类,包括对它们范围的数值估计。这项研究不仅揭示了 Ruwiki 中的重大变化,还提供了一种可以应用于分析其他维基百科分支和类似协作项目的分析方法。
arXiv:2504.10660v1 Announce Type: 对比翻译
摘要:本文介绍了一个基于LLM的拉丁语到英语翻译平台,旨在解决拉丁文本翻译的挑战。我们将该模型命名为LITERA,意为“拉丁语解释和研究辅助的英语翻译”。通过利用对GPT-4o-mini和GPT-4进行微调后的多层翻译过程,LITERA提供了一种前所未有的高精度翻译,这体现在显著改善的BLEU得分,特别是在古典拉丁语方面的提高,以及改进的BLEURT得分。LITERA的开发过程中紧密合作了杜克大学古典学系,该系在创建小规模高质量的拉丁语-英语平行语料库方面起了关键作用。本文详细描述了LITERA的架构、微调方法和提示策略,强调了其生成直译的能力。
arXiv:2504.10655v1 双语标题: cross
摘要:几何机器学习模型,如图神经网络,在化学和材料科学领域,例如高通量虚拟筛选和原子尺度模拟中,近年来取得了显著的成功。这些模型的成功可以归因于它们能够直接从训练数据中有效地学习原子结构的潜在表示。相反,这也导致了这些模型对大量数据的高需求,限制了它们在数据稀疏问题上的应用,而在这些领域中,数据稀疏问题是常见的。为了解决这一限制,预训练机器学习模型的发展正在增长,这些模型学会了原子数据中的通用、基本的几何关系,并可以进行微调以适应更小的应用特定数据集。特别是,在多样性和大规模原子数据集上进行预训练的模型显示出了出色的泛化能力和对下游应用的灵活性,并越来越多地被称为原子基础模型。为了充分利用这些基础模型的潜力,我们引入了MatterTune,这是模块化和可扩展的框架,提供了高级微调能力,并无缝地将原子基础模型集成到下游材料信息学和模拟工作流中,从而降低了采用门槛,并促进了材料科学中多样化的应用。目前,MatterTune 支持包括 ORB、MatterSim、JMP 和 EquformerV2 在内的多项先进基础模型,并包括模块化和灵活的设计、分布式和可定制的微调、广泛的下游信息任务支持等。
arXiv:2504.10650v1 宣告类型: cross
摘要:随着语音对话接口在语音技术和语言技术发展推动下逐步普及,它们对人类沟通的影响引起了重要的关注。虽然书面沟通通过词汇和风格选择来传达身份,但基于语音的交互本质上放大了社会指数性元素——如口音、语调和语音风格——这些更显著地传达了社会身份和群体归属。有证据表明,即使是像电视这样的被动媒体也可能会影响观众的语言模式。与被动媒体不同,对话AI是互动的,创造了一种更沉浸和相互作用的动力,具有更大的潜力影响人们在日常交流中的说话方式。这种增强的影响可以从诸如声学-语调同步性和语言适应性等自然发生的现象中产生,这些现象在互动中自然发生,使用户能够根据系统调整他们的语音模式。尽管这种现象仍处于起步阶段,但其潜在的社会影响可能为组织、运动和品牌提供了一种微妙而强大的途径,以塑造和控制公众形象和社会身份。我们认为,AI生成语音的社会指数性影响值得关注,并应成为跨学科研究的重点,利用新的和现有的方法和技术,更好地理解其影响。
arXiv:2504.10646v1 交叉公告类型
摘要:大型语言模型(LLMs)在使用链式思考(Chain-of-Thought, CoT)策略提示时展示了出色的理解能力。然而,这些方法关注的是标记级别的输出,而没有考虑内部权重动态。我们引入了思考权重(Weight-of-Thought, WoT)推理,这是一种新颖的方法,它在推理之前检查神经网络权重,以识别推理路径。与现有方法不同,WoT 通过基于图的消息传递、多步推理过程和注意机制来探索权重空间。我们的实现创建了一个相互连接的推理节点图。实验表明,WoT 在多元推理任务(三段论、数学、代数、组合和几何)中表现优于传统方法,特别是在复杂问题上。这种方法不仅提高了推理能力,还增强了推理过程的可解释性,为增强LLM推理能力提供了有前景的方向。
arXiv:2504.10637v1 Announce Type: cross
摘要:估计语言模型之间的Kullback-Leibler(KL)散度有许多应用,例如基于人类反馈的强化学习(RLHF)、可解释性和知识蒸馏。然而,计算两个任意语言模型之间的精确KL散度是不可能的。因此,实践者通常会依赖于抽样估计方法。尽管可以轻松构造一个简单的蒙特卡洛(MC)估计器,以提供语言模型之间KL散度的无偏估计,但这个估计器众所周知具有很高的方差,并且甚至可能导致KL散度的负估计值,这是一个非负量。在本文中,我们介绍了一个Rao-Blackwell化估计器,该估计器同样是无偏的,并且可以证明其方差不大于标准的蒙特卡洛估计器。在情感控制微调的实验研究中,我们展示了我们的估计器在实践中提供了更稳定的KL估计,并显著减少了方差。此外,我们推导出了KL散度梯度的Rao-Blackwell化估计器,这导致了更稳定的训练,并生成了在奖励与KL之间 Pareto 边界上更为常见的模型,相比之下,使用梯度的蒙特卡洛估计器训练的模型则较少见。
arXiv:2504.10636v1 交叉公告类型: cross
摘要: 我们在简单的二元分类任务中比较了人类和人工智能(AI)决策者的表现,这些任务的最佳决策规则由贝叶斯规则给出。我们重新分析了从El-Gamal和Grether以及Holt和Smith进行的实验室实验中收集的人类被试的选择。我们确认,尽管总体而言,贝叶斯规则是预测人类选择的最佳单一模型,但被试存在异质性,并且其中相当一部分人在决策时做出了次优选择,这些选择反映了Kahneman和Tversky所描述的判断偏差,包括“代表性启发法”(相对于先验而言,过度重视样本证据)和“保守性”(相对于样本而言,过度重视先验)。我们比较了来自最近版本的大语言模型(LLMs)的AI被试性能,其中包括多个版本的ChatGPT。这些通用生成式AI聊天机器人不是专门训练以在狭窄的决策任务中表现良好,而是通过网络上的大量文本数据训练作为“语言预测器”。我们展示了ChatGPT也会受到导致次优决策的偏差影响。然而,我们记录了ChatGPT在性能上的迅速演变,从早期版本(ChatGPT 3.5)的低于人类的性能,到最新版本(ChatGPT 4)几乎是完美的贝叶斯分类。
arXiv:2504.10612v1 宣布类型: cross
摘要: 生成模型通常通过匹配流或得分将噪声映射到数据,但这些方法在引入部分观测或额外先验时变得繁琐。受到最近在 Wasserstein 梯度流方面取得进展的启发,我们提出了一种能量匹配框架,该框架将基于流的方法与能量驱动模型(EBMs)的灵活性统一起来。远离数据流形,样本沿着无旋、最优传输路径从噪声到数据移动。当它们接近数据流形时,熵能量项将系统引导至玻尔兹曼平衡分布,明确地捕捉数据的潜在似然结构。我们通过单一的时间不变标量场参数化这一动态,该场既是一个强大的生成器,也是一个灵活的先验,用于有效的逆问题正则化。我们的方法在 CIFAR-10 生成方面显著优于现有的 EBMs(FID 3.97 相对于 8.61),同时保留了基于传输的方法远离数据流形时的无模拟训练。此外,我们利用我们方法的灵活性并引入了一种相互作用能量进行多模态探索。我们的方法专注于学习一个静态的标量势能——无需时间条件、辅助生成器或额外网络——标志着与最近的 EBMs 方法的重要区别。我们认为,简化了这种框架显著促进了 EBMs 的能力,并为他们在各种生成建模领域的更广泛采用铺平了道路。
arXiv:2504.10584v1 交叉学科类型: 多学科交叉
摘要:高分辨率、接近地面的风速数据对于提高天气预报和气候模型的准确性至关重要,支持野火控制工作,并确保飞机在起飞和降落操作期间的安全通过。定量风速测量通常采用现场仪器获取单点精确数据,或使用先进的远程技术如多普勒雷达进行定量现场测量。公认的共识是,风对植被的影响依赖于其结构和机械特性的复杂方式,使得这些方法无法用于定量风速测量。我们对各种不同植被进行了测量分析,发现低至中等风速($U_{wind}$)范围内,叶片运动可以从其枝条和支撑结构中分离出来。这一风速范围由叶雷诺数定义,使得开发基于公式 $U_{wind}\approx740\sqrt{{\mu}U_{leaf}/{\rho}D}$ 的远程定量风速测量方法成为可能,该公式仅依赖于叶片尺寸 $D$、其测量的(RMS)风速 $U_{leaf}$、空气黏性系数 $\mu$ 和其密度 $\rho$。该公式通过原理模型验证,并利用不同类型的植被(从橡树、橄榄树和木兰树到黄樟树和牛草)在实验室和现场测试中进行验证。这项研究的发现为使用自然植被进行远程和快速现场测量打开了新的范式,在全球范围内以最小成本提供定量测量。