arXiv:2504.08849v1 宣告类型: cross
摘要: 认知属性是元认知的基础，影响个体处理信息、评估选择和做出决策的方式。为了开发能够反映人类推理的元认知人工智能（AI）模型，必须考虑到那些影响推理模式和决策者行为的认知属性，这可能导致不同的甚至矛盾的选择。因此，在设计与人类决策过程相一致的AI模型时（尤其是在金融等高风险领域，决策具有重大现实后果的领域），必须纳入认知属性变得至关重要。然而，现有的AI对齐研究主要集中在价值对齐上，经常忽略了区分决策者的个体认知属性的作用。为了解决这一问题，本文（1）分析了认知属性的文献，（2）确立了定义它们的五个标准，并（3）分类了与金融决策相关的19个领域特定认知属性。这三个组成部分为开发能够在金融背景下准确反映和对齐人类决策过程的AI系统奠定了坚实的基础。
arXiv:2504.08848v1 类别：交叉学科
摘要：大型语言模型（LLMs）已迅速成为众多关键领域应用程序的核心组成部分，可靠性至关重要。尽管在安全框架和护栏方面取得了重大进展，但当前的保护措施在多语言环境中表现出关键的漏洞，尤其是在低资源语言和代码切换技术方面。现有的安全系统仍然容易受到低资源语言的对抗性攻击，以及通过代码切换技巧进行的攻击，主要原因在于它们以英语为中心的设计。此外，由于缺乏多样性的跨语言训练数据，有效多语言护栏的发展受到限制。即使像Llama Guard-3这样的最近解决方案提供了多语言支持，但其决策过程缺乏透明性。我们通过引入X-Guard智能体，一种透明的多语言安全智能体，来应对这些挑战，旨在为多种语言环境下的内容审核提供支持。X-Guard能够有效地抵御传统的低资源语言攻击和复杂的代码切换攻击。我们的方法包括：收集和增强多个开源安全数据集，并明确提供评估标准；采用陪审团制度以减轻单个法官LLM提供者的偏见；创建一个涵盖132种语言、包含500万个数据点的全面多语言安全数据集；以及开发一种结合定制微调mBART-50翻译模块和通过监督微调及GRPO训练的评价X-Guard 3B模型的两阶段架构。实证评估证明，X-Guard在多种语言中检测不当内容的能力有效，并在整个安全评估过程中保持透明度。我们的工作代表了在构建大型语言模型及其集成系统中创建稳健、透明且语言包容的安全系统方面的一个重大进展。
arXiv:2504.08846v1 类型：交叉领域
摘要：我们介绍了一种名为AI大学(AI-U)的框架，这是一种灵活的框架，用于通过人工智能驱动的课程内容交付，并适应教师的教学风格。其核心在于，AI-U利用检索增强生成(RAG)技术对大型语言模型(LLM)进行微调，以生成与讲师教学风格一致的回应，来源包括讲座视频、笔记和教科书。以一个研究生级别的有限元方法(FEM)课程为例，我们提出了一种可扩展的流水线，用于系统性地构建训练数据，使用低秩适应(LoRA)的开源LLM进行微调，并通过RAG基础合成优化其回应。我们的评估结合余弦相似度、基于LLM的评估以及专家评审，证明了与课程材料的高度一致。我们还开发了一个原型Web应用程序，可在https://my-ai-university.com获取，该应用程序通过将AI生成的回应与相关政策课程材料的具体部分以及开放访问的讲座的标注时间戳实例链接起来，增强了可追踪性。在86%的测试案例中，我们专家模型与参考项的余弦相似度更高。LLM裁判还发现，我们的专家模型大约在五次中有四次优于基础的Llama 3.2模型。AI-U提供了一种可扩展的辅助教育方法，为高等教育更广泛的采用铺平了道路。在这里，我们的框架在有限元方法(FEM)课程的背景下进行了展示——这是一个培训工程科学博士生和硕士生的核心主题。然而，这个背景是一个更广泛场景的一个特定实例：将LLM微调到科学研究内容。
arXiv:2504.08844v1 交叉类型: cross
摘要: 高效获取和精确重建影像对于现代放疗(RT)的成功至关重要。计算机断层扫描(CT)和磁共振成像(MRI)是两种常用的提供放疗治疗计划和指导/监测的方法。近年来，人工智能(AI)作为一种强大的和广泛采用的技术，在各种领域中脱颖而出，因其通过隐式函数定义和数据驱动特征表示学习所带来的高效性和便捷性而备受重视。在这里，我们提出了一系列AI驱动的医学影像重建框架，以提高CT图像重建的质量和速度，改进双能CT(DECT)多材料分解(MMD)，并显著加速4D MRI获取。
arXiv:2504.08840v1 类别: cross
摘要: 长itudinal生物医学研究通过在不同时间点监测个体，以捕捉大脑发育、疾病进展和治疗效果的动力学。然而，由于生物学上的变异性、测量协议不一致（例如，不同MRI扫描器的差异）、纵向测量数据的稀缺性和不规则性，估计大脑生物标志物的轨迹具有挑战性。在此，我们介绍了一种新颖的个性化深度核回归框架，用于预测大脑生物标志物，应用于区域体积测量。我们的方法结合了两个关键组成部分：一个群体模型，用于从大规模多样化的队列中捕获大脑轨迹，以及一个针对个体轨迹的主体特定模型。为了最优地结合这些模型，我们提出了一种自适应收缩估计方法，有效地平衡了群体和主体特定模型。我们通过预测准确性指标、不确定性量化和与外部临床研究的验证来评估我们模型的性能。通过与最先进的统计和机器学习模型进行基准测试，包括线性混合效应模型、广义加性模型和深度学习方法，展示了我们方法的优越预测性能。此外，我们将该方法应用于预测复合神经影像学生物标志物的轨迹，这突显了该方法在建模纵向神经影像学生物标志物进展方面的灵活性。此外，针对三个外部神经影像学研究的验证确认了该方法在不同临床背景下具有稳健性。我们已在 https://github.com/vatass/AdaptiveShrinkageDKGP 开放了代码。
arXiv:2504.08838v1 类型: cross
摘要:推测解码是减少大型语言模型（LLMs）延迟的一种强大技术，它提供了一种容错框架，使得可以使用高度压缩的草稿模型。在这项工作中，我们提出了Self-Distilled Sparse Drafters (SD$^2$)，这是一种新颖的方法，利用自我数据蒸馏和细粒度权重稀疏性来生成高效、对齐良好的草稿模型。SD$^2$系统地提高了草稿标记的接受率，同时显著减少了乘加操作（MACs），即使在草稿模型和目标模型来自不同模型系列的通用辅助生成（UAG）设置中也是如此。在Llama-3.1-70B目标模型上，与层剪枝草稿模型相比，SD$^2$提供了1.59倍更高的平均接受长度（MAL），并且与密集草稿模型相比，MACs减少了43.87%，同时MAL减少了8.36%。我们的结果突显了稀疏性意识下的微调和压缩策略在提高LLM推理效率的同时保持与目标模型对齐的潜力。
arXiv:2504.08837v1 交叉类型：cross
摘要：最近，通过显式反思来解决困难问题的慢思考系统，如GPT-o1和DeepSeek-R1，展示了巨大的潜力。它们在各种数学和科学基准测试中显著优于最快思考模型，如GPT-4o。然而，它们的多模态推理能力仍然与最快思考模型相当。例如，GPT-o1在MathVista、MathVerse和MathVision等基准测试上的表现与快速思考模型相似。在本文中，我们希望通过强化学习（不依赖于蒸馏）来提升视觉语言模型的慢思考能力，从而推动该领域的最新技术。首先，我们使用一种名为选择性样本重放（SSR）的新技术来适应GRPO算法，以解决消失优势问题。尽管这种方法取得了出色的表现，但由此产生的RL训练模型的自我反思或自我验证能力有限。为了进一步促进慢思考，我们引入了强迫重新思考，它在RL训练初始展开的末尾添加一个文本重新思考触发器，明确要求进行自我反思推理步骤。通过结合这两种技术，我们的模型VL-Rethinker在MathVista、MathVerse和MathVision上的最新技术得分分别提高到80.3%、61.8%和43.9%。VL-Rethinker还在MMMU-Pro、EMMA和MEGA-Bench等多学科基准测试上实现了开源最新技术，与GPT-o1的差距缩小。
arXiv:2504.08832v1 类型: cross
摘要：人工智能工具的可用性和丰富性使得管理传统上由 humans 管理的任务变得更为便捷，这在教育和学术领域引发了担忧，因为一些学生可能会高度依赖这些工具来完成旨在促进学习的作业。本文重点在于告知学生，在学习过程中投入时间发展自己的批判性思维和终身学习技能的重要性，而不是依赖于容易受到信息错误、幻觉和偏见影响的 AI 模型。随着我们进入以 AI 为中心的时代，教育学生了解这些模型的工作原理、潜在缺陷以及向此类工具输入数据所涉及的伦理问题变得尤为重要。
arXiv:2504.08829v1 Announcement 类型: cross
摘要：生成模型的强大功能引发了对已发布内容真实性的重大担忧。为了解决这个问题，已经提出了多种合成内容检测方法，用于均匀结构的媒体，如图像或文本。然而，尽管表格数据在工业和政府中非常重要，但在检测合成表格数据方面的工作却很少。这种数据形式由于其结构的多样性而难以处理：一个表格和其他表格的列的数量和类型可能区别很大。我们解决了检测野生状态下的合成表格数据这一棘手问题，即当模型部署在它从未见过的表格结构上时。我们引入了一种新颖的数据项级变压器架构，并证明了其优于现有的模型。此外，我们研究了领域适应技术的应用，以提高我们模型的有效性，从而提供更可靠的伪造数据检测解决方案。
arXiv:2504.08827v1 类型: cross
摘要：时间序列异常检测（TSAD）专注于识别流式数据中的观察值是否与正常模式有显著偏差。随着联网设备的普及，时间序列异常检测变得尤为重要，因为它可以在各个应用场景中实现实时监控和早期发现不规则行为。在本文中，我们提出了一种基于Patch的Transformer模型——PatchTrAD，用于时间序列异常检测。我们的方法利用Transformer编码器，并在基于重构的框架中使用Patch进行异常检测。在多个基准数据集上的实证评估表明，PatchTrAD在检测性能上与最先进的深度学习模型不相上下，同时在推理过程中更为高效。