arXiv 论文列表

arXiv:2504.11358v1 通报类型：跨领域 摘要：包含大语言模型（LLM）的应用和代理易受到注入式提示攻击的侵害，在这种攻击中，攻击者在其输入中注入提示以诱导攻击者希望的输出。检测方法旨在确定给定输入是否被注入式提示污染。然而，现有的检测方法在对抗最先进的攻击时效果有限，更不用说适应性攻击了。在本工作中，我们提出了一种名为DataSentinel的游戏论检测方法，以检测被战略性地适应以规避检测的注入式提示污染的输入。我们将此问题形式化为一个极小极大优化问题，目标是微调LLM以检测强适应性攻击。此外，我们提出了一种基于梯度的方法来通过交替求解内部极大化问题和外部极小化问题来解决极小极大优化问题。我们在多个基准数据集和LLM上的评估结果表明，DataSentinel能够有效检测现有的以及适应性注入式提示攻击。

arXiv:2504.11355v1 声明类型: cross 摘要：将神经网络（NNs）训练以作为模型预测控制（MPC）算法运行，是一种在受限嵌入式设备中实施这些算法的有效方法。通过收集大量输入-输出数据，其中输入代表系统状态，输出则是MPC生成的控制动作，神经网络可以被训练以在极低的计算成本情况下复制MPC的行为。然而，尽管训练数据的组成对最终神经网络的准确性至关重要，但对于系统地优化这些数据的方法仍然研究不足。在本文中，我们引入了优化采样数据集（OSDs）的概念，作为理想的训练集，并提出了一种高效算法以生成这些数据集。一个OSD是一个参数化的可用数据子集，其（i）在一定的数字精度下保留现有的MPC信息，（ii）避免重复或近似重复的状态，并且（iii）变得饱和或完整。我们通过训练神经网络来复制弗吉尼亚大学的MPC算法以实现自动化胰岛素输送，实现了最终准确性的四倍提升。值得注意的是，两个基于OSD训练的神经网络在临床测试中获得了监管批准，成为第一个基于神经网络的控制算法，用于直接人类胰岛素给药。这种方法为资源受限的嵌入式平台上的高级优化提供了新的途径，有可能彻底改变复杂算法的部署方式。

arXiv:2504.11349v1 类别: cross 摘要：在临床实践和辅助诊断中对高质量医学影像的需求使得放射影像中的3D重建成为关键的研究重点。人工智能（AI）作为一种增强重建准确性、减少采集时间和处理时间的方法而崭露头角，从而最小化患者的辐射暴露和不适，并最终有益于临床诊断。本文回顾了放射影像中基于AI的3D重建算法的最新进展，根据其基本原理将这些算法分为显式方法和隐式方法。显式方法包括基于点的方法、基于体积的方法和高斯表示法，而隐式方法包含隐式先验嵌入和神经辐射场。此外，我们还检查了常用评价标准和基准数据集。最后，我们讨论了该领域当前的发展状况、关键挑战和未来研究方向。我们的项目可在以下网址获取：https://github.com/Bean-Young/AI4Med。

arXiv:2504.11344v1 交叉公告类型：交叉领域 摘要：时间点过程（TPP）广泛应用于各种医疗领域的事件序列建模，例如疾病发病预测、疾病进展分析和临床决策支持。尽管TPP能够有效捕捉时间动态，但其缺乏可解释性仍然是一个关键挑战。近年来，已引入了具有可解释性的TPP方法。然而，这些方法未能纳入数值特征，从而限制了其生成精确预测的能力。为了解决这一问题，我们提出了混合规则时间点过程（HRTPP），这是一种新颖的框架，将时间逻辑规则与数值特征相结合，以提高事件建模的可解释性和预测准确性。HRTPP 包含三个关键组件：基本强度（表示固有事件发生的概率）、基于规则的强度（表示结构化的时间依赖性），以及数值特征强度（动态调整概率）。为了有效发现有效的规则，我们引入了两阶段规则挖掘策略以及贝叶斯优化。为了评估我们的方法，我们建立了一个多准则评估框架，涵盖了规则的有效性、模型拟合度和时间预测准确性。实验证实在真实世界的医疗数据集上，HRTPP 在预测性能和临床解释性方面均优于最先进的可解释性TPP方法。在案例研究中，HRTPP 提取的规则解释了疾病进展，为医学诊断提供了有价值的信息贡献。

arXiv:2504.11343v1 交叉公告类型：交叉 摘要：强化学习（RL）已成为在复杂推理任务上微调大规模语言模型（LLMs）的主要方法。在近期方法中，GRPO因其在训练DeepSeek-R1等模型方面的实证成功而突出，但其有效性的来源尚不清楚。在本文中，我们从类似于强化学习的算法角度重新审视了GRPO，并分析了其核心组件。令人惊讶的是，我们发现一个简单的拒绝采样基线RAFT，在仅使用正向奖励样本训练的情况下，其性能与GRPO和PPO相当。我们的消融研究揭示了GRPO的主要优势来源于丢弃完全错误的回答提示，而不是其奖励规范化。受到这一洞察的启发，我们提出了一种Reinforce-Rej算法，它是策略梯度的最小扩展，能够过滤掉全部错误和全部正确的样本。Reinforce-Rej提高了KL效率和稳定性，并作为一种轻量级且有效的替代方法，服务于更复杂的RL算法。我们倡导使用RAFT作为稳健且可解释的基线，并建议未来的研究重点应放在更为原理性的设计上，以纳入负面样本，而不仅仅是对所有样本一视同仁地依赖。我们的发现为未来基于奖励的大规模语言模型后训练工作提供了指导。

arXiv:2504.11338v1 类型: cross 摘要: 无服务器架构，特别是函数即服务（FaaS）模式，已成为现代云计算的基石，这得益于它们简化资源管理并提高应用程序部署敏捷性的能力。然而，一个重大挑战依然存在：冷启动问题。当一个空闲的FaaS函数被调用时，需要一个完整的初始化过程，这会增加延迟并降低用户体验。现有解决冷启动问题的方法在调用模式泛化和实施复杂性方面都存在局限性。在本研究中，我们提出了一种创新的方法，利用Transformer模型来减轻FaaS架构中冷启动的影响。我们的解决方案在准确建模函数初始化延迟和优化无服务器系统性能方面表现出色。使用Azure提供的公开数据集进行的实验评估表明，与传统方法相比，冷启动时间显著减少，最多可减少79%。

arXiv:2504.11336v1 类型: cross 摘要：因果语言模型训练的结构假定每个令牌可以从之前的上下文中准确预测。这与人类自然写作和推理过程形成对比，在自然写作和推理过程中，目标通常在具体的论据或措辞确定之前就已经知道了。尽管这种不匹配已在文献中得到了充分研究，但工作假设一直是需要架构上的变化来解决这种不匹配。我们认为，重新排列和处理训练数据序列可以让模型更准确地模仿真实的数据生成过程，并且不需要对架构或训练基础设施进行任何其他更改。我们证明，这种方法Trelawney及其从中衍生出的推理算法能够使我们在涉及规划、算法推理和故事生成任务的关键基准上性能得到改进。最后，我们的方法自然地使得在不增加额外成本的情况下生成长期目标成为可能。我们研究了利用模型的生成目标能力如何进一步提高规划和推理性能。此外，我们认为Trelawney可能为现有的语言建模范式之外的新能力打开大门。

arXiv:2504.11335v1 属性类型: cross 摘要：本研究探讨了使用人工智能驱动的传统COBOL代码向Java的现代转化，旨在解决老化软件系统中的关键挑战。利用Legacy COBOL 2024语料库——包含来自公共和企业来源的50,000个COBOL文件——Java解析代码，AI提出升级建议，React可视化改进效果。准确率达到93%，复杂性降低了35%（从18降至11.7），耦合度降低了33%（从8降至5.4），超过了人工努力（75%）和基于规则的工具（82%）。该方法提供了一种可扩展的途径，以使COBOL系统焕发新生，对于银行业和保险业等至关重要。

arXiv:2504.11320v1 宣告类型：交叉 摘要：大型语言模型（LLMs）在当今的应用中至关重要，但它们的推理过程——通过分段处理文本并使用内存密集的键-值（KV）缓存生成响应——在内存受限的情况下需要大量的计算资源。本文将LLM推理优化表述为一个多阶段在线调度问题，其中顺序提示的到达和KV缓存的增长使得传统的调度方法无效。我们开发了一种流体动力学近似方法，以提供一个可解决的基准来指导算法设计。在此基础上，我们提出了等待积累推理阈值（WAIT）算法，该算法使用多个阈值来在输出长度已知的情况下优化地调度到来的提示，并将其扩展到用于输出长度未知情况的嵌套WAIT算法。理论分析表明，在高流量条件下，这两种算法都能接近流体基准性能，在吞吐量、延迟和首个标记时间（TTFT）之间取得平衡。使用Llama-7B模型在A100 GPU上进行的实验，使用合成和实际数据集证明，与vLLM和Sarathi等现有baseline相比，吞吐量有所提高，延迟有所减少。本项工作将运筹学与机器学习相结合，提供了一种在内存受限条件下有效部署LLM的严谨框架。

arXiv:2504.11305v1 类型: cross 摘要：木材缺陷检测对于确保木材加工行业的质量控制至关重要。然而，当前工业应用面临两大挑战：传统方法成本高、主观且劳动密集，而主流深度学习模型在边缘部署时往往难以在检测准确性和计算效率之间找到平衡。为了解决这些问题，本研究提出了一种针对边缘设备的轻量级物体检测模型——CFIS-YOLO。该模型引入了增强的C2f结构、动态特征重组模块以及一个结合辅助边界框和角度约束的新颖损失函数。这些创新提高了多尺度特征融合和小型物体定位的性能，同时显著减少了计算开销。在公共木材缺陷数据集上评估，CFIS-YOLO的平均精度（[email protected]）达到了77.5%，比基线YOLOv10s高出4个百分点。在SOPHON BM1684X边缘设备上，CFIS-YOLO实现了135 FPS，将功耗降低至原实施方法的17.3%，仅在mAP上下降0.5个百分点。这些结果表明，CFIS-YOLO是一个适用于资源受限环境的实际有效解决方案。