arXiv:2504.07522v1 通知类型: 交叉
摘要：在高维表格数据中检测离群值具有挑战性，因为数据通常分布在多个低维子空间中——这一现象称为多视图效应（MV）。这种效应促使了大量的研究，专注于挖掘这些子空间，也就是子空间选择。然而，由于MV效应的确切性质尚未完全理解，传统的研究方法不得不依赖于启发式驱动的搜索方案，这些方案难以准确捕捉数据的真实结构。在无监督任务如离群值检测或聚类中，错误地表示数据结构可能会阻碍性能。我们提出了近视子空间理论（Myopic Subspace Theory, MST），这是一种新的理论框架，它从数学上阐述了多视图效应，并将子空间选择写为一个随机优化问题。基于MST，我们提出了V-GAN，这是一种生成方法，被训练以解决这样一个优化问题。这种方法避免了在特征空间中进行耗时的搜索，同时保证保留了数据的固有结构。在42个真实世界数据集上的实验表明，使用V-GAN子空间构建集成方法能够显著提高一类分类性能——相比现有的子空间选择、特征选择和嵌入方法。进一步在合成数据上的实验表明，V-GAN能够更准确地识别子空间，同时在扩展性方面优于其他相关子空间选择方法。这些结果证实了我们方法的理论保证，并且也突显了其在高维设置中的实用性。
arXiv:2504.07516v1 类别: cross
摘要: 随着人工智能系统在电信、金融、医疗保健和公共服务等关键领域的影响日益增大，确保决策公平性以防止不公正或偏向的结果显得尤为重要，这些结果会对弱势实体造成不成比例的影响，或者导致不良后果。随着行业迈向6G时代，人工智能将驱动诸如自主网络管理和超个性化服务等复杂功能，这一需求尤为紧迫。TEC公平性评估和人工智能系统评级标准为评估人工智能中的公平性提供了指导方针，主要关注表格数据和监督学习模型。然而，随着人工智能应用的多样化，该标准需要改进，以增强其影响力并扩大其适用性。本文提出了扩展TEC标准，以包括图像、非结构化文本和生成性人工智能（包括大型语言模型）的公平性评估，确保采取更全面的方法，与不断发展的AI技术保持同步。通过纳入这些维度，增强框架将促进各种领域内的负责任和可信赖的人工智能部署。
arXiv:2504.07513v1 宣告类型: cross
摘要: 现代大型语言基础模型（LLM）现在已经进入了数百万用户的日常生活中。我们提出一个自然的问题，是否可以为每个用户或每个任务定制LLM。从系统和产业经济的角度考虑，通用的持续训练或微调仍然需要大量的计算和训练GPU节点的内存资源，而正在部署的大批推理节点，可能配备低端显卡，被配置为尽可能快速地进行前向传播。我们提出了一种框架，充分利用现有的在线服务的LLM和系统。我们基于预训练LLM的最终层嵌入训练了一个额外的变压器块分支，作为基础，然后通过一个后续模块将基础模型组合成一个定制的LLM。我们可以混合多个层，或者多个专门针对不同领域（如聊天、编程、数学）的LLM，形成一个最适合新任务的新LLM混合体。由于基础模型不需要更新参数，我们可以在推理节点上外包大部分训练任务的计算工作，只在训练节点上训练一个轻量级的后续模块，在训练节点上通过消耗不到1GB的GPU内存，可以在一个30B LLM上训练一个100M参数的后续层。我们使用Qwen和DeepSeek开源模型进行持续预训练，取得了更快的损失收敛。我们利用它来改进了解决数学问题，使用极小的计算量和模型大小，在1000个带有思考链的数据样本上取得了令人鼓舞的结果，并且两个层的后续模块仅包含1 MB参数。
arXiv:2504.07476v1 交叉公告类型：cross
摘要：中国的数字地图图像在地图检测中起到至关重要的作用，特别是在确保国家主权、领土完整和地图合规性方面。然而，目前尚没有专门针对问题地图（CME数据集）的公开数据集。现有数据集主要侧重于一般地图数据，对于有效识别复杂的国家边界误表述、缺失元素和模糊边界等问题不够充分。因此，本研究创建了一个包含五个关键问题领域的问题地图数据集，旨在提供多样化的问题地图检测技术样本，支持高精度的地图合规性检测，并提高地图数据的质量和及时性。该数据集不仅为地图合规性、国家安全监控和地图更新提供了必不可少的资源，还促进了相关技术的创新和应用。
arXiv:2504.07450v1 交叉公告类型
摘要：正电子发射断层成像（PET）成像需要准确的衰减校正（AC）以补偿由于组织密度变化导致的光子损失。在PET/MR系统中，计算机断层扫描（CT）不能使用，因为CT可以提供一种直观的AC估算方法。本研究提出了一种深度学习方法，直接从飞行时间（TOF）非衰减校正（NAC）PET图像生成合成CT（sCT）图像，从而增强PET/MR的AC。我们首先评估了用于CT到CT重建任务的大规模自然图像数据集预训练模型，发现预训练模型优于仅在医学数据集上训练的模型。然后，使用包含35个TOF NAC PET和CT体素对的机构数据集对预训练模型进行了微调，在体轮廓区域内达到了最低的平均绝对误差（MAE）74.49 HU和最高的峰值信噪比（PSNR）28.66 dB。视觉评估显示，TOF NAC PET图像的骨和软组织结构重建得到了改善。这项工作突显了使用预训练深度学习模型进行医学图像转换任务的有效性。未来的工作将评估sCT对PET衰减校正的影响，并探索其他神经网络架构和数据集，以进一步提高PET成像性能和实际应用。
arXiv:2504.07448v1 类型: cross
摘要：低秩适应（LoRA）已成为一种流行的参数高效微调（PEFT）方法，适用于大型语言模型（LLMs），但仍然会产生显著的开销，并且在多任务场景中会遭受参数干扰。我们提出了LoRA with Reduced Interference（LoRI），这是一种简单而有效的方法，冻结投影矩阵$A$为随机投影，并使用任务特定的掩码稀疏化矩阵$B$。这种设计大幅减少了可训练参数的数量，同时保持了强大的任务性能。此外，LoRI通过利用适配器子空间之间的正交性来最小化适配器合并过程中的跨任务干扰，并通过使用稀疏性来缓解灾难性遗忘，从而支持连续学习。在自然语言理解、数学推理、代码生成和安全对齐任务的广泛实验中，LoRI表现出色，参数效率比LoRA高95%以上。在多任务实验中，LoRI能够减少跨任务干扰，实现有效的适配器合并和连续学习。代码可在以下链接获取：https://github.com/juzhengz/LoRI
arXiv:2504.07423v1 交叉公告类型
摘要：随着基于AI的临床决策支持（AI-CDS）在越来越多的医疗保健服务领域得到应用，人机交互（HCI）研究在设计AI与临床医生之间的互补性方面发挥着越来越重要的作用。然而，当前对AI-CDS的评估往往无法捕捉到AI在哪些情况下对临床医生有用，而在哪些情况下没有用。这篇立场论文反思了我们的工作和有影响力的AI-CDS文献，主张超越信任、依赖、接受以及AI任务性能等评估指标（我们将这些指标称为“人机协作陷阱”）。虽然这些指标在某些简单场景中可能有意义，但我们认为，为了优化这些指标，忽视了AI未能满足临床益处的重要方式，以及临床医生成功使用AI的方式。随着HCI和医疗保健领域的AI在设计和评估CDS工具方面不断发展，我们呼吁社区优先考虑生态有效、领域适宜的研究框架，以衡量AI能够为医疗保健专业人员带来的一种种新兴价值形式。
arXiv:2504.07422v1 Announce Type: 关联性
摘要：本研究揭示了预防护理和药物依从性在减少住院率方面的重要作用。通过使用1,171名患者的结构化数据集， Logistic Regression、Gradient Boosting、Random Forest 和 Artificial Neural Networks 四种机器学习模型被应用于预测五年住院风险，其中Gradient Boosting模型的准确率为最高，达到81.2%。结果表明，高药物依从性和一致的预防护理可以将住院风险降低38.3%和37.7%。研究结果还表明，目标预防护理可以产生积极的投资回报率（ROI），因此，机器学习模型可以有效地指导个性化干预措施，并有助于长期医疗成本的节约。
arXiv:2504.07402v1 宣布类型: cross
摘要: 我们提出了一种基于 LauraGPT 主干的自动回归解码器语言模型(LauraTSE)，用于目标说话人提取(TSE)。该模型采用一个小型的自动回归解码器语言模型，该模型接受混合语音和参考语音的连续表示，并产生目标语音离散编解码表示的前几层。此外，一个一步的仅编码器语言模型使用混合语音和参考信息重构预测的编解码嵌入之和。我们的方法在现有的生成和判别TSE模型上实现了优于或可比的性能。据我们所知，LauraTSE 是第一个利用自动回归解码器语言模型作为主干的单任务TSE模型。
arXiv:2504.07398v1 Announce Type: cross
摘要：序列推荐（SR），通过编码用户行为来预测下一个动作，已经成为开发商业个性化推荐系统中广泛采用的一种策略。尽管基于Transformer的模型在序列推荐中已被证明是有效的，但Transformer中的自注意力模块的复杂性随着序列长度的增加而呈二次增长。对于大规模推荐系统而言，控制模型复杂度至关重要，因为这些系统可能需要处理庞大且不断变化的词汇表（达到十亿级别），以及长度可超过数万的动作序列。在本文中，我们提出了一种新颖的多头潜在Mamba架构，该架构使用多个低维度Mamba层和全连接层与位置编码相结合，同时在每个潜在子空间内捕捉历史和项目信息。我们提出的方法不仅能够扩展到大规模参数，还可以通过整合和微调LLM扩展到多领域推荐。通过在公开数据集上的大量实验，我们展示了Hydra如何有效解决了效率-效果 dilemma，与最先进的序列推荐基线相比，使用了显著较少的参数和更短的训练时间。