arXiv:2406.12432v2 通告类型: replace-cross
摘要: 本文对心脏和肺部听诊设备（即听诊器）进行了全面的回顾，这对于理解理论方面和实际设计注意事项非常有用。在这篇文章中，我们首先介绍了心脏和肺部的声学特性，以及听诊器进化的历史。然后，我们讨论了电容式驻极体麦克风（ECM）及其基本概念，以及基于它们的听诊器。接着，我们讨论了微机电系统（MEMS）技术，特别是压电传感器。本文全面回顾了心脏和肺部听诊的传感技术，重点介绍了过去十年基于MEMS的可穿戴设计。据我们所知，这是第一次总结ECM和MEMS在心肺声音分析中的应用。
arXiv:2406.11132v2 宣告类型: replace-cross
摘要：在过去一年中，大规模语言模型（LLMs）在传统自然语言处理领域之外的领域取得了显著成功，并且通过与外部工具连接，其容量进一步扩展到所谓的LLM代理。在所有领域中，已经证明LLMs的提示对其生成的内容有很大影响，从而影响LLM代理的性能。因此，自动提示工程（APE）已经成为许多LLMs研究者和使用者关注的一个重要问题。然而，APE的先前工作依赖于最终检查器来评估给定提示的性能——在LLM代理的情况下，这种要求变得难以满足，因为可以更容易地获得中间反馈，最终评估可能是昂贵的、不准确的甚至是缺失的。在本文中，我们提出了一种新的方法——\textsc{RePrompt}，它采用类似于梯度下降的方法来优化LLM代理中给定提示的逐步指令，这基于与LLM代理互动和反思所获得的对话历史。通过利用中间反馈，\textsc{RePrompt}可以在不需要最终解决方案检查器的情况下优化提示。我们在PDDL生成、TravelPlanner和Meeting Planning任务上评估了我们的方法，展示了我们的方法可以普遍提高不同推理任务的性能。
arXiv:2406.07016v3 Announce Type: replace-cross
摘要：像ChatGPT这样的大型语言模型（LLMs）可以在人类水平上生成和修改文本。这些模型具有明显的局限性：它们可以生成不准确的信息，强化现有的偏见，并且容易被滥用。然而，许多科学家使用它们来撰写学术论文。但这样的LLM使用在学术文献中有多普遍？为了回答这个问题，尤其是在生物医学研究领域，我们提出了一种无偏见的大规模方法：我们研究了PubMed索引的2010年至2024年间的超过1500万份生物医学摘要中的词汇变化，并展示了LLM的出现如何导致特定风格词汇频率的突然增加。这种超额词汇分析表明，至少有13.5%的2024年摘要是通过LLM处理的。这一下限在不同学科、国家和地区之间有所不同，某些子集达到了40%。我们表明，LLM在生物医学研究中的科学写作领域中产生了前所未有的影响，超过了像新冠疫情这样的重大世界事件的影响。
arXiv:2406.06644v4 众包类型: 交叉替换
摘要：基于深度学习（DL）的语义通信（SemCom）正变得越来越关键，以最大化通信网络的整体效率。然而，SemCom 对无线信道不确定性、源数据离群点和泛化能力差的问题非常敏感。为了解决上述挑战，本文提出了一种基于潜扩散模型的SemCom系统，包含三个主要贡献，即：i）处理源数据中的潜在离群点，通过基于DL模型漏洞的投影梯度下降获得的语义错误用于更新参数并获得抗离群点编码器；ii）轻量级单层潜空间变换适配器在发送端完成单次学习，并在网络接收端放置在解码器之前，实现对离分布数据的适应并增强人类感知质量；iii）采用端到端一致性蒸馏（EECD）策略来蒸馏在潜空间中训练的潜扩散模型，使各种噪声信道中的确定性单步或少步骤低延迟去噪成为可能，同时保留高语义质量。在不同数据集上的广泛数值实验展示了所提SemCom系统的优越性，一致地证明了其对离群点的鲁棒性、能够传输未知分布的数据，以及能在保持高人类感知质量的同时执行实时信道去噪任务的能力，在多尺度结构相似性指数测量（MS-SSIM）和学习感知图像路径相似性（LPIPS）等语义衡量标准中优于现有的去噪方法。
arXiv:2406.04184v2 宣告类型: replace-cross
摘要：近年来，机器学习（ML）模型在各个领域都取得了显著的成功。然而，这些模型也倾向于表现出不安全的行为，这阻碍了它们在安全关键系统中的部署。为了解决这一问题，大量的研究集中在开发能够保证给定ML模型安全行为的方法上。一个显著的例子是屏蔽技术，该技术通过引入一个外部组件（称为“屏蔽”）来阻止不希望的行为。尽管取得了显著进展，但屏蔽技术仍面临主要挑战：它目前主要针对编码在命题逻辑（如LTL）之中的属性，而不适用于更丰富的逻辑语言。这反过来限制了屏蔽技术在许多实际系统中的广泛应用。在本文中，我们解决了这一问题，并通过利用反应合成中的近期进展，将屏蔽技术扩展到理论模态LTL语言中。这使我们能够开发出一种生成符合这些更表达力的逻辑的复杂安全规范的新方法。我们评估了我们的屏蔽技术，并展示了它们处理具有时间动态的丰富数据的能力。据我们所知，这是第一个针对此类表达性的合成屏蔽技术的方法。
arXiv:2405.18649v2 自调试类型: 替换-交叉
摘要：在代码生成的领域中，自调试至关重要。它使LLM可以在根据执行反馈的基础上对其生成的代码进行完善。这在其特性和复杂任务中尤为重要，因为一次性生成正确的解决方案非常具有挑战性。先前的自调试工作主要集中在通过提供少量示例的方法对LLM进行提示，但这种方法在小型开源LLM上效果不佳。在本工作中，我们提出了LeDex，这是一种显著提高LLM自调试能力的训练框架。直观上，我们观察到对错误代码进行一系列解释，然后进行代码改进，有助于LLM更好地分析错误代码并进行改进。因此，我们提出了一种自动化流水线来收集高质量的代码解释和改进数据集，通过LLM本身或一个较大的教师模型生成大量的解释和改进轨迹，并通过执行验证进行过滤。我们在成功和失败轨迹上进行监督微调（SFT）和进一步的强化学习（RL），并采用新的奖励设计来考虑代码解释和改进的质量。在四个基准上，SFT提高了pass@1最多15.92%，pass@10提高了9.30%。RL训练在pass@1上带来了额外的3.54%的改进，pass@10上带来了2.55%的改进。经过训练的LLM显示出了迭代改进的能力，并能够不断改进代码。最后，我们的人类评估表明，使用我们框架训练的LLM生成了更有用的代码解释，并帮助开发者更好地理解源代码中的错误。
arXiv:2405.14135v2 宣告类型: replace-cross
摘要：地区经济社会指标在各个领域都至关重要，但其获取往往成本高昂。从有限的区域样本中推断出全球经济社会指标对于增强城市地区和人类聚居区的管理和可持续性至关重要。目前的推理方法通常依赖于基于空间连续性的空间插值假设，但这种假设未能充分解决区域内存在的复杂变化。本文提出了GeoHG，这是一种首个利用异质图结构表示地理空间并进行非连续推理的 socioeconomic 指标推理方法。大量的实验结果显示，GeoHG 在极低数据量的情况下相较于现有方法具有明显优势，在掩码比率为95%的情况下实现了 R² 分数超过0.8。
arXiv:2405.11345v3 通告类型: 替换-交叉
摘要：多目标多摄像机跟踪（MTMCT）具有广泛的应用前景，并为众多未来城市系统（如交通管理、事故检测等）奠定了基础。然而，仅仅基于特征提取来进行不同摄像机之间的车辆轨迹匹配面临着巨大的挑战。本文介绍了利用自我监督摄像机链接模型的一种创新的多摄像机车辆跟踪系统。不同于依赖手动空间-时间注释的相关工作，我们的模型可以自动提取车辆匹配的关键多摄像机关系。摄像机链接通过一种预匹配过程建立，该过程评估特征相似性、配对数量和时间变化，以生成高质量轨迹。该过程计算所有摄像机组合的空间链接概率，选择得分最高的配对来创建摄像机链接。我们的方法通过消除对人工注释的需求极大地提高了部署时间，从而在实际应用中的效率和成本效益方面有了显著提升。该配对过程通过设置空间-时间约束来支持跨摄像机匹配，减少了潜在车辆匹配的搜索空间。根据我们的实验结果，所提出的方法在CityFlow V2基准测试中实现了基于摄像机链接的自动方法的新最佳性能，得分为61.07%的IDF1分数。
arXiv:2405.05336v2 宣告类型：替换交叉
摘要：尽管现有的深度学习模型在处理来自不同领域、具有不同外观和内容的图像时表现出色，但它们也面临着诸多挑战。我们介绍了SegCLR，这是一个多功能框架，旨在跨不同领域分割图像，同时采用监督学习和对比学习相结合的方法，有效地从有标签和无标签数据中学习。我们通过全面评估三个不同临床数据集的3D视网膜光学相干断层扫描（OCT）图像，展示了SegCLR在按切片分割具有不同网络配置的流体方面的优越性能，并在10种不同网络初始化下进行验证。在无监督领域适应的背景下，SegCLR的表现与在目标领域进行监督训练的上界模型相当。值得注意的是，我们发现SegCLR框架的分割性能受到目标领域大量无标签数据的影响较小，因此我们还提出了SegCLR的有效领域泛化扩展，也称为零样本领域适应，这消除了对目标领域信息的需求。这表明，在分割标准监督训练中加入对比损失，可以生成更优秀的模型，这些模型能够更自然地适应域内和域外测试数据。我们还提出了一种实际解决方案，实现在包含标记数据的多个领域中部署SegCLR。因此，我们的框架在多领域应用中推动了基于深度学习的分割边界，无论数据是否充足—有标签的、无标签的或不存在的。
arXiv:2404.11577v3 通知类型: replace-cross
摘要：机器遗忘更新机器学习模型以删除特定训练样本中的信息，遵守允许个人请求删除其个人信息的数据保护法规。尽管已经开发了大量遗忘算法，但这些算法的可靠评估仍是一个开放的研究问题。在本文中，我们主要关注基于成员归属推理攻击（MIA）的评估，这是评估遗忘算法最常见的方法之一，并解决了现有评估指标缺乏理论理解和可靠性的各种问题。具体而言，通过将提出的评估过程建模为遗忘算法与MIA对手之间的\emph{密码学游戏}，自然诱导出的评估指标衡量了遗忘算法的数据删除效果，并享有现有评估指标无法满足的可证明保证。此外，我们提出了一种近似计算诱导出的评估指标的实际有效方法，并通过理论分析和实证实验证明了其效果。总体而言，本文提出了一个新颖且可靠的评估遗忘算法的实证方法，为开发更有效的遗忘技术奠定了基础。