arXiv:2402.00389v5 通知类型: replace-cross
摘要：尽管自适应梯度方法在深度学习中得到了广泛的应用，但文献中证明的这些方法的收敛速率都比随机梯度下降（SGD）慢，尤其是在维数依赖性方面。本文考虑了经典的RMSProp及其动量扩展，并在不假设梯度有界的情况下，通过1范数建立了收敛速率$\frac{1}{T}\sum_{k=1}^T E\left[\|\nabla f(x^k)\|_1\right]\leq O(\frac{\sqrt{d}C}{T^{1/4}})$，其中$d$是优化变量的维数，$T$是迭代次数，$C$是与SGD最优收敛速率中出现的常数相同的一个常数。我们的收敛速率在所有系数（除了维数$d$）方面与下界相匹配。由于对于具有极大$d$值的问题，有$\|x\|_2 \ll \|x\|_1 \leq \sqrt{d}\|x\|_2$，因此我们的收敛速率可以被认为类似于理想情况下$\|\nabla f(x)\|_1 = \varTheta(\sqrt{d}\|\nabla f(x)\|_2)$时SGD的$\frac{1}{T}\sum_{k=1}^T E\left[\|\nabla f(x^k)\|_2\right]\leq O(\frac{C}{T^{1/4}})$的收敛速率。
arXiv:2401.08658v2 宣传类型: replace-cross
摘要：本文旨在详细回顾目前在工业和学术界报告的各种方法和相关技术。具体而言，本文涵盖了从端到端规划，包括特斯拉FSD V12、魔门科技2023、地平线机器人2023、Motional机器人出租车2022、丰田编织星球：城市驾驶员，以及NVIDIA。此外，本文还回顾了最新的学术研究，这些研究探讨了自动驾驶的端到端规划。本文为读者提供了2022-2023年最新端到端规划的简洁结构和快速学习框架。这篇文章为初学者提供了有意义的概述，作为进入工业和学术界最新端到端规划领域的参考材料，并为高级研究人员提供了补充材料。
arXiv:2312.15101v4 宣告类型：替换交叉
摘要：在不同设备之间转换深度学习模型是最大化模型兼容性的常见步骤，同时还可以利用某个深度学习框架中特有的优化功能。然而，这个转换过程可能会存在bug，导致转换后的模型无法部署或存在问题，显著降低其预测准确性。
在本文中，我们提出了一种用于模型转换过程中故障定位和修复的自动化方法FetaFix。FetaFix能够检测和修复在模型输入、参数、超参数以及模型图转换过程中引入的故障。FetaFix利用一套从代码仓库和论坛中调研的常见转换问题中挖掘出的故障类型，在转换后的目标模型中定位潜在的转换故障，然后对其进行适当的修复，例如用源模型的参数替换目标模型的参数。这一过程是迭代的，针对数据集中的每一张图片，将源模型和转换后的目标模型的输出标签差异进行比较，直至所有差异都被解决。我们评估了FetaFix在四个不同深度学习框架中转换的三种广泛使用的图像识别模型中的故障修复效果。总体而言，FetaFix成功修复了检测到的755个转换故障中的462个，并且显著提高了14个出错的转换案例中的15个案例的性能。
arXiv:2309.10360v2 宣布类型: 替换-交叉
摘要：多行人跟踪对于增强智能交通和自动驾驶系统中的安全性和效率至关重要，通过预测移动行为并使系统在动态环境中能够进行适应性决策。它优化了交通流量，促进了人类互动，并确保遵守法规。然而，它面临着部分遮挡下跟踪行人的挑战。现有方法忽略了部分遮挡期间异常检测所产生的影响。随后，这些异常检测会导致不准确的运动估计、不可靠的外观特征以及不公平的关联。为了解决这些问题，我们提出了一个适应性遮挡感知的多行人跟踪器OccluTrack，以减轻遮挡部分带来的影响。具体来说，我们首先将一个可插拔的异常运动抑制机制引入卡尔曼滤波器中，以适应性地检测和抑制部分遮挡导致的异常运动。其次，我们开发了一个姿态引导的再识别（Re-ID）模块，以提取部分遮挡行人中的区分部分特征。最后，我们开发了一种新的遮挡感知关联方法，以公平地衡量遮挡行人中的交并比（IoU）和外观嵌入距离。广泛的评估结果表明，我们的方法在MOTChallenge和DanceTrack数据集上优于现有方法。特别是，我们在IDF1和ID交换方面的性能改进以及可视化结果，证明了我们方法在多行人跟踪中的有效性。
arXiv:2307.12369v2 宣告类型: 交叉替换
摘要：阿尔茨海默病（AD）的早期预测对于及时干预和治疗至关重要。本研究旨在利用机器学习方法分析患有AD患者的纵向电子健康记录（EHR），并识别可预测AD早期发作的迹象和症状。我们采用了病例对照设计，使用来自2004年至2021年美国退伍军人事务部退伍军人健康管理局（VHA）的纵向EHR数据。病例为基于ICD-10-CM代码在2016年1月1日之后被诊断为AD的VHA患者，按年龄、性别和临床利用情况1:9与对照组匹配，采用替换法。我们使用了AD相关的关键词及其在患者纵向EHR中的出现时间作为预测AD的预测因子，使用四种机器学习模型。我们对年龄、性别和种族/ ethnicity进行了亚组分析，并在保留的和“未见过”的VHA站点组中验证了模型。在ICD诊断前至少十年的数据中，该模型的判别准确性（ROCAUC 0.997）很高。该模型校准良好（Hosmer-Lemeshow拟合优度检验p值=0.99），并且在年龄、性别和种族/ ethnicity的亚组中保持一致， except for patients younger than 65（ROCAUC 0.746）。从EHR笔记中识别出与AD相关的关键词的机器学习模型可以预测未来的AD诊断，这表明这些模型可能通过EHR笔记识别AD风险，为大型人群提供早期筛查的经济实惠方式。
arXiv:2307.08187v4 宣布类型: replace-cross
摘要：在计算机视觉领域，微调预训练模型已成为处理未知分布（OOD）任务的一种普遍策略。不同于大多数之前的研究所侧重于提升学习算法，我们系统地考察了预训练模型大小、预训练数据集大小以及训练策略对下游任务泛化能力和置信度校准的影响。我们通过在四个分布偏移数据集上进行广泛的实验，评估了100种模型在不同预训练模型大小、五种预训练数据集和五种数据增强方法下的表现，总计进行了超过120,000个GPU小时。我们的结果表明，预训练模型选择对泛化能力有显著影响，最优选择在提升泛化准确性方面比单纯的算法改进更有成效。此外，我们发现较大的模型和更大的预训练数据集不仅提高了OOD性能，还能改善校准，有助于缓解过度自信的问题，这与一些先前的研究发现现代深度网络的校准效果不如经典浅层模型的情况不同。我们的研究强调了在未知分布泛化和校准中选择预训练模型的重要性。
arXiv:2305.16326v5 Announce Type: replace-cross
摘要：生物医学文献的快速发展给手工知识整理和综合带来了挑战。生物自然语言处理（BioNLP）实现了这一过程的自动化。虽然大型语言模型（LLMs）在通用领域显示出潜力，但在BioNLP任务中的有效性仍不清楚，这主要是由于缺乏基准和实际指南。
我们系统地评估了四种LLM，包括GPT和LLaMA的代表，在六个应用领域的12个BioNLP基准上的表现。我们将它们的零样本、少样本和微调性能与BERT或BART模型的传统微调进行了比较。我们检查了不一致性、缺失信息、幻觉，并进行了成本分析。结果显示，在大多数任务中，传统微调优于零样本或少样本的LLM。然而，像GPT-4这样的封闭源LLM在与推理相关的任务，如医学问答，表现出色。开源的LLM仍然需要微调以缩小性能差距。我们发现LLM输出中的问题，如缺失信息和幻觉。这些结果为在BioNLP中应用LLM提供了实际的见解。
arXiv:2303.10430v2 宣告类型: replace-cross
摘要：带有有毒内容的在线文本是对社交媒体用户，甚至是对社会的一种明显威胁。尽管许多平台已经采用了各种措施（例如基于机器学习的仇恨言论检测系统）来减轻其影响，但在逃避免疫系统方面，有毒内容的撰写者也尝试通过巧妙修改有毒词汇，即所谓的由人工撰写的文本扰动来规避这些措施。因此，为了帮助构建自动检测工具以识别这些扰动，先前的方法已经开发出了复杂的技术来生成多样化的对抗样本。然而，我们注意到，“算法”生成的扰动未必能够捕捉到“人工”撰写的扰动的所有特征。因此，在本文中，我们介绍了一个名为 NoisyHate 的新型高质量的人工撰写的扰动数据集，该数据集是从人工介入的闭环中撰写的并经过验证的现实生活中实际的扰动创建而来。我们展示了 NoisyHate 中的扰动与先前算法生成的有毒数据集中的扰动具有不同的特征，因此特别有助于开发更有效的有毒言论检测解决方案。我们全面验证了 NoisyHate 对比最先进的语言模型（如 BERT 和 RoBERTa）和黑盒API（如 Perspective API），并在两个任务（如扰动规范化和理解）上进行了测试。
arXiv:2303.09271v2 宣告类型：替换-交叉
摘要：当机器学习模型被关键系统的人类操作员用作决策支持时，能够解释模型得出特定预测的原因至关重要。提供的解释必须是可证明正确的，并且最好是无冗余信息的，称为最简解释。在本文中，我们旨在为树集合生成的预测找到不仅是最简，而且在成本函数方面也是最简的解释。
为此，我们首先提出了一种极其高效的或acles，可以确定解释的正确性，在计算最简解释时，其运行时间性能比当前最先进的替代方案快几个数量级。
其次，我们将相关工作中的一种算法MARCO（命名为m-MARCO）进行适应，使之用于计算每个预测的单一最简解释，并证明与MARCO算法相比，其整体速度提升因子为两倍，MARCO算法会列举所有最简解释。
最后，我们从多种应用场景中研究获得的解释，进一步揭示了其特点。特别是，我们观察到，在一些情况下，一个预测中可供选择的最简解释超过100,000个。在这些情况下，我们发现只有小部分最简解释也是最简的，而且最简解释也显著地更简洁，这促使了本工作的目标。
arXiv:2203.02927v2 通告类型: replace-cross
摘要：我们提出了一种通过贝叶斯优化来实现非侵入式家电负载监测（NIALM）自动机器学习（AutoML）的新方法，也称为能源细分。NIALM提供了智能电表的一种成本效益较高的替代方案，用于测量用电设备和家电的能源消耗。NIALM方法分析家庭的整个电力消耗信号，并预测家电类型以及各自的电力消耗（即它们对汇总信号的贡献）。我们使通常不具备深入的数据分析或机器学习（ML）技能的NIALM领域专家和从业者能够受益于最先进的NIALM ML方法。此外，我们进行了一项现状调查和基准测试，并表明在许多情况下，简单的基础ML模型和算法，如决策树，优于最先进的方法。最后，我们介绍了我们的开源工具AutoML4NIALM，这将促进在工业中利用现有的NIALM方法。