arXiv:2409.12384v1 公告类型: 交叉 摘要: 深度学习模型能够通过从大量标注良好的数据中提取丰富知识来实现高推理精度，但在实际部署中可能带来数据隐私泄露的风险。本文提出了一种有效的师生学习方法，通过差分隐私的无数据蒸馏来训练隐私保护的深度学习模型。其主要思想是生成合成数据，以学习一个能够模仿在私有数据上训练良好的教师模型能力的学生模型。在该方法中，首先通过将教师模型作为固定判别器，以无数据的方式预训练生成器。利用生成器，可以生成大量合成数据用于模型训练，而不会暴露数据隐私。然后，将合成数据输入教师模型以生成私有标签。为此，我们提出了一种称为选择性随机响应的标签差分隐私算法来保护标签信息。最后，在私有标签的监督下，在合成数据上训练学生模型。通过这种方式，数据隐私和标签隐私在统一的框架下得到了良好的保护，从而实现了隐私保护的模型。广泛的实验和分析清楚地证明了我们方法的有效性。
arXiv:2409.12809v1 公告类型: 交叉 摘要: 在各种应用中，人类越来越多地使用黑箱人工智能（AI）系统，而无法洞察这些系统的推理过程。为了应对这种不透明性，可解释AI（XAI）方法承诺提高透明度和可解释性。尽管最近的研究探讨了XAI如何影响人机协作，但很少有研究考察错误解释可能带来的潜在陷阱。这对人类的影响可能是深远的，但尚未得到广泛探讨。为了研究这一点，我们进行了一项研究（n=160），探讨了在AI辅助决策中，人类在XAI支持下的表现。我们的研究结果揭示了当错误的解释伴随正确的AI建议时，会产生误导效应，这种效应在协作后具有深远的影响。这种效应导致人类推断出错误的推理策略，阻碍任务执行并表现出受损的程序性知识。此外，错误的解释在协作过程中损害了人机团队的表现。通过我们的工作，我们为HCI领域提供了实证证据，证明了错误解释对人类协作后产生的负面影响，并为AI设计者提供了指导原则。
arXiv:2409.12380v1 公告类型: 交叉 摘要: 将有趣的网页组织成热门话题是理解多模态网络数据趋势的关键步骤之一。一种最先进的解决方案是首先将网页组织成大量多粒度的话题候选；然后通过估计其趣味性来进一步识别热门话题。然而，由于特征表示效率低下和无监督话题生成，这些话题候选中包含了大量热门话题的片段。本文提出了一种捆绑-精炼方法，从片段中挖掘更完整的热门话题。具体来说，捆绑步骤将片段话题组织成粗略话题；接下来，精炼步骤提出了一种基于子模型的方法，以可扩展的方式精炼粗略话题。所提出的非常规方法简单而强大，通过利用子模型优化，我们的方法优于传统排序方法，后者涉及精心设计和复杂步骤。大量实验表明，所提出的方法在两个公共数据集上分别比最先进的方法（即潜在泊松反卷积Pang等人（2016））提高了20%的准确率和10%的准确率。
arXiv:2409.12801v1 公告类型: 交叉 摘要: 在我们的日常生活中，许多重要决策，如通过生物识别模型进行身份验证，都是由人工智能（AI）系统做出的。这些系统可能与人类的期望不一致，仅通过现有的明确数据进行测试可能不足以发现这些问题。我们提出了一种方法，用于在生成模型的潜在空间中寻找样本，这些样本旨在对决策模型构成挑战，以匹配人类的期望。通过将这些样本同时呈现给决策模型和人类评分者，我们可以识别出其决策与人类直觉一致的区域以及与之相矛盾的区域。我们将此方法应用于人脸识别模型，并收集了来自100名参与者的11,200个人类评分数据集。我们讨论了从数据集中得出的发现，以及我们的方法如何用于在不同情境和不同用户群体中探索AI模型的性能。
arXiv:2409.12371v1 公告类型: 交叉 摘要: 联邦学习（Federated Learning, FL）面临通信效率和异质性的重大挑战。为了解决这些问题，我们探讨了使用低秩更新的潜力。我们的理论分析表明，客户端的损失表现出比服务器损失更高的秩结构（梯度跨越海森矩阵的更高秩子空间）。基于这一见解，我们假设将客户端优化约束在低秩子空间中可以提供隐式的正则化效果。因此，我们提出了FedLoRU，一种通用的联邦学习低秩更新框架。我们的框架强制执行低秩客户端更新，并将这些更新累积以形成更高秩的模型。此外，FedLoRU的变体可以通过采用多重或分层低秩更新来适应具有统计和模型异质性的环境。实验结果表明，FedLoRU在性能上与全秩算法相当，并且对异质性和大量客户端表现出鲁棒性。
arXiv:2409.12798v1 公告类型: 交叉 摘要: 时间信用分配问题是强化学习(RL)中的核心挑战，涉及在轨迹中为每个动作分配适当的影响力，以实现目标。然而，当反馈延迟且稀疏时，学习信号较差，动作评估变得更加困难。传统的解决方案，如奖励塑造和选项，需要大量的领域知识和人工干预，限制了其可扩展性和适用性。在这项工作中，我们奠定了语言模型信用分配(CALM)的基础，这是一种利用大型语言模型(LLMs)通过奖励塑造和选项发现自动化信用分配的新方法。CALM使用LLMs将任务分解为基本子目标，并在状态-动作转换中评估这些子目标的实现情况。每次选项终止时，子目标达成，CALM提供一个辅助奖励。这种额外的奖励信号可以在任务奖励稀疏和延迟的情况下增强学习过程，而无需人工设计的奖励。我们使用来自MiniHack的人类注释演示数据集对CALM进行了初步评估，表明LLMs在零样本设置中可以有效地进行信用分配，无需示例或LLM微调。我们的初步结果表明，LLMs的知识是RL中信用分配的一个有前途的先验，有助于将人类知识转移到价值函数中。
arXiv:2409.12367v1 公告类型: 交叉 摘要: 大型语言模型（LLMs）在社会中的广泛应用为开发者、组织和终端用户带来了新的信息安全挑战。LLMs 通过大量数据进行训练，其揭示源训练数据具体内容的能力带来了安全和风险隐患。尽管当前的对齐程序限制了常见的风险行为，但并未完全阻止 LLMs 泄露数据。先前的工作表明，LLMs 可能通过使用分布外查询或对抗性技术被诱导泄露训练数据。本文展示了一种基于查询的简单分解方法，用于从两个前沿 LLMs 中提取新闻文章。我们使用指令分解技术逐步提取训练数据的片段。在 3723 篇《纽约时报》文章中，我们从 73 篇文章中提取了至少一个逐字句，并从 6 篇文章中提取了超过 20% 的逐字句。我们的分析表明，这种方法成功诱导 LLM 生成可靠的新闻文章复制品，这意味着它们很可能源自源训练数据。该方法简单、通用，且无需微调或改变生产模型。如果在大规模上可复制，这种训练数据提取方法可能会暴露新的 LLM 安全和安全漏洞，包括隐私风险和未经授权的数据泄露。这些影响需要从模型开发到最终使用的各个环节进行仔细考虑。
粉末床熔融（PBF）是一种新兴的金属增材制造（AM）技术，能够快速制造复杂几何形状。然而，诸如气孔和球化等缺陷可能会发生，导致结构不一致，从而影响零件的机械性能。这已成为质量保证的一个关键挑战，因为某些缺陷的性质在加工过程中是随机的，且从外部不可见。为解决这一问题，可以部署基于机器学习（ML）建模的数字孪生（DT）进行AM过程监控和控制。熔池是过程监控中最常见的物理现象之一，通常通过高速相机观察。一旦标记和预处理，熔池图像将用于训练ML模型，以应用于过程异常检测和打印质量评估等DT应用。然而，由于AM设置的广泛变化性，包括AM机器和监控仪器，DT的可重用性受到限制。使用从一种设置收集的数据集训练的ML模型在应用于其他设置时，性能通常会受到影响。本文提出了一种在不同AM设置之间进行知识转移的管道，以增强AM DT的可重用性。源数据集和目标数据集分别从美国国家标准与技术研究院和成功大学收集，使用不同的相机、材料、AM机器和工艺参数。所提出的管道包括四个步骤：数据预处理、数据增强、域对齐和决策对齐。与仅使用源数据集训练的模型相比，该管道在不使用目标数据集的任何标记训练数据的情况下，将熔池异常检测的准确性提高了31%。
本研究利用机器视觉和无人机技术，提出了一种独特的黄瓜病害诊断方法。该研究的核心是一个精心策划的高光谱图像数据集，这些图像是在真实田间条件下采集的。与以往的数据集不同，本研究涵盖了多种病害类型，从而实现了早期阶段的精确检测。经过大量数据增强后，该模型在区分八种独特的黄瓜病害方面达到了87.5%的优异准确率。无人机技术用于获取高分辨率图像，进一步提升了病害评估的准确性。这一进展在提高作物管理效率、降低劳动力成本和提升农业生产力方面具有巨大潜力。本研究通过自动化病害检测，为实现更高效、可持续的农业未来迈出了重要一步。
arXiv:2409.12784v1 公告类型: 交叉 摘要: 尽管文本到图像（TTI）生成模型取得了令人瞩目的成功，但现有研究忽视了这些模型是否准确传达事实信息的问题。本文聚焦于图像幻觉问题，即生成模型创建的图像未能忠实地描绘事实内容。为此，我们引入了I-HallA（基于问答的图像幻觉评估），一种通过视觉问答（VQA）测量生成图像事实性的新型自动化评估指标。同时，我们推出了I-HallA v1.0，一个为此目的精心策划的基准数据集。在此过程中，我们开发了一个流程，使用多个基于GPT-4 Omni的代理生成高质量的问答对，并结合人类判断以确保准确性。我们的评估协议通过测试现有文本到图像模型生成的图像是否能正确回答这些问题来衡量图像幻觉。I-HallA v1.0数据集包含1.2K个跨九个类别的多样化图像-文本对，涵盖1,000个经过严格筛选的问题，涉及各种组合挑战。我们使用I-HallA评估了五个文本到图像模型，并揭示了这些最先进的模型往往未能准确传达事实信息。此外，我们通过展示与人类判断的高度斯皮尔曼相关性（rho=0.95）验证了该指标的可靠性。我们相信，我们的基准数据集和指标可以作为开发事实准确文本到图像生成模型的基础。