arXiv:2402.01677v5 公告类型: 替换
摘要：领域中的本体包含丰富的知识，可以分为两大类，即扩展知识和内涵知识。扩展知识提供关于本体中特定概念归属的具体实例的信息，而内涵知识则详细描述了概念之间的固有属性、特征和语义关联。然而，现有的本体嵌入方法在同时考虑扩展知识和内涵知识方面存在不足。本文提出了一种新的本体嵌入方法，称为EIKE（扩展知识和内涵知识嵌入），通过在扩展空间和内涵空间中表示本体。EIKE提供了一个统一的框架，用于嵌入本体中的实例、概念及其关系，使用基于几何的方法来建模扩展知识，并使用预训练的语言模型来建模内涵知识，从而可以捕捉结构信息和文本信息。实验结果表明，在三个数据集的三元组分类和链接预测任务中，EIKE显著优于现有方法，表明EIKE提供了领域更全面且更具代表性的视角。
arXiv:2310.07800v3 公告类型: 替换
摘要：注意力机制在通过识别输入数据中的关键部分来增强学习模型方面展现了巨大的潜力，特别是在训练样本有限的情况下。受人类感知的启发，我们提议专注于关键数据片段而不是整个数据集，以提高学习模型的准确性和可靠性。然而，在少量样本学习的情况下，识别这些关键数据片段，即“关键注意力发现”，是一项具有挑战性的任务，因为训练数据稀缺且模型参数复杂。为了解决这个问题，我们引入了LaHA，这是一种新颖的框架，利用语言引导的深度强化学习来识别和利用信息性数据区域，从而提高可解释性和性能。基准数据集上的 extensive 实验验证了 LaHA 的有效性。
arXiv:2309.13218v4 公布类型: 替换
摘要: 商业优化是指寻找和实施高效且成本效益高的运营方式，以为企业带来竞争优势的过程。合成问题表述是商业优化的一个重要组成部分，这需要依靠人类专家使用优化语言构建问题表述。有趣的是，随着大型语言模型（LLMs）的发展，问题表述所需的人类专业知识可以被最小化。然而，开发一个用于问题表述的LLM具有挑战性，原因在于训练数据、标记限制以及缺乏合适的性能指标。为了满足训练数据的需求，最近的注意力转向了对预训练的LLM进行微调以用于下游任务，而不是从头开始为特定任务训练一个LLM。在本文中，我们采用LLM微调方法，并提出了一种用于商业优化问题表述的人工智能副驾（AI-Copilot）。对于标记限制，我们引入了模块化和提示工程技术，以将复杂的任务表述合成为符合LLM标记限制的模块。此外，我们设计了更适合评估问题表述准确性和质量的性能评估指标。实验结果表明，通过这种方法，我们可以为典型的商业优化问题（如生产调度问题）合成复杂的大型问题表述。
arXiv:2304.12304v2 宣告类型: 替换
摘要：人类活动识别（HAR）是一个迅速发展的领域，利用智能设备、传感器和算法来自动分类和识别特定环境内个体的动作。这些系统有着广泛的应用，包括协助护理任务、增加安全性以及提高能效。然而，在多住户环境中有效利用HAR系统也面临着诸多挑战。其中一项关键挑战是准确地将传感器观察结果与参与者个体的身份关联起来，特别是当住户进行复杂且合作性活动时尤其如此。本文简要概述了HAR系统的架构与实施，包括用于人类活动识别的各种数据采集设备和方法的总结。此外，本文还回顾了这些系统在多住户环境中的应用研究，并对当前该领域的前沿技术状态提出结论。
arXiv:2504.15266v1 宣布类型: cross
摘要: 我们设计了一套最小的算法任务，对开放世界的任务进行了宽松的抽象。这使我们能够干净且可控地量化当前语言模型在创意方面的极限。就像现实生活中的任务需要富有创意的、前瞻性的思考飞跃一样，我们的任务也需要一个隐式的、开放的随机计划步骤，它可以（a）在抽象的知识图谱中发现新的连接（如同义词游戏、类比研究或研究），或者（b）构建新的模式（如同设计数学问题或新型蛋白质）。在这些任务中，我们从实证和概念层面论证了下一步学习是短视的，过度依赖记忆；相比之下，多步方法，即无教师训练和扩散模型，在产生多样化和原创输出方面表现出色。其次，在我们的任务中，我们发现为了避免损害连贯性，从Transformer中注入噪声（通过我们称之为哈希条件的方法）比在输出层进行温度抽样更好。因此，我们的工作提供了一个有原则的、最小的分析平台，用于分析开放式的创造性技能，并为超越下一步学习和softmax基采样提出了新的论据。我们部分代码可以在 https://github.com/chenwu98/algorithmic-creativity 中获得。
arXiv:2504.15259v1 文本类型: cross
摘要：数字建模和重建人类面部在各种应用中发挥着作用。然而，其可用性往往受到数据采集设备、人力和技术人员的限制。这种情况限制了最终模型的多样性、表现力和控制能力。这项工作旨在证明一种语义可控生成网络可以为数字面部建模过程提供增强的控制。为了超越有限的受控环境扫描的人类面部，我们引入了一种新型的数据生成流水线，使用预训练的扩散模型创建高质量的3D面部数据库。我们提出的一种归一化模块将扩散模型合成的数据转化为高质量的扫描数据。使用我们获得的44,000个面部模型，我们进一步开发了一个基于GAN的高效生成器。此生成器接受语义属性作为输入，生成几何形状和反射系数，并允许在潜在空间中持续编辑属性。随后，我们的资产精炼组件创建了基于物理的面部资产。我们介绍了一个旨在创建和编辑高质量面部资产的全面系统。我们提出模型已经经过了广泛的实验、比较和评估。我们还将所有内容集成到一个基于Web的交互工具中。我们计划在论文发布时将此工具公开提供。
arXiv:2504.15236v1 Announce Type: cross
摘要：人工智能助手可以传递价值观，从而影响人们的决策和世界观，但关于这些系统在实际操作中依赖哪些价值观，我们知之甚少。为了解决这一问题，我们开发了一种自下而上、保护隐私的方法，以从 Claude 3 和 3.5 模型在数十万次真实互动中的响应中提取出它们体现的价值观（在模型响应中明示或暗示的规范性考虑）。我们通过实证研究和分类发现了 3,307 个 AI 价值观，并研究了它们在不同情景下的变化。我们发现，Claude 表达了许多实践性和认识论价值观，并通常支持有社会责任的人类价值观，而抵制如“道德虚无主义”等价值观。虽然一些价值观在不同情景中保持一致（例如“透明度”），但许多价值观则更为专业化和情景依赖，反映了人类对话者及其多样化背景的多样性。例如，当 Claude 抵制用户时，会出现“伤害预防”；当对有争议事件提问时，出现“历史准确性”；当寻求关系建议时，出现“健康边界”；在技术伦理讨论中，则是“人类自主权”。通过提供首次大规模实证研究AI在部署中的价值观映射，我们的研究为更务实的评估和设计AI系统中的价值观奠定了基础。
arXiv:2504.15226v1 宣告类型: cross
摘要：随着轨道卫星数量的增加，为月球附近的空间提供服务的机器人系统的自动化变得越来越重要。在进行卫星维护时，安全性至关重要，因此所使用的控制技术不仅需要高效，还需要可信。在这项工作中，通过使用泰雷兹的TrUE AI工具包，将遗传模糊树与广泛使用的LQR控制方案相结合，为理论上用于执行卫星维护的两自由度平面机器人 manipulator 创建了一个可信且高效的控制器。研究表明，遗传模糊-LQR 在平均性能上比最优的 LQR 高出 18.5%，并且它对不确定性具有极其鲁棒的特性。
arXiv:2504.15225v1 类别: cross
摘要: 随着工业和运营系统中传感器数据的广泛可用性，我们经常遇到多个系统中的异构时间序列数据。异常检测对于这些系统来说是至关重要的，以便促进预测性维护。然而，现有的大多数异常检测方法都是为单变量数据或单系统多变量数据设计的，使得它们在这些复杂场景中不够充分。为了解决这一问题，我们引入了M$^2$AD框架，一种用于多系统多变量时间序列数据的无监督异常检测框架。M$^2$AD 使用深度模型捕捉正常条件下的预期行为，并使用残差作为潜在异常的指示器。这些残差然后通过高斯混合模型和伽马校准聚合为全局异常得分。我们理论上证明了该框架能够有效解决传感器和系统之间的异构性和依赖性。在广泛的评估中，M$^2$AD 的性能平均优于现有方法 21%，并在亚马逊履行中心的 130 个资产的大规模实际案例研究中证明了其有效性。我们的代码和结果可在 https://github.com/sarahmish/M2AD 获取。
arXiv:2504.15210v1 交叉类型公告
摘要：代码生成大型语言模型（LLMs）已成为现代软件开发中的重要工具，提高了生产力并加速了开发进程。本文旨在研究使用强化学习和直接偏好优化对代码生成LLMs进行微调，进一步提高其性能。为了实现这一目标，我们借助符号执行技术增强了奖励模型的训练数据，确保数据更加全面和客观。借助符号执行，我们构建了一个定制的数据集，更好地捕捉了代码评估的细微差别。在该数据集上微调的奖励模型，在估计生成代码的质量方面比基准模型CodeRL表现出显著的改进。借助奖励模型反馈进行训练的代码生成LLMs，在结果上与CodeRL基准模型相似。