LLM2D

arXiv 论文列表

arXiv:2504.01798v1 通知类型: 新 摘要: 泰斯林机(TM)是一种基于命题逻辑的模型,通过合取子句来学习数据中的模式。与典型的神经网络一样,泰斯林机的性能很大程度上取决于其参数数量,更多的参数可以提高准确性但会降低执行速度。在神经网络中,知识蒸馏是将已经训练好的教师模型的信息转移到较小的学生模型中,以提高学生模型的准确性而不增加执行时间。我们提出了一种在泰斯林机中实现知识蒸馏的新方法,通过利用教师每个输出样本的概率分布,为学生提供额外的上下文信息。此外,我们提出了一种新的子句转移算法,该算法权衡了教师中每个子句的重要性,并用最必要的数据初始化学生模型。我们的算法在测试的图像识别和文本分类领域中能够显著提高学生模型的性能,而不会对延迟产生负面影响。
发布时间: 4/3/2025
查看原文
作者: Theodoros Aivalis, Iraklis A. Klampanos, Antonis Troumpoukis, Joemon M. Jose
arXiv:2504.01771v1 宣告类型: 新 摘要: 生成型AI模型提供了强大的功能,但往往缺乏透明度,使得解释其输出变得困难。这在涉及艺术或版权内容的情况下尤为重要。本文介绍了一种基于搜索的方法,通过分析训练数据对模型输出的影响来提高模型的可解释性。我们的方法通过关注模型的输出而不是其内部状态,提供了观测可解释性。我们在生成内容时考虑了原始数据和潜在空间嵌入,以寻找数据项的影响。我们通过局部重新训练模型和展示方法发现训练数据中影响子集的能力来评估该方法。本文为未来扩展奠定了基础,包括与领域专家进行基于用户的评估,预计将进一步提高观测可解释性。
发布时间: 4/3/2025
查看原文
作者: Xiaolong Liang, Y\`i N. W\'ang
arXiv:2504.01733v1 通告类型: 新 摘要: 本文介绍了一类表征获取知识和陷入无知动态的知行逻辑,同时还融入了群体知识的概念。这种方法基于加权模型系统,引入了“知识技能”度量来表示与知识更新相关的认识能力。在这一框架中,知识获取被建模为技能提升的过程,而无知则被表示为技能下降的后果。此外,该框架还能够探索“可知性”和“易忘性”的概念,即通过技能提升获取知识和通过技能下降陷入无知的可能性。此外,它还支持对“关于”的认知表达和“就内容而言”的认知表达之间的区别进行详细分析。对模型检查和满足性问题的计算复杂性进行了研究,提供了其理论基础和实践意义的见解。
发布时间: 4/3/2025
查看原文
arXiv:2504.01644v1 动态情况类型: 新 摘要: 在寻求让机器人与人类共存的过程中,理解和应对动态情况以及基于常识和互动能力选择合适的行动至关重要。传统的人工智能系统在应用互动能力时面临挑战,因为互动能力代表了一种源自常识的隐含知识。然而,由于其处理大量人类知识的能力,大型语言模型(LLMs)提供了新的机会。本研究提出了一种通过利用LLM生成来自动获取互动能力的方法。该过程包括使用LLM生成文本,通过形态学和依存分析将输出重构为符号网络,以及基于网络距离计算互动能力。使用“苹果”作为示例的实验表明,该方法能够提取具有高可解释性的上下文相关互动能力。结果表明,从LLM输出重构的符号网络使机器人能够有效解释互动能力,填补了符号化数据与类人类情境理解之间的鸿沟。
发布时间: 4/3/2025
查看原文
作者: Reo Abe, Akifumi Ito, Kanata Takayasu, Satoshi Kurihara
arXiv:2504.01637v1 类型: 新 摘要:在动态环境中具备高度适应性的规划方法对于自主和多功能机器人的发展至关重要。我们提出了一种利用大型语言模型(GPT-4o)自动生成能够在动态环境中进行适应的网络的方法。所提出的方法收集环境“状态”,表示条件和目标,并使用它们来生成代理。这些代理基于特定条件相互连接,从而形成结合灵活性和通用性的网络。我们进行了评估实验,将所提出方法生成的网络与手动构建的网络进行比较,证实了所提出方法的网络的全面性和更高的通用性。此项研究在开发适用于机器人、自主车辆、智能系统和其他复杂环境的多功能规划方法方面取得了重要进展。
发布时间: 4/3/2025
查看原文
作者: Simon Ferreira, Charles K. Assaad
arXiv:2504.01551v1 通知类型: 新 摘要:因果图中因果效应的识别是因果推理中的一个基本挑战。尽管在这个领域已经开展了大量研究,但大多数现有方法都假设可以获取完整的因果图。然而,在医学和流行病学等复杂领域中,完整的因果知识往往是不可用的,只能获得系统的部分信息。本文关注部分指定的因果图中的因果效应识别,特别强调簇导向混合图(C-DMGs)。这些图通过将变量分组到簇中,提供了更高层次的因果关系表示,为处理复杂系统提供了更实际的方法。与完整的因果图不同,C-DMGs 可能包含循环,这会使它们的分析和解释变得更加复杂。此外,基于簇的性质引入了新的挑战,因为它们产生了两种不同的因果效应类型:宏观因果效应和微观因果效应,具有不同的性质。在这项工作中,我们专注于宏观因果效应,这些效应描述的是整个簇对其他簇的影响。我们建立了do- calculus在C-DMGs中识别这些效应既准确又完备。此外,我们提供了这些图中宏观因果效应非识别性的图形表征。
发布时间: 4/3/2025
查看原文
作者: You-Le Fang, Dong-Shan Jian, Xiang Li, Yan-Qing Ma
arXiv:2504.01538v1 宣布类型: 新 摘要: 当前人类科学研究的限制需要一种新的研究范式。虽然人工智能(AI)的进展提供了高度有前景的解决方案,但使AI能够模仿人类的科学研究仍然是一个开放的挑战。为了解决这个问题,我们提出了AI-Newton,一种基于概念的发现系统,能够自主从原始数据中推导出物理定律——无需监督或先验的物理知识。该系统结合了一个以物理概念为中心的知识库和知识表示,以及一个自主的发现工作流。作为一个概念验证,我们将AI-Newton 应用于大量牛顿力学问题。给定有噪声的实验数据,该系统成功地重新发现了基本定律,包括牛顿第二定律、能量守恒定律和万有引力定律,使用的是自主定义的概念。这一成就标志着朝着AI驱动的自主科学研究迈出了重要一步。
发布时间: 4/3/2025
查看原文
作者: Philipp Mondorf, Shijia Zhou, Monica Riedler, Barbara Plank
arXiv:2504.01445v1 系统泛化类型: 新 摘要: 系统泛化是指理解并生成已知组件的新颖组合的能力。尽管大型语言模型(LLMs)在各个领域取得了进展,但这些模型往往无法将知识扩展到新颖的组合场景中,揭示了系统泛化方面的显著局限性。关于神经网络是否具备系统泛化的能力,一直以来存在争议,最近的研究表明,为组合性设计的元学习方法可以显著增强这种能力。然而,这些见解主要局限于语言问题,其在其他任务中的适用性仍是一个开放的问题。在本研究中,我们扩展了组合性的元学习方法,将其应用到抽象空间推理领域。为此,我们引入了SYGAR数据集,旨在评估模型从已知的二维对象几何变换(如平移、旋转)到新颖组合变换(如平移+旋转)的能力。我们的结果显示,通过组合性元学习训练的基于Transformer的编码器-解码器模型,能够系统地泛化到先前未见过的变换组合中,大幅超过了包括o3-mini、GPT-4o和Gemini 2.0 Flash在内的最新语言模型,这些模型未能表现出类似的行为。我们的研究结果表明,元学习在促进系统性方面有效,不仅限于语言任务,这表明了一个更有前景的方向,即开发更为稳健和通用的模型。
发布时间: 4/3/2025
查看原文
作者: Tianci Xue, Weijian Qi, Tianneng Shi, Chan Hee Song, Boyu Gou, Dawn Song, Huan Sun, Yu Su
arXiv:2504.01382v1 宣告类型: 新 摘要: 随着数字化和云计算技术的发展,网络在现代社会中的重要性日益增加。基于大型语言模型的自主网络代理具有在自动化工作方面巨大的潜力。因此,准确地衡量和监控其能力的进展非常重要。在本文中,我们进行了全面而严谨的网络代理现状评估。我们的结果显示了当前代理能力极具不同的图景,表明之前报告的结果存在过分乐观的情况。这一差异可以归因于现有基准中的不足。我们提出了一个名为Online-Mind2Web的在线评估基准,包含300个多样且现实的任务,覆盖136个网站。它使我们能够在一个接近实际用户使用这些代理的环境中评估网络代理。为了促进更可扩展的评估和开发,我们还开发了一种新颖的由LLM作为法官的自动评估方法,并表明它可以达到约85%的人工判断一致性,远高于现有方法。最后,我们进行了迄今为止对当前网络代理的第一个全面比较分析,突出了它们的优点和局限性,以激发未来的研究。
发布时间: 4/3/2025
查看原文
arXiv:2504.01331v1 类型: 新增 摘要:工业和可靠性优化问题通常涉及复杂的约束条件,需要高效的、可解释的解决方案。本文提出了AI-AEFA,这是一种先进的基于参数重构的元启发式算法,旨在解决大规模的工业和可靠性冗余分配问题。AI-AEFA 通过一种新颖的日志幂函数基参数自适应和混沌映射机制,增强了搜索空间的探索和收敛效率。该算法在28个IEEE CEC 2017有约束条件的基准问题、15个大规模工业优化问题和7个可靠性冗余分配问题上进行了验证,相对于最先进的优化技术,在可行性和计算效率方面表现更优,并且收敛速度更快。本文的另一项关键贡献是将SHAP(Shapley Additive Explanations)整合进AI-AEFA,增强了其可解释性,提供了对关键参数(如库仑常数、电荷、加速度和静电作用力)影响的洞察。该可解释性功能使人们能够在优化过程中更深入地理解AI-AEFA框架下的决策过程。研究发现证实了AI-AEFA作为一种稳健、可扩展且具有显著实际应用价值的优化工具的地位。
发布时间: 4/3/2025
查看原文