arXiv:2403.02241v3 Announce Type: replace-cross
摘要：我们对神经网络（NNs）的泛化能力的理解仍然不完整。现有的解释主要基于梯度下降（GD）的隐式偏见，但它们无法解释无梯度方法产生的模型的能力，也无法解释近期在未训练网络中观察到的简单性偏见。本文寻求神经网络中的其他泛化来源。
发现。为了独立于梯度下降理解由架构提供的归纳偏见，我们检查了未训练、随机权重的网络。即使是简单的MLP也显示出强烈的归纳偏见：在权重空间中进行均匀采样会产生非常偏倚的函数复杂性分布。然而，与常识相反，神经网络并没有固有的“简单性偏见”。这一属性取决于如ReLU、残差连接和层标准化等组件。可以构建具有任意复杂性偏见的替代架构。变压器也从其构建块继承了所有这些属性。
影响。我们提供了一个新的解释，独立于基于梯度的训练，解释了深度学习的成功。这指出了控制已训练模型实现的解决方案的有前途的方法。
arXiv:2402.13517v2 社工型攻击类型: 互换交叉
摘要：大型语言模型（LLMs）容易受到社工型攻击的影响，这类攻击具有人类可解释性，但需要较高的理解水平才能被LLMs防御。现有的防御措施最多只能减轻少于一半的这些攻击。为了解决这一问题，我们提出了往返翻译（RTT）方法，这是第一个专门设计用于防御社工型攻击的算法。RTT重述了敌对提示，并泛化了所传达的想法，使LLMs更容易检测到诱导的有害行为。该方法具有通用性、轻量级且可以转移应用于不同的LLMs。我们的防御成功缓解了超过70%的提示自动迭代细化（PAIR）攻击，这是目前我们所知最有效的防御。我们也是第一个尝试缓解MathsAttack并使其攻击成功率降低了近40%的人。我们的代码已公开可在 https://github.com/Cancanxxx/Round_Trip_Translation_Defence 查看。
请注意，该版本的文章在经过同行评审（如适用）后已被接受出版，但不是最终版本，不反映接受后的改进或任何修正。最终版本可在 https://doi.org/10.48550/arXiv.2402.13517 在线获取。使用此接受版本须遵守出版商的接受手稿使用条款 https://www.springernature.com/gp/open-research/policies/accepted-manuscript-terms
arXiv:2312.02312v2 宣告类型: replace-cross
摘要：视频游戏一直作为决策社区有用的基准，但超越阿特اري游戏向现代游戏发展对绝大多数研究社区来说成本高昂。在现代视频游戏中，先前的工作通常依赖于游戏特定的集成来获取游戏功能并启用在线训练，或者依赖现有的大型数据集。另一种方法是使用模仿学习来训练智能体，仅仅从图像中玩视频游戏。然而，这种设置提出了一个根本性的问题：哪些视觉编码器能够获得保留对决策至关重要的信息的表示？为了回答这个问题，我们在Minecraft、Counter-Strike: Global Offensive和Minecraft Dungeons中，系统性地研究了使用公开可用的预训练视觉编码器进行模仿学习与典型的任务特定端到端训练方法的比较。我们的结果显示，即便使用低分辨率图像和仅几分钟的示范演示，端到端训练也可能是有效的，但通过利用预训练编码器如DINOv2可以实现显著的改进，这取决于游戏的不同。除了使有效的决策成为可能，我们还展示出，预训练编码器可以显著降低训练成本，从而使视频游戏中决策研究更具可访问性。
arXiv:2309.06129v4 宣告类型：更换交叉引用
摘要：深度学习增强了眼球跟踪技术，但由于训练数据集不足，实际部署受到了阻碍。这个问题在摄像头硬件引起的图像变异和被记录参与者固有的生物差异上被进一步加剧，导致在特定数据集上训练的模型在特征和像素层面的差异，从而削弱了模型的泛化能力。虽然合成数据集可以是一个解决方案，但其创建需要大量的时间和资源。为了解决这个问题，我们提出了一种称为Light Eyes或“LEyes”的框架，与传统的逼真方法不同，LEyes仅使用简单的光照分布对用于视频眼球跟踪所需的关键图像特征进行建模。LEyes允许用户轻松配置，以训练针对各种眼球估计任务的神经网络。我们展示了使用LEyes训练的模型在知名数据集上的瞳孔和CR定位表现与最先进的算法一致或优于其他方法。此外，使用LEyes训练的模型在使用显著更低成本的硬件时，其性能优于行业标准的眼球跟踪器。未来，我们有信心LEyes将 revolutionize 眼球估计模型的合成数据生成，并导致下一代基于视频的眼球跟踪器的重大改进。
arXiv:2206.14175v3 通知类型: 替换-跨平台
摘要：由于参加编程课程的学生人数众多，针对入门级编程作业（IPAs）的自动化程序修复技术数量不断增加。通常，这些技术使用程序聚类来利用之前正确提交的学生实现来修复新的错误提交。这些修复技术使用聚类方法，因为分析所有可用的正确提交来修复程序是不可行的。然而，传统的聚类方法依赖于基于特征（如抽象语法树（ASTs）、语法、控制流和数据流）的程序表示。
本文提出了一种名为 InvAASTCluster 的新型程序聚类方法，该方法使用动态生成的程序不变量来聚类语义等效的 IPAs。InvAASTCluster 的程序表示结合了程序的语义（通过其不变量）和结构（通过其匿名抽象语法树（AASTs））。不变量表示在程序执行过程中必须保持为真的条件，而 AASTs 是去除了变量和函数名称，仅保留其类型的 ASTs。我们的实验表明，当聚类一组正确 IPAs 时，提出的程序表示在基于语法的表示方面表现出更优性能。此外，我们将 InvAASTCluster 集成到一个最先进的基于聚类的程序修复工具中。我们的结果显示，当与基于聚类的修复工具结合使用时，InvAASTCluster 通过修复约 13% 更多的学生程序，并且在较短的时间内，使当前的最先进方法得到了进一步的提升。
arXiv:2504.20828v2 通告类型: 替换
摘要：大型语言模型（LLMs）的快速进步促使了更高效服务策略的需求。在这种情况下，效率是指满足其服务水平目标（SLOs）的请求所占的比例，特别是对于第一个词出现时间（TTFT）和词之间时间（TBT）。然而，现有的系统往往在优先考虑一个指标的同时会牺牲另一个指标。我们提出了Ascendra，这是一个旨在同时满足TTFT和TBT SLOs的LLM服务系统。Ascendra的核心见解是请求的紧迫性会随着它接近其截止日期而发生变化。为此，Ascendra将GPU资源分为两种类型的实例：低优先级和高优先级。低优先级实例通过按到达顺序处理请求来最大化吞吐量，但存在请求饥饿的风险。为了应对这一挑战，Ascendra利用性能模型来预测可能无法满足SLOs的请求，并主动将这些请求卸载到高优先级实例中。高优先级实例针对低延迟执行进行了优化，并处理接近截止日期的紧急请求。这种分区架构使Ascendra能够有效地平衡高吞吐量和低延迟。广泛的评估结果显示，相比vLLM和Sarathi-Serve，Ascendra将系统吞吐量提高了1.7倍，并同时满足了TTFT和TBT SLOs。
arXiv:2504.20462v2 通知类型: 重写
摘要: 随着分布式系统的不断发展，微服务和云计算原生技术已经成为现代企业软件开发的核心。尽管这些技术带来了许多优势，但也增加了系统的复杂性和运维挑战。传统的根本原因分析（RCA）难以实现自动故障响应，严重依赖手动干预。近年来，大规模语言模型（LLMs）在上下文推理和领域知识整合方面取得了突破，为运维人工智能（AIOps）提供了新的解决方案。然而，现有的基于LLM的方法面临三个关键挑战：文本输入约束、动态服务依赖关系的幻觉以及上下文窗口限制。为了应对这些挑战，我们提出了一种工具辅助的多模态LLM代理，即TAMO，以进行细粒度的RCA。该工具将多模态观测数据统一为时间对齐的表示，以提取一致的特征，并采用专门的原因定位和故障分类工具来感知上下文环境。该方法克服了LLM在处理实时变化的服务依赖关系和原始观测数据方面的限制，并通过结构化关键信息为提示来指导LLM生成与系统上下文一致的修复策略。实验结果表明，当处理异构和常见故障类型的公共数据集时，TAMO在根本原因分析方面表现良好，证明了其有效性。
arXiv:2504.15457v2 宣告类型: 替换
摘要: 能够与新认识的人合作是许多具有经济价值的AI任务的重要组成部分，从家庭机器人到自动驾驶车辆。然而，将任务推广到新型人类身上需要训练能够捕捉人类行为多样性的数据。对抗性训练是寻找此类数据并确保代理具有稳健性的方法之一。然而，在合作设置中应用这种方法存在困难，因为对抗性策略故意学习破坏任务，而不是模拟有效的合作伙伴。为了解决这一挑战，我们提出了一种克服自我破坏的新策略，该策略结合了预训练的生成模型以模拟有效的合作代理策略，并通过最大化后悔来进行对抗性训练。我们将我们的方法称为GOAT：生成型在线对抗性训练。在此框架中，GOAT动态地搜索和生成合作策略，其中学习策略——合作者代理——表现不佳。GOAT通过将合作者暴露于各种具有挑战性的交互场景中，从而提高了泛化能力。为了保持现实的合作策略，我们只更新生成模型的嵌入，而固定其参数，从而避免了对抗性利用。我们使用真实的人类合作伙伴评估了GOAT，并且结果表明，在Overcooked基准测试中表现出最先进的性能，突显了其在泛化到多样化人类行为方面的有效性。
arXiv:2504.09689v3 安全公告类型: 替换
摘要：以大规模语言模型 (LLM) 为驱动力的AI角色的兴起引发了安全方面的担忧，尤其是对于那些患有心理障碍的易受伤害的人类用户。为应对这些风险，我们提出了EmoAgent，这是一种多智能体AI框架，旨在评估和减轻人类与AI交互过程中的心理健康风险。EmoAgent包括两个组成部分：EmoEval模拟虚拟用户，包括那些模拟心理健康脆弱个体的用户，以评估在与AI角色交互前后的情绪变化。它使用临床证明的心理学和精神病学评估工具（PHQ-9、PDI、PANSS）来评估由LLM引起的心理健康风险。EmoGuard作为中介，监控用户的情绪状态，预测潜在的危害，并提供矫正反馈以减轻风险。在流行的基于角色的聊天机器人中进行的实验表明，情感参与的对话可能会导致易受伤害用户的心理恶化，在超过34.4%的模拟中，心理状态有所恶化。EmoGuard显著降低了这些恶化率，突显了其在确保更安全的AI-人交互方面的作用。我们的代码可以在以下链接找到：https://github.com/1akaman/EmoAgent
arXiv:2502.19915v2 公告类型: 替换
摘要：知识追踪（KT）是一种在智能辅导系统中用于模拟学习过程中学生知识状态变化、跟踪个性化知识掌握情况以及预测表现的基本技术。然而，当前的KT模型面临着三大主要挑战：（1）当遇到新问题时，由于交互记录稀疏，模型会遇到冷启动问题，使得精确建模变得困难；（2）传统的模型仅使用历史交互记录进行个性化建模，无法准确跟踪个人掌握水平，导致个性化的建模不够清晰；（3）决策过程对教育者来说是透明的，使得他们难以理解模型的判断。为了解决这些挑战，我们提出了一种新颖的双向难度感知知识追踪（DDKT）框架，该框架利用大型语言模型（LLMs）和检索增强生成（RAG）进行主观难度评估，同时结合难度偏差感知算法和学生掌握算法进行精确难度测量。我们的框架引入了三个关键创新：（1）难度平衡感知序列（DBPS）——学生的主观感知与客观难度相结合，通过注意力机制测量LLM评估难度、数学统计难度和学生主观感知难度之间的差距；（2）难度掌握比率（DMR）——通过不同的难度区进行精确的学生掌握水平建模；（3）知识状态更新机制——通过门控网络实现个性化知识获取并更新学生知识状态。在两个真实数据集上的实验结果表明，我们的方法在一致性上优于九种基线模型，在AUC指标上提高了2%到10%，同时有效地解决了冷启动问题并增强了模型的可解释性。