arXiv:2504.04335v1 类别: cross
摘要: 本研究探讨了大型语言模型输出中的 token 级幻觉检测问题。先前的研究发现，在幻觉发生时，注意力会表现出不规则的模式。受此启发，我们从注意力矩阵中提取了提供互补视角的特征，包括：(a) 每个 token 平均获得的注意力，这有助于识别某些 token 是否过于重要或被忽略，(b) 每个 token 获得的注意力多样性，揭示注意力是否偏向特定子集，以及 (c) 生成过程中 token 关注的 token 多样性，这表明模型是参考狭窄的信息范围还是广泛的信息范围。这些特征被输入到基于 Transformer 的分类器中，进行 token 级分类以识别幻觉片段。实验结果表明，所提出的方法在更长输入上下文（即 data-to-text 和总结任务）的幻觉检测上优于强 baseline 方法。
arXiv:2504.04332v1 Announce Type: cross
摘要：随着语言模型在对话文本生成方面逐渐展现出类似人类的能力，一个关键问题产生了：这些系统在多大程度上能够模拟特定个体的特征？为了评估这一点，我们引入了IMP.Persona框架，该框架用于评估语言模型模仿特定个体的写作风格和个人知识的能力。利用监督微调和基于分层记忆的检索系统，我们展示了即使是如Llama-3.1-8B-Instruct这样的中等规模开源模型，也能达到令人担忧的模仿能力水平。在盲测对话实验中，参与者在44.44%的互动中错误地将结合记忆检索的微调模型视为人类，而基于最佳提示的方法仅为25.00%。我们分析了这些结果，提出了检测和防御此类模仿企图的方法。我们的研究结果引发了关于个性化语言模型潜在应用和风险的重要问题，特别是关于隐私、安全以及此类技术在现实世界场景中的伦理部署。
arXiv:2504.04319v1 Announce Type: cross
摘要：地理空间副驾在自动化地球观测（EO）和气候监测工作流方面具有巨大的潜力，但它们对大规模模型（如GPT-4o）的依赖性产生了一个悖论：旨在进行可持续性研究的工具往往会导致不可持续的成本。在地理空间应用中使用自主AI框架会累积数千美元的API费用，或者需要成本高昂且耗能大的GPU进行部署，从而为研究人员、政策制定者和NGO设置了障碍。不幸的是，当地理空间副驾与开放语言模型（OLMs）一起部署时，性能往往会下降，因为它们依赖于经过GPT优化的逻辑。在这篇文章中，我们提出了Geo-OLM，这是一种工具增强的地理空间代理，利用了新型的状态驱动的大语言模型（LLMs）推理范式，解除了任务进展与工具调用的耦合。通过缓解工作流推理的负担，我们的方法使低成本的OLMs能够更有效地完成地理空间任务。当将模型缩小到7B参数以下时，Geo-OLM在成功查询完成率方面比最强的先前地理空间基线高出32.8%。我们的方法与实现结果接近GPT-4o的专有模型相当，同时将推理成本减少了两个数量级，从500-1000美元降至不到10美元。我们提供了地理空间下游基准的深入分析，为从业者有效地部署OLMs进行EO应用提供了关键见解。
arXiv:2504.04314v1 Announce Type: cross
摘要：聚类短文本数据的挑战在于平衡信息量与可解释性之间的关系。传统的评估指标往往忽视这种权衡。受沟通效率语言原则的启发，本文通过量化信息量与认知简单性之间的权衡来研究最优聚类数量。我们使用大型语言模型（LLMs）生成聚类名称，并通过语义密度、信息论和聚类准确性来评估其有效性。结果表明，使用LLM生成的嵌入进行Gaussian Mixture Model（GMM）聚类相较于随机分配增加了语义密度，有效地对相似的个人简介进行了分组。然而，随着聚类数量的增加，可解释性下降，这是通过生成性LLM根据聚类名称正确归类个人简介的能力来衡量的。逻辑回归分析证实，分类准确性取决于个人简介与其分配的聚类名称之间的语义相似性，以及它们与其他选项的区别。
这些发现揭示了一个“金发姑娘区”，即聚类既具有区分性又具有可解释性。我们确定了一个最优范围，即16-22个聚类，这与语言效率在词汇分类中的应用相parallel。这些见解既适用于理论模型，也适用于实际应用，指导未来研究朝着优化聚类可解释性和实用性方向发展。
arXiv:2504.04311v1 宣告类型: cross
摘要：在当今的数字时代，互联网，尤其是社交媒体平台，在塑造公众意见、态度和信念方面发挥着重要作用。不幸的是，通过各种手段，包括由技术驱动的工具如机器人、赛博人、 trolls、手套皮偶和深度假象，科学信息源的可信度经常受到损害。这种对公共话语的操纵服务于对抗性的商业议程并损害了公民社会。为应对这一挑战，一门新的科学学科出现了：社交网络安全。
arXiv:2504.04310v1 交叉公告类型
摘要：尽管基于LLM的代理在软件工程和机器学习研究等领域引起了广泛关注，但它们在推进组合优化(CO)方面的作用仍然相对未被充分探索。这一差距突显出对其在解决结构化和约束密集型问题方面的潜力需要更深入的理解——目前这种理解受限于系统的调查中缺乏全面的基准测试。为了解决这一问题，我们引入了CO-Bench，这是一个基准套件，包含来自广泛领域和复杂度级别的36个真实世界的CO问题。CO-Bench 包含结构化问题表述和精心挑选的数据，以支持对LLM代理进行严格的调查。我们评估了多个代理框架与现有的人类设计算法的表现，揭示了当前方法的关键优势和局限性，并确定了未来研究的有希望的方向。CO-Bench 已在 https://github.com/sunnweiwei/CO-Bench 公开提供。
arXiv:2504.04308v1 类型:交叉
摘要:线性注意力方法由于在递归解码中的高效性，为softmax注意力提供了一种有吸引力的替代方案。近期的研究重点关注通过引入门控机制来增强标准线性注意力，同时保留其计算优势。这样的门控线性注意力(GLA)架构包括具有竞争力的模型，如Mamba和RWKV。在这项工作中，我们研究了GLA模型的上下文学习能力，并做出了以下贡献。我们展示了多层GLA可以实现具有数据依赖权重的一般类加权预条件梯度下降(WPGD)算法。这些权重由门控机制和输入诱导，使模型能够控制预测中各个令牌的贡献。为了更深入地理解这种权重的作用机制，我们引入了一种新的多任务提示数据模型，并对其学习WPGD算法的优化景观进行了描述。在温和的条件下，我们建立了全局最小值的存在性和唯一性（至比例缩放），对应于唯一的WPGD解。最后，我们将这些发现应用于探讨GLA的优化景观，并揭示门控如何促进上下文感知学习，以及它在何种情况下可证明优于常规线性注意力。
arXiv:2504.04301v1 公告类型：交叉
摘要：在语义解析领域，在文本到SQL和问答任务中已经取得了显著的进步，两者都专注于从数据源的原生格式中提取信息。然而，它们形式语义表示的固有限制，如SQL编程语言或基本逻辑形式，阻碍了它们从多个视角分析数据的能力，例如进行统计分析。为了解决这一限制并激发该领域的研究，我们设计了SIGMA，一个用于统计分析的文本到代码语义解析的新数据集。SIGMA 包含 6000 个带有相应 Python 代码标签的问题，涵盖了 160 个数据库。一半的问题涉及查询类型，这些查询以原始格式返回信息，而剩余的 50% 是统计分析问题，它们在数据上执行统计操作。我们数据集中的 Python 代码标签覆盖了 4 种查询类型和 40 种统计分析模式。我们使用三种不同的基线模型（LGESQL、SmBoP 和 SLSQL）评估了 SIGMA 数据集。实验结果表明，使用 ELECTRA 的 LGESQL 模型在结构准确性上优于其他所有模型，达到了 83.37% 的结构准确性。在执行准确性方面，结合 GraPPa 和 T5 的 SmBoP 模型达到了 76.38%。
arXiv:2504.04299v1 类型: cross
摘要：人工智能（AI）的进步导致了诸如Replika之类的对话代理的增加，这些代理旨在提供社交互动和情感支持。然而，这些AI系统与用户进行不适当性行为的报告引发了重大关切。在本研究中，我们对来自Google Play Store的用户评论进行了主题分析，以调查Replika聊天机器人进行性骚扰的实例。从包含35,105条负面评论的数据集中，我们识别出800个相关案例进行分析。我们的发现表明，用户经常经历未被邀请的性 advances、持续的不当行为以及聊天机器人的失败，未能尊重用户的界限。用户表达了不适感、侵犯隐私以及失望的感觉，尤其是当他们在寻找一种柏拉图式或治疗性的AI伴侣时。本研究强调了AI伴侣可能带来的危害，并强调了开发人员需要实施有效的保护措施和伦理准则以防止此类事件的发生。通过对AI引发的骚扰用户经历的揭示，我们为理解和评估与AI相关的风险做出了贡献，并强调了企业在开发更安全和更伦理的AI系统方面的责任。
arXiv:2504.04283v1 宣告类型: cross
摘要: 无监督领域适应(UDA)利用有标签的源数据来训练模型以处理无标签的目标数据。由于跨多个领域的多变量时间序列(MTS)数据的普遍存在，MTS分类的UDA任务已成为一个关键挑战。然而，对于MTS数据而言，变量之间的相关性在不同领域往往有所不同，而大多数现有的MTS分类的UDA工作都忽略了这一关键特性。为了弥补这一差距，我们引入了一种新的领域偏移——相关性偏移，衡量多变量相关性在不同领域的差异。为了减轻相关性偏移，我们提出了一种可扩展且参数高效的 \underline{C} 相关性 \underline{A} 调适器用于 M\underline{TS} (CATS)。CATS 设计为一种即插即用技术，兼容各种 Transformer 变体，利用时序卷积捕捉局部时序模式，并使用图注意力模块建模变化的多变量相关性。适配器重新加权目标相关性，以理论上确保的精度对齐源相关性。进一步提出了一种相关性对齐损失来减轻相关性偏移，绕过了MTS数据的非 i.i.d. 性质带来的对齐挑战。在四个真实世界数据集上的广泛实验表明：(1) 相比于基于 Transformer 的基线模型，CATS 提高了约 10% 的平均准确率，同时仅增加了约 1% 的参数；(2) 所有配备 CATS 的 Transformer 变体要么达到了，要么超过了最先进的基线。