arXiv:2502.00321v1 类型: cross
摘要: 点击率（CTR）预测是推荐系统、在线搜索和广告平台中的关键任务，准确捕捉用户对内容的真实兴趣对于提升性能至关重要。然而，现有方法严重依赖于ID嵌入，无法反映用户对内容（如图片和标题）的真实偏好。这一局限性在冷启动和长尾场景中尤为明显，传统方法难以提供有效结果。为了解决这些挑战，我们提出了一种新颖的多模态内容兴趣建模范式（MIM），该范式包括三个关键阶段：预训练、内容-兴趣感知监督微调（C-SFT）以及内容-兴趣感知UBM（CiUBM）。预训练阶段将基础模型适应特定领域数据，从而实现高质量多模态嵌入的提取。C-SFT阶段通过利用用户行为信号来弥合内容与用户兴趣之间的语义差距，指导嵌入向用户偏好的对齐。最后，CiUBM阶段将多模态嵌入和基于ID的协同过滤信号整合到一个统一框架中。我们在阿里巴巴旗下的全球最大电商平台之一淘宝上进行了全面的离线实验和在线A/B测试，证明了MIM方法的有效性和效率。该方法已成功部署在线，实现了CTR提升14.14%和RPM提升4.12%，展示了其工业适用性和对平台性能的显著影响。为了促进进一步的研究，我们已在https://pan.quark.cn/s/8fc8ec3e74f3 公开了代码和数据集。
arXiv:2502.00313v1 宣告类型: cross
摘要：大型语言模型（LLMs）在社会和经济领域决策中的应用越来越受到关注，这引发了它们是否能够作为这些领域的代理发挥作用的问题。许多社会问题涉及资源分配，其中公平性与经济效率在结果的可取性方面起着至关重要的作用。在本文中，我们探讨LLM响应是否遵循诸如公平性、无嫉妒性和罗尔斯的最大最小原则等基本公平概念，并研究它们与人类偏好的一致性。我们评估了多种LLM的表现，提供了对其反映这些指标能力的比较基准。我们的结果表明，当前LLM响应与人类的分配偏好之间缺乏一致性。此外，LLM无法利用金钱作为一种可转移的资源来缓解不平等。然而，当某些LLM被要求从预定义的选项菜单中选择而非生成一个新的选项时，我们展示了截然不同的结果。另外，我们分析了LLM响应对语义因素（如意图或人设）变化或非语义提示更改（如模板或顺序）的稳健性。最后，我们强调了一些潜在策略，旨在增强LLM行为与公认公平概念的一致性。
arXiv:2502.00310v1 交叉公告类型
摘要：在人机交互和心理评估领域，语音情绪识别（SER）在从语音信号解码情绪状态方面发挥着重要作用。尽管取得了进展，但由于系统复杂性、特征的独特性问题以及噪声干扰，仍存在挑战。本文介绍了一种新的端到端（E2E）深度学习多分辨率框架用于SER，通过直接从原始波形语音信号中提取有意义的表示来解决这些限制。通过利用快速离散小波变换（FDWT）的特性，包括级联算法、共轭四元滤波器和系数去噪，我们的方法通过深度学习技术引入了可学习的小波基和去噪模型。该框架结合了用于可学习的非对称硬门限的小波系数激活函数。我们的方法利用了小波在时间和频率域中有效定位的能力。然后，我们将一维膨胀卷积神经网络（1D 膨胀 CNN）与空间注意力层以及双向门控递归单元（Bi-GRU）与时间注意力层相结合，以有效地捕捉情感特征的空间和时间细微特征。通过处理没有任何分割的变长语音，并且不需要预处理或后处理，所提出的模型在IEMOCAP和EMO-DB数据集上超过了最先进的方法。本文的源代码已共享在Github存储库：https://github.com/alaaNfissi/SigWavNet-Learning-Multiresolution-Signal-Wavelet-Network-for-Speech-Emotion-Recognition。
arXiv:2502.00306v1 类别: cross
摘要: 通过利用外部知识数据库而不改变模型参数，检索增强生成 (RAG) 使大型语言模型 (LLMs) 能够生成基于现实的响应。尽管没有参数权重调整可以防止通过模型参数泄露，但它引入了推理对手利用检索文档在模型上下文中进行数据泄露的风险。现有的会员推理和数据提取方法往往依赖于jailbreaking或精心构造的不自然查询，这些方法可以通过RAG系统中常见的查询重写技术被轻松检测或阻止。在本工作中，我们提出了调查攻击 (IA)，这是一种针对RAG数据存储中文档的会员推理技术。通过构造只能在目标文档存在的情况下才能回答的自然文本查询，我们的方法仅使用30个查询就成功实现了推理，同时保持了隐蔽性；现有的检测器识别出自有方法生成的对抗性提示的频率比我们攻击生成的提示高出约76倍。我们在多种RAG配置中实现了TPR@1%FPR的2倍改进，同时每篇文档推理成本低于0.02美元。
arXiv:2502.00305v1 类别: cross
摘要: 冰冷启动主动学习（CSAL）从未标记的数据集中选择有价值的实例进行人工注释。它以较低的注释成本为标签稀缺的文本分类提供高质量的数据。然而，现有的CSAL方法忽视了弱类别和困难的代表性示例，导致学习偏向。为了解决这些问题，本文提出了一种新的双重多样性增强和不确定性感知（DEUCE）框架来实现CSAL。具体而言，DEUCE利用预训练的语言模型（PLM）来高效地提取文本表示、类别预测和预测不确定性。然后，它构造了一个双重邻居图（DNG），结合了文本多样性和类别多样性的信息，确保数据分布平衡。进一步通过基于密度的聚类传播不确定性信息，以选择困难的代表性实例。DEUCE通过双重多样性和信息性较好地选择了类别平衡和困难的代表性数据。在六个NLP数据集上的实验表明，DEUCE具有优越性和高效性。
arXiv:2502.00304v1 宣告类型: cross
摘要: 受约束优化需要高效的求解器，这促进了学习优化（L2O）方法的发展。作为一种数据驱动的方法，L2O 利用神经网络来高效地生成近似解。然而，确保神经网络输出的最优性和可行性仍是一项重大挑战。为了解决这一问题，我们引入了同胚极性学习（HoP）来解决具有星凸硬约束的优化问题，通过在神经网络中嵌入同胚映射来实现这一点。双射结构使得可以进行端到端训练，无需额外的惩罚或修正。为了评估性能，我们在各种合成优化任务和无线通信领域的实际应用中评估了 HoP 的性能。在所有情况下，HoP 的解比现有 L2O 方法更接近最优解，同时严格保持可行性。
arXiv:2502.00302v1 类型: cross
摘要：我们如何识别可能驱动社会结构的灵长类个体集群？为了解决这个问题，我们中的一位收集了黑猩猩之间社会互动的时间序列数据。在这里，我们使用网络表示法，将这些数据组合成一个时间戳为单个加权网络的时间序列，不同接近度应该根据其相对重要性赋予不同的权重。我们以一种合理的方式优化这些接近度类型权重，使用一种创新的损失函数，该函数奖励时间上的结构一致性。通过精心设计的合成数据进行实证验证。通过统计测试，我们提供了一种识别长时间相关个体集群的方法。将该方法应用于黑猩猩数据集，我们检测到动物社会网络时间序列中的团体结构，这些结构可以通过先前研究的实际情况和黑猩猩专家的定性观察来验证。
arXiv:2502.00290v1 类型: cross
摘要：近年来，大型语言模型（LLMs）取得了显著的进步，并被广泛集成到各个领域中。尽管取得了这些进展，但LLMs容易产生幻觉，即生成的响应可能不可靠，尤其是在模型缺乏足够的依托知识时。为了缓解这一问题，已经采用了估计不确定性的方法，重点是关键标记作为可靠性的指示器。然而，基于概率的方法在评估标记级可靠性方面存在局限性，因为它们无法保留训练过程中获得的证据强度信息。在本文中，我们提出了Logits诱导的标记不确定性（LogU），这是一种新颖的框架，用于在无需多次采样即可实时估计LLMs中的标记特定不确定性。通过利用证据建模来实施LogU，我们使用得出的不确定性度量来指导下游任务。我们的实验结果突显了LogU的显著效果和潜力，标志着在应对模型幻觉挑战方面取得了重大进展。
arXiv:2502.00281v1 类型: cross
摘要：Transformer 架构的核心是自注意力机制，该机制动态地为每个输入标记分配softmax权重，使模型能够集中于最相关的部分。然而，softmax结构由于其行向量性质而会使注意力计算变慢，并且固有地在标记之间引入了竞争：当一个标记被赋予的权重增加时，其他标记的权重会下降。这种竞争动态可能会使自注意力将焦点限制在有限的功能集上，有可能忽视其他信息特征。最近的实验研究表明，使用元素级Sigmoid函数可以帮助消除标记间的竞争并减少计算开销。尽管这些实验证据显示了积极的结果，但在文献中关于Sigmoid与softmax自注意力机制之间的严格比较仍然缺失。本文通过理论上证明Sigmoid自注意力机制比softmax自注意力机制更具样本效率来弥补这一空白。为此，我们展示了自注意力矩阵的每一行都可以表示为专家的混合模型。我们的分析表明，在Sigmoid自注意力机制中的“专家”比softmax自注意力机制中的“专家”需要显著少的数据来达到相同的逼近误差。通过在合成和真实世界数据集上的大量实验，我们验证了我们的理论发现。
arXiv:2502.00270v1 宣告类型: cross
摘要：机器学习（ML）模型的表现很大程度上取决于其训练数据与下游评估任务领域的相关性。然而，在实践中，未见过的评估任务中涉及的数据往往对我们来说是未知的（例如，一个大语言模型与用户的对话是端到端加密的）。因此，我们不清楚哪些数据对于训练/微调ML模型以最大限度提高其任务性能是相关的。相反，我们只能部署ML模型到未见过的评估任务中，以收集多轮的粗反馈，以了解模型表现如何。本文提出了一种名为DUET的新型全局到局部算法，该算法可以通过交替使用数据选择方法与贝叶斯优化，利用反馈循环。因此，DUET可以从数据域池中高效地精炼训练数据混合，以最大限度地提高其在未见过的评估任务上的性能，通过分析其累积遗憾，其对最优化数据混合的收敛是可以理论保证的。对图像和大语言模型评估任务的实验评估表明，DUET找到了优于传统基线的训练数据混合。