深度学习技术通过模仿人类认知和自动化复杂决策过程，彻底改变了图像分类。然而，在高安全领域（如国防）中部署人工智能系统受到模型缺乏可解释性的限制。为此，可解释的人工智能（XAI）是一个新兴的研究领域，旨在探索深度神经网络的未解释的黑箱性质。本文探讨了可解释人工智能（XAI）工具在解释水下图像分类结果中的应用，这是我们所知领域内的首批研究之一。我们的研究深入探讨了使用定制数据集进行声纳图像分类，该数据集来源多样，包括海底物体KLSG数据集、相机声纳数据集、地雷声纳图像数据集和SCTD数据集。对使用基准卷积神经网络（CNN）架构（如VGG16、ResNet50、InceptionV3、DenseNet121等）进行图像分类的迁移学习技术进行了广泛分析。在此分类模型之上，结合了一种事后XAI技术，即本地可解释模型无关解释（LIME），通过局部扰动输入数据来观察预测变化，以提供模型决策的透明解释。此外，还广泛研究了LIME的一个特定于图像的版本，即子模块选择LIME（SP-LIME），它基于子模块选择对图像进行扰动。为此，利用了两个子模块优化算法，即Quickshift和简单线性迭代聚类（SLIC），用于子模块选择。对XAI技术的广泛分析以更符合人类理解的方式强调了结果的可解释性，从而增强了我们的信心和可靠性。
自动程序修复（APR）旨在自主修正特定项目中的问题，通常包括三类任务：错误修复、新功能开发和功能增强。尽管已有大量研究提出了各种方法，但它们在解决实际问题上的效果仍不尽如人意。值得注意的是，通常工程师在开始修补代码之前会针对解决方案设计出设计理由（DR）并有一套基本的原因。在开源项目中，这些设计理由经常通过项目管理工具如Jira记录在问题日志中。这引发了一个引人注目的问题：我们如何利用分散在问题日志中的设计理由来有效提升APR？为探讨这一前提，我们引入了DRCodePilot，这是一种通过将设计理由引入提示指令来增强GPT-4-Turbo的APR能力的方法。此外，鉴于GPT-4在完全理解更广泛的项目背景和生成精确标识符方面的局限性，我们设计了一种基于反馈的自反思框架，我们提示GPT-4通过参考提供的补丁和建议的标识符来重新考虑和改进其输出。我们建立了一个基准，包含来自两个托管在GitHub和Jira上的开源库的938个问题-补丁对。我们的实验结果令人印象深刻：DRCodePilot实现了完全匹配率，比直接使用GPT-4高出4.7倍。此外，CodeBLEU分数也显示出有希望的改进。此外，我们的研究结果表明，单独应用设计理由可以在我们的基准套件中的CodeLlama、GPT-3.5和GPT-4上显著提高完全匹配率。我们相信，DRCodePilot的倡议预示着一种新的“人在回路中”的途径，将推进APR领域的发展。
脑电图（EEG）研究通常集中于目标明确的任务，但最近的研究正在扩大到在更大模型中使用未标记数据，旨在应用于更广泛的领域。这解决了EEG研究中的一个关键挑战。例如，Kostas等人（2021）表明，自监督学习（SSL）优于传统的监督方法。鉴于EEG数据中的高噪声水平，我们认为通过额外的预处理可以实现进一步的改进。当前的预处理方法由于缺乏优化，依赖于主观的人工修正和验证过程或不灵活的协议，无法有效管理SSL所需的大量数据。我们提出了一个基于Python的EEG预处理管道，优化用于自监督学习，旨在高效处理大规模数据。这种优化不仅稳定了自监督训练，还提升了相比于使用原始数据训练的下游任务性能。
我们证明了广泛的机器学习算法实际上是单一范式——互惠学习的具体实例。这些实例涵盖了从主动学习到多臂赌博机再到自我训练。我们展示了这些算法不仅从数据中学习参数，同时也反过来：它们迭代地根据当前模型拟合情况改变训练数据。我们引入互惠学习作为这些算法的泛化，并使用决策理论的语言进行描述。这使我们能够研究它们在什么条件下收敛。关键在于保证互惠学习收缩，以便适用Banach不动点定理。通过这种方式，我们发现，在相对温和的损失函数假设下，如果预测是概率性的且样本适应既非贪心又是随机或正则化的，互惠学习算法以线性速率收敛到近似最优模型。我们解释了这些发现，并提供了将其与具体的主动学习、自我训练和赌博机算法相关联的推论。
大型语言模型（LLMs）在自然语言处理领域取得了前所未有的成功。然而，其内部机制的黑箱性质引发了关于其可信性和可解释性的诸多担忧。最近的研究发现了一类在模型词汇空间中的异常词元，并将其命名为“故障词元”。这些词元一旦包含在输入中，可能导致模型产生错误、无关甚至有害的结果，从而极大地削弱了LLMs的可靠性和实用性。在这项工作中，我们旨在增强对故障词元的理解，并提出其检测和缓解的技术。我们首先揭示了故障词元对LLMs诱发的特征，这些特征通过中间模型层的注意力模式和动态信息分布的显著偏差得到了证实。基于这些见解，我们开发了GlitchProber，这是一种高效的故障词元检测和缓解工具。GlitchProber利用小规模采样、主成分分析进行加速特征提取，并使用简单分类器进行高效的词汇筛选。更进一步，GlitchProber通过修正异常的模型中间层值来缓解故障词元的破坏性影响。在五个主流开源LLMs上的评估表明，GlitchProber在效率、精度和召回率方面相比现有方法表现更佳，平均F1分数为0.86，平均修复率为50.06%。GlitchProber为解决故障词元带来的挑战开辟了一条新路径，并激励了未来朝着更稳健和可解释LLMs的研究。
关系型数据库经常受到表内容描述不清的影响，例如含糊的列和难以解释的值，这会影响人类用户和文本到SQL模型。在本文中，我们探索了使用大型语言模型（LLMs）自动生成SQL数据库列的详细自然语言描述，以期提高文本到SQL的性能并自动创建元数据。我们基于BIRD-Bench基准创建了一个金标准列描述的数据集，手动修订其列描述并创建了一个分类列难度的分类法。通过评估多个LLMs，我们发现加入这些列描述可以一致地提升文本到SQL模型的性能，尤其是对于较大的模型如GPT-4o、Qwen2 72B和Mixtral 22Bx8。然而，模型在处理本身就存在模糊性的列时仍然存在困难，强调了需要人工专家的输入。值得注意的是，尽管Qwen2生成的描述中包含被注释者认为多余的信息，但其表现优于手动整理的金标准描述，这表明模型从比人类预期更详细的元数据中受益。未来的工作将研究这些高性能描述的具体特征，并探索其他类型的元数据，例如数字推理和同义词，以进一步改进文本到SQL系统。数据集、注释和代码都将公开。
人工智能代理能否模拟真实的交易环境，以研究外部因素（例如宏观经济、政策变化、公司基本面和全球事件）对股票交易活动的影响？这些频繁影响交易行为的因素是投资者追求利润最大化过程中至关重要的元素。我们的工作试图通过基于大型语言模型的代理来解决这个问题。我们开发了一个名为StockAgent的多代理人工智能系统，由LLMs驱动，旨在模拟投资者对真实股票市场的交易行为。StockAgent允许用户评估不同外部因素对投资者交易的影响，并分析交易行为和盈利效果。此外，StockAgent避免了现有基于AI代理的交易模拟系统中存在的测试集泄漏问题，具体来说，它防止模型利用其可能已经获得的与测试数据相关的先验知识。我们在一个非常接近现实条件的股票交易环境中，在StockAgent框架下评估了不同的LLMs。实验结果展示了关键外部因素对股票市场交易的影响，包括交易行为和股票价格波动规则。本研究探讨了在没有与市场数据相关的先验知识的背景下，代理自由交易的空白。通过StockAgent模拟识别的模式为基于LLMs的投资建议和股票推荐提供了宝贵的见解。代码可在https://github.com/MingyuJ666/Stockagent获取。
我们研究了一类扩散过程的连续时间线性-二次（LQ）控制问题的强化学习（RL），其中状态是标量值，运行控制奖励不存在，但状态过程的波动性取决于状态和控制变量。我们采用一种不依赖于模型参数知识或其估计的无模型方法，并设计了一种演员-评论家算法，以直接学习最佳策略参数。我们的主要贡献包括引入探索计划和对所提出算法的后悔分析。我们提供了策略参数收敛到最优值的收敛速度，并证明该算法在学习回合数为 $N$ 的情况下，达到了 $O(N^{\frac{3}{4}})$ 的后悔界限，附加一个对数因子。我们进行了模拟研究以验证理论结果，并展示了所提出算法的有效性和可靠性。我们还进行了数值比较，将我们的方法与最近的模型基础随机LQ RL研究在状态和控制依赖波动性设置下进行比较，展示了前者在后悔界限方面的更好性能。
在过去的十年里，已经有推动使用多维（潜在）空间来表示概念的趋势；然而，如何操作这些概念或对它们进行推理仍然很不清楚。一些最新的方法利用了多重潜在表示及其连接，使得这一研究问题变得更加复杂。我们的目标是理解在潜在空间中的操作如何影响基本概念。为此，我们通过扩散模型探索概念融合的任务。扩散模型基于文本提示的潜在表示与图像重建和生成的潜在空间之间的连接。这项任务使我们能够尝试不同的基于文本的组合策略，并通过视觉分析轻松评估。我们的结论是，通过空间操作进行概念融合是可能的，尽管最佳策略取决于融合的上下文。
受信任的人工智能中分类问题的关键议题之一是确保在有保护（敏感）特征存在时，不同类别预测的公平性。在这些情况下，数据质量至关重要，因为训练数据中的偏见可能会在机器学习中反映出来，影响人类生活并且无法遵守现行法规。提高数据质量和避免这些问题的一种策略是对数据集进行预处理。通过欠采样进行实例选择可以促进类别和保护特征值的平衡学习。在接近决策边界的类别重叠区域执行欠采样应该会增强对分类器的影响。本研究提出了公平重叠球数（Fair-ONB）方法，这是一种利用不同数据组（由类别和保护特征值组合获得）的数据形态，在重叠区域进行引导欠采样的方法。它利用组的球覆盖属性，如半径、覆盖实例数和密度，以选择最适合欠采样的区域并减少偏见。结果表明，Fair-ONB方法在对分类器预测性能影响较小的情况下，提高了模型的公平性。