多模态优化在工程问题中经常出现，尤其是在寻找不同的替代解决方案时。进化算法由于其种群概念、探索/利用以及适合并行计算等特点，能够有效地解决多模态优化问题。本文研究了一种鲜为人知的优化器——大爆炸-大坍缩 (BBBC) 算法是否适合多模态优化。我们扩展了 BBBC 并提出了 k-BBBC，这是一种基于聚类的多模态优化器。此外，我们还引入了两种后处理方法，以 (i) 识别一组检索到的解决方案（即种群）中的局部最优解，以及 (ii) 量化正确检索到的最优解相对于预期最优解的数量（即成功率）。我们的结果表明，即使对于具有大量最优解（在 $379$ 个最优解上测试）和高维数（在 $32$ 个决策变量上测试）的问题，k-BBBC 的表现也很好，但对于具有许多局部最优解的问题（即在 CEC'2013 基准集中），其计算成本过高。与其他多模态优化方法相比，k-BBBC 在基本多模态函数上的测试中，在准确性（在搜索空间和目标空间中）和成功率（正确检索到的最优解数量）方面表现优于其他方法，尤其是在应用精英策略时；然而，它需要知道问题的最优解数量，这使得它在 niching 竞争测试 CEC'2013 上的性能下降。最后，我们通过将我们提出的后处理方法的成功率与实际成功率进行比较来验证其有效性：结果表明，这些方法可以用来评估多模态优化算法的性能，通过正确识别最优解并提供成功率的指示——而无需知道最优解在搜索空间中的位置。
近年来，人工神经网络的进步显著提升了利用多时序传感器进行的人类活动识别。尽管使用具有高采样率的众多传感器通常能提高结果，但它往往会导致数据效率低下，并使 ANN 不必要地膨胀，这对边缘设备上的实际部署提出了挑战。为了解决这些问题，我们的工作针对 HAR 任务中数据的高效利用提出了一个务实的框架，同时考虑了传感器模式和采样率的优化。我们的方法的核心是设计的可训练参数，称为“权重分数”，它在训练阶段评估每个传感器模式和采样率的重要性。这些分数指导传感器模式和采样率的选择。剪枝方法允许用户通过根据权重分数排名选择传感器模式和采样率，在计算预算和性能之间进行权衡。我们使用三个公开的 HAR 基准数据集测试了我们的框架在优化传感器模式和采样率选择方面的有效性。结果表明，通过 CoSS 选择的传感器和采样率组合，在分类性能方面与使用所有传感器的最高采样率的配置相似，但硬件成本更低。
在大型语言模型的预训练过程中，经常出现损失函数峰值。这些峰值会降低大型语言模型的性能，有时甚至会破坏预训练过程。由于预训练需要大量的计算资源，我们应该避免这些峰值。基于损失函数峰值是由梯度范数突然增大引起的假设，我们通过分析子层的雅可比矩阵的谱范数，探索了保持梯度范数较小的因素。我们的研究结果表明，稳定预训练过程需要满足两个条件：较小的子层和较大的捷径。我们进行了各种实验来实证验证我们的理论分析。实验结果表明，满足这些条件的方法可以有效地防止预训练过程中的损失函数峰值。
大型语言模型 (LLM) 在众多自然语言处理任务中已经取代了传统方法。然而，在命名实体识别 (NER) 中，现有的基于 LLM 的方法...
辅助驾驶和自动驾驶正在迅速发展，并将很快成为现实。人工智能和机器学习被认为是关键推动因素，因为智能汽车将从车载传感器收集大量数据。联邦学习是最有前途的技术之一，它可以在保护车辆数据隐私和优化通信资源使用的情况下训练全局机器学习模型。本文提出了一种基于车辆无线环境图的联邦学习（VREM-FL）方法，该方法结合了车辆的移动性和5G无线环境图，实现了计算调度联合设计。VREM-FL 联合优化了全局模型的学习性能，并明智地分配了通信和计算资源。这是通过利用无线信道图，以自适应和预测的方式协调车辆的本地计算以及本地模型的传输来实现的。该算法可以调整，以用训练时间换取无线资源使用。实验结果表明，VREM-FL 在线性回归模型（学习时间减少 28%）和用于语义图像分割的深度神经网络（在相同时间窗口内将模型更新次数增加一倍）方面都优于文献基准。
模型融合研究旨在通过组合多个独立模型的权重来聚合它们的知识，从而提升性能。在这项工作中，我们研究了逆问题：探究模型融合是否可以用来减少不必要的知识。我们调查了模型融合在三种场景中的影响：微调语言模型中捷径学习、社会偏见和训练数据记忆。通过涵盖分类和生成任务的实验，我们的分析表明，模型融合期间模型之间共享的知识得到增强，而未共享的知识通常会被遗忘。基于此观察，我们展示了模型融合作为一种去偏工具的潜力，并展示了它在解决与语言模型相关的隐私问题方面的有效性。
生成式人工智能 (AI) 表现出生成类似于人类产出的创意内容的能力，效率更高，成本更低。然而，这种突破性的能力引发了关于其取代人类创作者的潜力的辩论。鉴于这些讨论，本文以中国领先的艺术外包平台为背景，实证研究了生成式 AI 对市场均衡的影响。我们通过识别一个意外且突然的先进图像生成 AI 泄露事件作为自然实验，克服了因果推断的挑战。这种泄露导致动漫风格图像的生产成本显着降低，与其他类型相比，从而为差异比较提供了独特的机会。我们的分析表明，生成式 AI 的出现导致平均价格下降了 64%，但同时促使订单量增长了 121%，总收入增长了 56%。这种增长主要是由对“低端”个人订单的需求增加所驱动，而不是商业订单。此外，现有的创作者保留了大部分市场份额，并从生成式 AI 中获得了最大的收益。我们的研究强调了生成式 AI 在平台经济中造福所有利益相关者的潜力，既有学术贡献，也有实际意义。
我们提出了一种异步图生成器 (AGG)，这是一种用于多通道时间序列插补和预测的新型图注意力网络。AGG 不依赖于循环组件或关于时间/空间规律性的假设，而是通过可学习的嵌入将测量值、时间戳和特定于通道的特征直接编码到节点中。通过注意力机制，这些嵌入允许以同构图的形式发现感兴趣变量之间的表达关系。一旦训练完成，AGG 通过*条件注意力生成*来执行插补，即通过根据给定的时间戳和通道规范创建新的节点。我们将提出的 AGG 与文献中的相关方法进行了比较，并从数据增强角度分析了其性能。我们的实验表明，AGG 在时间序列插补、分类和预测方面取得了最先进的结果，在*北京空气质量*、*PhysioNet ICU 2012* 和*UCI 定位*基准数据集上优于其他最新的基于注意力的网络。
我们将网络通信引入到平均场博弈框架中，特别是针对 $N$ 个去中心化智能体沿着单个非情节性运行的经验系统进行学习的无预言机设置。我们证明了我们的架构具有样本保证，其界限介于集中式学习和独立学习情况之间。我们提供了这些界限差异的阶数，以及网络结构和通信轮数，并贡献了策略更新稳定性保证。我们讨论了三种理论算法的样本保证在实践中并没有真正导致收敛。因此，我们在实践设置中，理论参数无法观测（导致 Q 函数估计不佳）的情况下，展示了我们的通信方案在独立情况下（有时甚至在集中式情况下）显著加速了收敛，而无需依赖于集中式学习者的假设。我们对所有三种理论算法贡献了进一步的实践增强，使我们能够展示它们的第一个经验演示。我们的实验证实，我们可以消除算法的几个理论假设，并展示了我们的新网络通信带来的经验收敛优势。我们还表明，与集中式和独立方案相比，网络方法在应对意外学习失败和群体规模变化方面具有显著优势。
大多数强化学习算法将它们所处的环境视为一个静止的、孤立的、不受干扰的环境。然而，在现实世界应用中，环境会由于各种外部事件而不断变化。为了解决这个问题，我们研究了受外部时间过程影响的马尔可夫决策过程 (MDP)。首先，我们形式化了这个概念，并推导出在哪些条件下问题可以通过合适的解决方案变得易于处理。我们提出了一种策略迭代算法来解决这个问题，并对其性能进行了理论分析。我们的分析解决了 MDP 中由于非马尔可夫事件而产生的非平稳性，需要制定依赖于当前状态和先前事件历史的策略。此外，我们推导出有关算法样本复杂度的见解，并将定义外生时间过程的因素纳入已建立的界限。最后，我们进行了实验，以在一个传统的控制环境中演示我们的发现。