我们通过实验证据表明，使用ReLU和绝对值激活函数的神经网络学习的是基于距离的表征。我们独立地操纵训练模型中内部激活的距离和强度属性，发现这两种架构对基于距离的小扰动都高度敏感，同时在基于强度的大扰动下保持稳健的性能。这些发现挑战了神经网络激活的普遍强度解释，并为其学习和决策过程提供了新的见解。
尽管网络已成为全球性的沟通平台，但黑客和黑客活动家却在“暗网”（网络的反面）上分享他们的意识形态并与成员沟通。目前，信息过载和难以全面了解黑客和网络攻击者的现状阻碍了对其网络活动预测的有效分析。此外，目前连接互联网的对象数量超过了世界人口数量，并且随着越来越多的对象能够直接与互联网交互，这一差距将继续扩大。许多技术社区正在大力追求有助于物联网 (IoT) 的研究课题。本文提出了一种新颖的方法，用于收集和分析暗网信息，以从浩瀚的网络中识别黑客网站，以及这些信息如何帮助我们预测物联网漏洞。该方法结合了信息收集、分析、可视化技术，并利用了一些物联网设备。通过这项研究，我们希望为现有的网络安全文献做出贡献，这可能有助于政策制定和情报研究。
AI2T 是一种可交互教学的 AI，用于创作智能辅导系统 (ITS)。作者通过提供一些逐步解决方案并对 AI2T 的解题尝试进行评分来指导 AI2T。只需 20-30 分钟的交互式训练，AI2T 就能归纳出强大的逐步解决方案跟踪规则（即模型追踪）。随着 AI2T 的学习，它可以使用 STAND（一种优于 XGBoost 等最先进方法的自感知先决条件学习算法）准确估计其在未见过的问题步骤上正确执行的确定性。我们的用户研究表明，作者可以使用 STAND 的确定性启发式方法来估计 AI2T 何时已接受过足够多样的问题训练，从而能够归纳出正确且完整的模型追踪程序。AI2T 归纳出的程序比容易产生幻觉的大型语言模型和之前的导师式创作方法更可靠。凭借其对分层规则的自感知归纳，AI2T 为创建可信赖、数据高效的复杂 ITS 导师式创作提供了一条途径，而这些 ITS 通常需要每小时教学时间花费 200-300 小时的编程工作。
叶面积指数决定着作物的健康和生长。传统的计算方法耗时、破坏性强、成本高且局限于一定规模。本研究利用无人机拍摄的葡萄藤图像数据和机器学习模型，自动化了叶面积指数的估算方法。我们采用传统的特征提取和深度学习方法从数据中获取有用信息，并提高了用于叶面积指数预测的不同机器学习模型的性能。结果表明，基于深度学习的特征提取比传统方法更有效。这种新方法是对旧方法的重大改进，它提供了一种更快、无损且经济高效的叶面积指数计算方法，从而提高了精准农业实践水平。
人工智能（AI）技术的进步使得能够开发出大型视觉语言模型（LVLMs），这些模型在数百万对图像和文本样本上进行训练。随后的研究工作证明了LVLMs在医学影像应用案例（例如，放射学报告生成）中实现高性能的巨大潜力，但仍然存在一些障碍阻碍了这些解决方案的广泛部署。这些障碍包括：开发大型模型需要大量的计算资源；需要专业人士才能开发复杂的AI模型；以及难以获取足够大的、高质量的数据集来充分代表LVLM解决方案将要部署的人群。HOPPR医疗级平台通过提供强大的计算基础设施、一套基础模型（开发人员可以在其基础上针对其特定用例进行微调）以及一个强大的质量管理系统来解决这些障碍，该系统为评估在临床环境中部署的微调模型设定了标准。HOPPR平台可以访问来自数百个不同人群的影像中心提供的数百万项影像学研究和文本报告，用于预训练基础模型并为微调启用特定用例的队列。所有数据均已脱敏并安全存储，符合HIPAA合规性要求。此外，开发人员可以在HOPPR平台上安全地托管模型，并通过API访问这些模型，以便在既定的临床工作流程中使用这些模型进行推理。凭借医疗级平台，HOPPR的使命是加快医学影像LVLM解决方案的部署，最终优化放射科医生的工作流程，并满足该领域日益增长的需求。
在信息过载的时代，手动标注海量且不断增长的文献和学术论文变得越来越不切实际。自动关键词提取通过识别文本中的代表性术语来应对这一挑战。然而，大多数现有方法都侧重于短文本（最多 512 个词元），在处理长文本方面存在差距。本文介绍了一种用于从长文本中提取关键词的新框架 LongKey，它使用基于编码器的语言模型来捕捉扩展文本的复杂性。LongKey 使用最大池化嵌入器来增强关键词候选的表示。在全面的 LDKP 数据集和六个不同的未见数据集上的验证结果表明，LongKey 始终优于现有的无监督和基于语言模型的关键词提取方法。我们的研究结果证明了 LongKey 的多功能性和优越性能，标志着关键词提取在不同文本长度和领域方面的进步。
本文探讨了强化学习中延迟奖励这一难题。尽管近端策略优化（PPO）已成为一种领先的策略梯度方法，但在延迟奖励的情况下，其性能可能会下降。我们对PPO进行了两项关键改进：一种混合策略架构，它将离线策略（基于专家演示训练）与在线PPO策略相结合；以及一种使用时间窗口时序逻辑（TWTL）的奖励塑造机制。混合架构在整个训练过程中利用离线数据，同时保持PPO的理论保证。基于信任区域策略优化（TRPO）的单调改进框架，我们证明了我们的方法能够保证优于离线策略和之前的迭代，性能差距以$(2\varsigma\gamma\alpha^2)/(1-\gamma)^2$为界，其中$\alpha$是混合参数，$\gamma$是折扣因子，$\varsigma$是预期优势的上界。此外，我们证明了我们基于TWTL的奖励塑造保留了原始问题的最优策略。TWTL能够将时间目标正式转换为引导学习的即时反馈信号。我们通过在倒立摆和月球着陆器环境中进行的大量实验验证了该方法的有效性，结果表明，与标准PPO和仅离线方法相比，该方法在学习速度和最终性能方面均有所提高。
大型语言模型（LLM）如GPT-3、GPT-4和Bard对计算机科学（CS）教育的影响预计将是深远的。学生现在能够为各种编程作业生成代码解决方案。对于大一新生来说，这可能尤其成问题，因为他们的基础技能仍在发展中，过度依赖生成式AI工具可能会阻碍他们掌握基本的编程概念。本文分析了69名大一本科生在项目作业中解决特定编程问题时使用的提示，而没有事先进行提示训练。我们还介绍了促使这些提示的练习规则，这些规则旨在培养学生在互动过程中的批判性思维能力。尽管使用了简单的提示技术，我们的研究结果表明，大多数学生成功地利用了GPT，并将建议的解决方案整合到他们的项目中。此外，一半的学生展示了在多个GPT生成的解决方案中进行选择的能力，这表明他们在评估AI生成的代码方面批判性思维能力的发展。
大型语言模型 (LLM) 的计算和内存开销过大，限制了其在资源受限设备上的应用，因此近期的研究重点在于降低其开销。尽管压缩技术取得了进展，但Softmax和LayerNorm等非线性算子由于其对量化的敏感性，仍然是瓶颈。我们提出了一种软硬件协同设计方法SoftmAP，该方法利用内存计算 (IMC) 硬件实现了一种仅使用整数的低精度Softmax。与A100和RTX3090 GPU相比，我们的方法在能量延迟积方面实现了高达三个数量级的改进，从而在不影响性能的情况下提高了LLM的部署能力。
在空前规模的美国国防部（DoD）预算背景下，本文考察了近年来国防部资助基于算法的战争研究的历史。我们利用2007年至2023年国防部拨款申请的语料库，重点关注那些面向人工智能（AI）领域研究人员的申请。考虑到国防部资助学术研究的影响，本文分为三个分析部分。首先，我们对基础研究和应用研究的区别进行了批判性考察，揭示了如何将被定义为基础研究的资助申请，也同样将研究人员纳入战争计划中。其次，我们对语料库进行了历时性分析，展示了“一个小问题”的论断——即在军事技术进步的肯定中，承认仍存在未解决的问题——是如何成为额外研究投资的理由的。最后，我们分析了国防部基于国防高级研究计划局（DARPA）关于在战场应用中使用人工智能的部分拨款申请而提出的愿望。总而言之，我们认为，拨款申请成为国防部资助机构和学术人工智能研究界共同制定研究议程的工具。在这种背景下，“基础研究”的说法，通过掩盖将研究人员卷入美国军国主义的联系，为军事应用研究可能引发的重大道德问题提供了掩护。