arXiv:2407.14561v4 公告类型: 替换-交叉混排 摘要: 我们介绍了 NNsight 和 NDIF 技术,这些技术共同工作以使科学界能够研究非常大的神经网络学到的表示和计算。NNsight 是一个开源系统,扩展了 PyTorch 以引入延迟远程执行。National Deep Inference Fabric (NDIF) 是一个可扩展的推理服务,执行 NNsight 请求,允许用户共享 GPU 资源和预训练模型。这些技术是基于 Intervention Graph 架构实现的,该架构开发用于解耦实验设计与模型运行时。结合在一起,这个框架提供了一种透明而高效的访问深度神经网络内部的方法,如大型语言模型 (LLMs),而无需单独托管定制模型的高昂成本和复杂性。我们定量调查了机器学习文献,揭示了对大规模 AI 内部研究的差距正在不断扩大。我们通过展示我们的框架的设计和使用来弥合这一差距,该框架能够对大规模模型采用一系列研究方法。最后,我们进行了基准测试,以与之前的方案进行性能比较。 代码、文档和教程可在 https://nnsight.net/ 获取。