LLM2D
ELMO:基于上采样的实时激光雷达运动捕捉增强
ELMO: Enhanced Real-time LiDAR Motion Capture through Upsampling
作者: Deok-Kyeong Jang, Dongseok Yang, Deok-Yun Jang, Byeoli Choi, Donghoon Shin, Sung-hee Lee
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2410.06963v2

摘要

本文介绍了 ELMO,一个为单一 LiDAR 传感器设计的实时上采样动作捕捉框架。ELMO 被建模为基于条件自回归 Transformer 的上采样动作生成器,能够从 20fps 的 LiDAR 点云序列中实现 60fps 的动作捕捉。ELMO 的关键特征是将自注意力机制与精心设计的动作和点云嵌入模块相结合,显著提高动作质量。为了便于准确的动作捕捉,我们开发了一个一次性骨骼校准模型,能够从单帧点云中预测用户骨骼偏移。此外,我们引入了一种新颖的数据增强技术,利用 LiDAR 模拟器增强全局根轨迹跟踪,以改善环境理解。为了证明我们方法的有效性,我们在基于图像和基于点云的动作捕捉中将 ELMO 与最先进的方法进行了比较。我们还进行了消融研究以验证我们的设计原则。ELMO 的快速推理时间使其非常适合实时应用,例如我们的演示视频展示了实时流媒体和互动游戏场景。此外,我们贡献了一个高质量的 LiDAR-mocap 同步数据集,包含 20 个不同主题执行一系列动作,可以作为未来研究的宝贵资源。数据集和评估代码可在 {\blue \url{https://movin3d.github.io/ELMO_SIGASIA2024/}} 获取。