摘要
我们提出了一种基于神经网络的仿真超分辨率框架,该框架能够高效且逼真地将由低成本、实时物理仿真生成的面部表现提升到接近参考质量离线仿真的细节水平,后者具有更高的分辨率(在我们的例子中,元素数量增加了26倍)和精确的物理建模。我们的方法基于我们通过仿真构建训练集的能力,该训练集包含来自低分辨率和高分辨率仿真器的配对帧,这些帧在语义上相互对应。我们以面部动画作为此类仿真领域的示例,通过在两个仿真器中设置相同的肌肉驱动控制和骨骼姿态来实现这种语义一致性。我们提出的神经网络超分辨率框架从该训练集中推广到未见过的表情,补偿由于实时仿真中的有限分辨率或成本削减近似导致的两个仿真之间的建模差异,并且除了实时仿真的结果外,不需要提供任何语义描述符或参数作为输入。我们评估了我们的流程在各种表现力强的表演中的有效性,并提供了对我们提出的方案的合理变体和替代方案的比较和消融实验。