大型语言模型的最新进展为设备上的应用打开了新体验的大门，这些体验在之前是无法实现的。在这项工作中，我们提出了两个类别中的三种新体验。首先，我们讨论了可以基于屏幕理解来实现的体验，即理解用户屏幕上的内容，具体包括：（1）视觉问答，以及（2）基于先前屏幕的自动表单填写。第二类可以扩展的体验是针对使用代码切换的多语言用户的智能回复。代码切换是指说话者在两种或多种语言之间交替使用。据我们所知，这是第一个提出这些任务及其解决方案的工作，旨在缩短最新研究与设备上应用中研究的实际影响之间的差距。