arXiv:2502.09782v3 宣告类型: replace-cross 摘要：随着日常设备中麦克风的普及和对在线服务的依赖增加，键盘遭受到声学侧信道攻击（ASCAs）的风险也逐渐增大。本研究探索了深度学习技术，尤其是视觉变换器（VTs）和大型语言模型（LLMs），以提高这些攻击的有效性和适用性。我们在此前研究的基础上取得了显著改进，CoAtNet模型实现了最先进的性能。与之前的基准相比，CoAtNet模型在通过智能手机（Phone）记录的按键记录上提升了5.0%，在通过Zoom记录的按键记录上提升了5.9%。我们还评估了变压器架构和语言模型，最好的VT模型与CoAtNet的性能相当。一个重要的进展是引入了一种用于现实场景的降噪方法。通过使用LLMs进行上下文理解，我们能够检测并纠正嘈杂环境中错误的按键记录，从而提高ASCAs的性能。此外，通过Low-Rank Adaptation（低秩适应）微调的轻量级语言模型实现了与具有67倍更多参数的大型模型相当的性能。这一VT和LLM的结合提高了ASCAs缓解的实际适用性，标志着首次将这些技术用于现实场景中的ASCAs和错误纠正。