arXiv:2502.09782v1 交叉公告类型 摘要：随着日常设备中麦克风的普及和对在线服务的日益依赖，针对键盘的声学侧信道攻击（ASCAs）的风险也相应增加。本研究探讨了深度学习技术，特别是视觉变换器（VTs）和大型语言模型（LLMs），以增强此类攻击的有效性和适用性。我们在此前研究的基础上取得了显著改进，CoAtNet模型达到了最先进的性能。CoAtNet模型在通过智能手机（Phone）录制的按键记录中提升了5.0%，在通过Zoom录制的按键记录中提升了5.9%，优于之前的基准性能。我们还评估了变压器架构和语言模型，其中表现最佳的VT模型与CoAtNet模型的性能相当。一个关键进展是引入了针对实际应用场景的噪声缓解方法。通过使用LLMs进行上下文理解，我们在嘈杂环境中检测并纠正错误的按键记录，从而提升ASCAs的效果。此外，通过Low-Rank Adaptation（LoRA）微调的轻量级语言模型，其性能与具有67倍更多参数的重型模型相当。这种VTs和LLMs的结合提高了ASCAs缓解的实际适用性，这标志着首次使用这些技术来解决实际场景中的ASCAs和纠错问题。