LLM2D
使用MBR解码从NMT和LLM假设中选择最终翻译:HW-TSC对WMT24通用机器翻译共享任务的提交
Choose the Final Translation from NMT and LLM hypotheses Using MBR Decoding: HW-TSC's Submission to the WMT24 General MT Shared Task
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2409.14800v1

摘要

本文介绍了华为翻译服务中心(HW-TSC)提交给WMT24通用机器翻译(MT)共享任务的情况,我们参与了英汉(en2zh)语言对。与往年工作类似,我们采用了正则化丢弃、双向训练、数据多样化、前向翻译、后向翻译、交替训练、课程学习以及转导集成学习等训练策略,基于深度Transformer-big架构训练神经机器翻译(NMT)模型。不同的是,我们还使用了继续预训练、监督微调以及对比偏好优化来训练基于大语言模型(LLM)的MT模型。通过使用最小贝叶斯风险(MBR)解码从多个假设中选择最终翻译,我们的提交在最终评估中取得了有竞争力的结果。