MIT：“无监督”语言翻译模型

目前，来自谷歌、Facebook、微软和亚马逊等公司的机器翻译系统，是监督式的机器翻译，需要大量的对齐语料。而对相对小众的小语种来说，对齐语料很少，数据的积累十分耗时且难以收集。

为了克服对齐语料稀缺的困难，最近几年出现了一些无监督机器翻译相关的研究，比如仅利用单语语料（即拥有分别拥有两种语言的大量语料，但没有互相之间的对齐和翻译数据），在训练中引入对偶学习（Dual Learning）、联合训练（Joint Training）、对齐嵌入空间等训练技巧，取得了不错的效果，有些论文的结果甚至可以与对齐语料训练出来的模型结果相近。但这些无监督机器翻译的一大缺点就是训练速度过于缓慢。比如对偶学习，如图，特殊的对偶结构，使得两个任务可以互相提供反馈信息，而这些反馈信息可以帮助更好地训练深度学习模型。本模型某一步可能翻译出错，反馈给另一模型之后，另一模型可以用自身的语言模型纠正（修改成符合自身语法的语句），然后经再次翻译之后反馈给本模型。这种学习模式需要大量反复的调整和学习，由此带来训练时间的大幅增加。

麻省理工学院的研究人员开发的这种新颖的“无监督”语言翻译模型，既不像监督式机器翻译任务一样需要对齐语料，同时又克服了无监督机器翻译任务耗时低效的缺点，实现更快捷、更有效的语言翻译，从而使更多的语言翻译可以通过计算机来完成。

本文发表在自然语言处理四大顶级会议之一的 EMNLP 会议上，两位作者 Tommi Jaakkola 和 David Alvarez-Melis 都是来自麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员。

论文链接：https://arxiv.org/pdf/1809.00013.pdf

近年，研究人员一直在尝试研究无监督式的“单语”模型，不需要使用两种语言之间的翻译数据就可以实现语言的直接翻译。