Posts

Showing posts from September, 2018

MIT:“无监督”语言翻译模型

目前,来自谷歌、 Facebook 、微软和亚马逊等公司的机器翻译系统,是监督式的机器翻译,需要大量的对齐语料。而对相对小众的小语种来说,对齐语料很少,数据的积累十分耗时且难以收集。 为了克服对齐语料稀缺的困难,最近几年出现了一些无监督机器翻译相关的研究,比如仅利用单语语料(即拥有分别拥有两种语言的大量语料,但没有互相之间的对齐和翻译数据),在训练中引入对偶学习( Dual Learning )、联合训练( Joint Training )、对齐嵌入空间等训练技巧,取得了不错的效果,有些论文的结果甚至可以与对齐语料训练出来的模型结果相近。但这些无监督机器翻译的一大缺点就是训练速度过于缓慢。比如对偶学习,如图,特殊的对偶结构,使得两个任务可以互相提供反馈信息,而这些反馈信息可以帮助更好地训练深度学习模型。本模型某一步可能翻译出错,反馈给另一模型之后,另一模型可以用自身的语言模型纠正(修改成符合自身语法的语句),然后经再次翻译之后反馈给本模型。这种学习模式需要大量反复的调整和学习,由此带来训练时间的大幅增加。 麻省理工学院的研究人员开发的这种新颖的 “ 无监督 ” 语言翻译模型,既不像监督式机器翻译任务一样需要对齐语料,同时又克服了无监督机器翻译任务耗时低效的缺点,实现更快捷、更有效的语言翻译,从而使更多的语言翻译可以通过计算机来完成。 本文发表在自然语言处理四大顶级会议之一的 EMNLP 会议上,两位作者 Tommi Jaakkola 和 David Alvarez-Melis 都是来自麻省理工学院计算机科学与人工智能实验室( CSAIL )的研究人员。 论文链接: https://arxiv.org/pdf/1809.00013.pdf 近年,研究人员一直在尝试研究无监督式的 “ 单语 ” 模型,不需要使用两种语言之间的翻译数据就可以实现语言的直接翻译。