MIT:“无监督”语言翻译模型

目前,来自谷歌、Facebook、微软和亚马逊等公司的机器翻译系统,是监督式的机器翻译,需要大量的对齐语料。而对相对小众的小语种来说,对齐语料很少,数据的积累十分耗时且难以收集。

为了克服对齐语料稀缺的困难,最近几年出现了一些无监督机器翻译相关的研究,比如仅利用单语语料(即拥有分别拥有两种语言的大量语料,但没有互相之间的对齐和翻译数据),在训练中引入对偶学习(Dual Learning)、联合训练(Joint Training)、对齐嵌入空间等训练技巧,取得了不错的效果,有些论文的结果甚至可以与对齐语料训练出来的模型结果相近。但这些无监督机器翻译的一大缺点就是训练速度过于缓慢。比如对偶学习,如图,特殊的对偶结构,使得两个任务可以互相提供反馈信息,而这些反馈信息可以帮助更好地训练深度学习模型。本模型某一步可能翻译出错,反馈给另一模型之后,另一模型可以用自身的语言模型纠正(修改成符合自身语法的语句),然后经再次翻译之后反馈给本模型。这种学习模式需要大量反复的调整和学习,由此带来训练时间的大幅增加。

麻省理工学院的研究人员开发的这种新颖的“无监督”语言翻译模型,既不像监督式机器翻译任务一样需要对齐语料,同时又克服了无监督机器翻译任务耗时低效的缺点,实现更快捷、更有效的语言翻译,从而使更多的语言翻译可以通过计算机来完成。

本文发表在自然语言处理四大顶级会议之一的 EMNLP 会议上,两位作者 Tommi Jaakkola 和 David Alvarez-Melis 都是来自麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员。

论文链接:https://arxiv.org/pdf/1809.00013.pdf

近年,研究人员一直在尝试研究无监督式的“单语”模型,不需要使用两种语言之间的翻译数据就可以实现语言的直接翻译。

《MIT:“无监督”语言翻译模型》有9个想法

  1. I was wondering if you ever considered changing the layout of your website?
    Its very well written; I love what youve got to say. But maybe you could a little more in the way of content so people could connect
    with it better. Youve got an awful lot of text for only having
    one or 2 pictures. Maybe you could space it out better?

  2. I’m extremely impressed with your writing skills as well as with the layout on your
    weblog. Is this a paid theme or did you modify
    it yourself? Anyway keep up the nice quality writing, it’s rare to see a great blog like this
    one today.

  3. Appreciating the time and energy you put into your website and in depth information you provide.

    It’s awesome to come across a blog every once in a while that isn’t the same
    old rehashed material. Wonderful read! I’ve saved your site and I’m adding your RSS feeds to my Google account.

发表评论

电子邮件地址不会被公开。 必填项已用*标注