本篇文章2342字，读完约6分钟
雷锋。搜索“雷锋”。据报道，传统的基于短语的机器学习将输入句子分解成单词和短语，然后独立翻译其中的大部分，而神经机器翻译将整个输入句子作为翻译的基本单位。因此，主要的突破不仅仅是深层神经网络，而是以句子为单位。
最近，当做机器翻译的同志们打开他们的朋友圈时，他们突然发现他们的饭碗不见了。谷歌爸爸努力创造奇迹，机器翻译水平提高了87%。结果，当你阅读原文时，它变成了一个虚假的警报，这只是现有工作的整合，一篇完美的工程论文，并没有提出新的模型。不禁松了口气，呼~饭碗还在。
喔-呼！“谷歌机器翻译取得了颠覆性的突破，错误率下降了87%”这篇文章的真假是什么？
1.谷歌报纸的价值
谷歌本周发布了谷歌的神经机器翻译系统:弥合人工翻译和机器翻译之间的差距，这具有巨大的工程价值。SEQ 2 SEQ+注意力+感知损失优化(SENSION LOSS OPTIMIZATION)的三项技术与现有的几种机器翻译技术相结合，不是原著，而是之前的经典作品。
如果ibm model1是牛顿机器翻译定律，那么seq2seq是爱因斯坦机器翻译相对论，seq2seq是谷歌在机器学习顶级会议nips上的论文。该模型简单美观，为文本生成尤其是机器翻译奠定了良好的模型基础。所有的神经机器翻译都有助于这个模型，本文也是如此。
换句话说，神经机器翻译已经取得了比统计机器翻译更好的结果，但是人们并不知道，并且错误地认为谷歌拯救了科学研究领域，创造了奇迹。实际上，这是近两年来世界上所有机器翻译学者的贡献(例如，清华大学也为机器翻译贡献了句子丢失优化技术)。
那么谷歌报纸的最大价值是什么呢？答案是:超级工程实现。本文中的谷歌stack lst使用8个GPUs实现8层stack lst。在目前大学和普通公司的实施中，nmt只在一张卡上运行，而且一张卡几乎不可能运行8层stacklstm。谷歌利用谷歌大脑向世界展示，当lstm达到一定深度时，机器翻译能做什么。
2.三项核心技术简介(1) seq2seq是一个基于rnn的模型，由编码器和解码器两部分组成。编码器首先使用rnn(rnn是一个描述序列的模型，隐藏状态记录了他所读取的序列的所有信息，带有lstm和gru变量)来矢量表达句子。当seq2seq读完最后一个单词时，他会记录下这个句子的所有信息。
然后进入解码器模块，该模块使用编码器给出的源语言信息，以目标语言逐个生成单词。如果我们用通俗的方式解释这个模型，机器就是一个翻译器，突然有人说出一系列由源语言组成的序列，要求他同时翻译源语言中的句子，这样机器就可以翻译对应于目标语言的句子。
(2)我们都知道同声传译非常困难，所以人类非常聪明，让机器在纸上记录下需要翻译的内容。每当他翻译一个单词时，他都会看需要翻译的完整句子。这就提出了注意力模型。
翻译时，每次翻译一个单词，注意模型使用源语言中的所有单词计算一次，计算结果代表当前单词和源语言中每个单词之间的对应关系。当许多机场被迫关闭时，英国机场与机场有着密切的关系。这就像一个翻译，每次看他记录的句子，然后决定现在翻译哪个单词。
(3)然而，这样的翻译仍然不好，因为它就像跳跃单词而不是翻译一个流畅的句子，所以人类教机器优化句子的丢失。最初，seq2seq优化了当前单词的翻译(也称为ml损失)。这时，它直接优化了我翻译的句子。
3.谷歌神经机器翻译的错误率是如何降低到87%的？
在过去的两年中，神经机器翻译取得了统计机器翻译20年来一直未能取得的成果。在谷歌的原文中，有人给翻译的句子打了6分，神经机器翻译比统计机器翻译好0.5分，这意味着学霸在每6分的考试中可以比渣滓高0.5分，这很好，但远没有标题中的85%可怕。
那87%是怎么计算的呢？例如，在5分中，我得了4.9分，你得了4分，所以我比你高90%，玩数字游戏。如果87%的bleu是机器翻译，这将是一个真正的颠覆。
现在bleu一般都在30以上，可以提高5分，这样你就有可能获得自然语言处理领域顶级会议的最佳acl论文，并且被历史所铭记~但是这5分只提高了10%以上。如果有人能提高80%以上，翻译就真的可以下班了。
4.神经机器翻译的优势我们可以先看看神经机器翻译和语法机器翻译以及统计机器翻译之间的比较
通过两年的努力，我们可以看到神经机器翻译已经超越了其他两种机器翻译。
那么为什么神经机器翻译比统计机器翻译好得多呢？
端到端培训)
神经机器翻译非常优雅，一个模型可以解决机器翻译。然而，统计机器翻译涉及单词对齐、重新排序和重排。
更好的词汇相似度计算
随着word2vec的出现，同义词和同义词在语义空.中得到更好的表达例如，百度和谷歌在语义空上非常接近，而神经机器翻译可以很好地利用word2vec的结果。
更好地利用上下文(只是做得好并不好)
Seq2seq模型在建模环境中比统计机器翻译要优雅得多。它不再受N元语言模型的约束，能够更好地处理语言的语境依赖性。
5.机器翻译有什么问题
作者不是机器翻译从业者，但他知道机器翻译中的几个主要问题。
1.生僻字的翻译效果很差。例如，如果你输入一个人的名字或一个陌生组织的名字，翻译将是一团乱。
2.单词经常被省略或者同一个单词被多次翻译
例如，图片中的发展被反复翻译
3.不要考虑语境，翻译不能“优雅”的习语等
结论
神经机器翻译的未来是可以预期的，但仍有许多不足之处。为了真正颠覆昨天的机器翻译，每一个研究者仍然有必要保持谦虚，每天做好工作。不要为了每天写大新闻而急功近利。
雷锋。本文是雷锋的独家手稿。它拒绝擅自转载。
相关阅读:
就位。如何评价谷歌神经机器翻译系统？
谷歌的汉译英错误率降低了60%。它是如何计算的？
