本篇文章2768字，读完约7分钟
雷锋。搜索“雷锋”。com" public number to讲究)出版社:本文作者nlp Sun Moon Star，北京航空航天大学Astronautics/きだよ 0系博士生，他的研究兴趣是自然语言处理和深度学习。
深度学习已经在许多工业产品中得到应用。例如，jeff dean(谷歌大脑负责人)在去年的wsdm会议上指出，谷歌搜索相关性计算模块中深度学习的三个特征是最重要的。
此外，深度学习算法已经广泛应用于谷歌和百度的机器翻译系统中，提高了机器翻译的质量。本文将介绍深度学习的另一个应用，自动邮件回复。
自动回复手机邮件系统的故障能否应用于工业一直是人们争论不休的问题。很多人认为对话系统中使用的自动回复技术只是一个玩物，不能解决用户的需求。另一方面，谷歌去年11月将自动回复技术应用于收件箱。
收件箱是谷歌手机上的电子邮件客户端，类似于手机上的outlook。收件箱采用深度学习技术，为一些简单的语义邮件增加了自动回复功能，旨在解决用户“屏幕小，手机邮件回复不方便”的痛点。它主要解决以下问题:
如何选择回复邮件:现在，有很多商务人士发来的邮件，很多都不长。根据谷歌的统计，25%的电子邮件不到20个单词。因此，这些简短的、语义上可理解的邮件是否可以通过分类进行筛选并移交给邮件生成系统是一个有趣的分类问题。
答复是否可以分类:可以列举许多答复。例如，当你问是否可以在下午3: 00参加某个会议时，答案无非是“可以”、“我不能参加某个会议”和“我正在考虑。”因此，如何通过算法对这三类回复进行聚类是一个具有实际意义的聚类问题。
如何为每个类别选择最合适的邮件:对于每个类别，如何通过自动回复算法生成特定的回复是自然语言处理中的一个回复生成问题。
系统结构
谷歌在今年的kdd会议上发布了智能回复文件。让我们先来看看智能回复的体系结构
从图中可以看出，系统分为四个部分，即回复邮件的过滤、回复邮件的聚类、回复邮件的选择和多样化回复的生成，这将在后面介绍。
触发响应模块的功能
在谷歌的邮件回复系统中，并不是每封邮件都会给出自动回复的建议。因为一些电子邮件的意思简单明了，机器可以很快理解它们，并给一些候选人回复。
我们今晚7点开会讨论项目修改计划。
该邮件机可以通过以下步骤快速理解并给出相应的候选方案。然而，仍然有一些邮件结构复杂，机器不能很好地理解其含义。
例如，我已经读完了你的论文，你的论文中公式2的推导有错误。我认为倒数应该用链式法则来解决。
总之，在回复邮件之前，需要一个模块来确定机器是否能够理解邮件的语义，以避免在邮件不被理解的时候给邮件回复候选人，这让用户感到困扰。
模块实现方法
归根结底，回复邮件的过滤机制是一个分类问题，即给定训练集d = {x，y}，x代表文档的特征集，y代表文档的标签，学习函数f(x)使y和f(x)之间的误差最小。在这个任务中，谷歌选择了多层感知器作为分类器，如下图所示
在这一分类任务中，本文利用单幅图和二元图提取特征，并加入同一个类的特征，得到mlp的输入。
这种mlp模型有三个隐藏层，每一层的激活函数使用relu，并使用脱落来防止过度拟合。最后，该分类模型的auc为0.854。对于本模块，作者的观点如下:
Mlp模型被认为是最简单的文本分类模型之一，但是简单的模型在这个任务中仍然可以取得很好的结果，这与其他一些论文的结论是一致的(例如，facebook的fasttext可以通过使用简单的结构在复杂结构的分类任务和网络中取得类似的结果)。大多数现实的分类任务都很简单，许多简单的模型可以达到很好的效果。刻意追求模型的复杂性，简单的任务往往弊大于利。
人工智能+人类智能仍然是当今人工智能产品不可或缺的一部分。即使分类器的性能达到85%，在工业系统中仍然会有15%的误差。因此，smartreply系统允许用户选择他们生成的回复，而不是直接帮助用户回复或写电子邮件。
回复生成、聚类和多样性选择算法模块的功能
该模块是应用的核心，其功能如图所示。当用户收到电子邮件时，收件箱将自动生成三个回复供选择(三个回复位于屏幕底部)。例如，对第一封电子邮件的三个回复是:
1.算上我们！
2.我们会去的
3.抱歉，我们不能来了
这会加速用户在手机上输入不方便和回复邮件速度慢的体验。
模块实现方法
在本文中，核心是回复和聚类的生成。与面向开放领域的聊天机器人不同，电子邮件回复需要进行聚类，然后从每个类别中选择一个有代表性的句子。
回复聚类的算法如下:
G={v，e}被构造，其中v是图中的点，e是图的边。v由信函、回复和回复组成。
首先，以N封邮件为顶点，构造一个顶点集vr。手动为每个类别选择种子电子邮件(例如，谢谢，谢谢是感谢类的电子邮件)，并将这些电子邮件vl放在图g中..此时，由于人工干预，我们知道有{r1，r2...rn}特定类别ci中的答复。
通过提取词汇特征，构造了表示G中特征的顶点集vf，如果邮件具有该特征，则邮件与该顶点相连。
然后，采用半监督聚类方法对邮件进行聚类，每一轮都发现新的类别，最终得到376个类别。类别如(可以，谢谢，我知道了，等等。(
回复选择部分没有什么创新，这是一个基于lstm模型的排序问题。候选集由最常见的回复邮件组成。值得注意的是，本文使用的lstm在对双lstm发送的邮件和回复邮件分别进行编码后，并不计算相似度。这是一个类似于lstm的生成模型，它计算回复中的每个单词在发送电子邮件o时生成的概率p(wi|o)
在实际应用中，我们可以根据不同的场景选择基于深度学习的回复算法。我们可以看到，这一部分被选为答复。由于候选人的回复都是高频率的回复邮件，回复会很有营养，主要基于简单的英语表达(当然，不，谢谢)等。如何正确回复邮件和邮件内容，避免重复回复，让回复者感到不尊重，也是一个值得研究的课题。
在多样性选择方面，根据文章的描述进行了两个后处理。
第一个后处理是重复回复删除，具体操作方法非常简单。首先，根据上述邮件分类系统以降序对所有候选邮件进行分类，然后将其添加到由系统从顶部1输出的输出集中。
之后，当每个候选回复邮件r被添加到输出时，检测到r是否属于与输出中的任何邮件相同的类别，如果不是，则可以将其添加到输出中。当输出达到3个回复时停止迭代。
第二个后处理是强制回复拒绝倾向。如果输出集中没有具有拒绝倾向的回复，并且在top2中有具有同意倾向的回复，则第三个回复将被自动替换为拒绝倾向。这样，我们可以给出更多样的回应，让用户有更广泛的选择。
结论smartreply是Google将回复选择技术应用于手机邮件系统的一次尝试，希望能解决手机打字不方便的问题。本文描述了一个系统，为我们实现邮件回复系统指明了方向。
