本篇文章2933字，读完约7分钟
雷锋。作者文海宁，银行算法工程师。
深度学习的神经网络训练方法不仅包括典型的反向传播，还包括deepmind所青睐的正向传播和bam网络背后的双向传播。本文将简要讨论这些训练方法。如果你感兴趣，请留言。
1.典型的bam网络
目前，深度学习非常流行，这可以追溯到源头。深度学习源于神经网络。Bp神经网络是反向误差训练的典型例子。因为反向传播需要计算每个参数的梯度，所以可以使用各种梯度下降方法来更新参数。
然而，与正向传播相比，反向传播能解决大多数问题并引领深度学习的世界吗？
双向传输，最典型的是bam网络。下图显示了它的简单原理。
当一个输入信号加到一层时，另一层可以输出。因为初始模式可以作用于网络的任何一层，信息可以双向传输，所以没有明确的输入层或输出层。其中一层可以称为X层，它有N个神经元节点。另一层称为Y层，有m个神经元节点。两层的状态向量可以是单极性二进制0或1，或者双极性离散值1或-1。如果从x到y的权重矩阵是w，那么从y到x的权重矩阵就是它的转置矩阵。
诚然，双向沟通需要有应用领域，以便更好地发现其用途并促进其自身的发展。然后，场景来了。在it运营和维护等服务领域，双向网络是展示其才能的时候了。在介绍双向网络之前，我们先把它卖掉。让我们来谈谈反向传播训练和正向传播训练。
2.反向传播算法——bp神经网络反向传播算法(简称BP神经网络)是一种监督算法(数据被标记)。它的目标是通过更新网络中的每一个权值，使最终的输出接近于实际情况，从而使整个网络的整体误差最小。输出层的链式规则示意图如下:
它代表输出网络。下图中的偏导数方程显示了通过增量规则，多少变化会影响总误差。代表不同神经元的重量。
黄金不缺，反向传播网络也有缺点。因为它是用于非线性可微函数的权重训练的多层网络。该算法可以使网络权值收敛到一个解，但不能保证误差超平面，因此它可能是一个局部最小解。
3.深度思维倾向于向前交流。什么是前向通信？假设上层的I、j、k、……等节点与该层的W节点相连，如何计算W节点的值？也就是说，通过上层的节点I、j、k和相应的连接权重来执行加权和运算，并且最终结果加上偏移项(为了图中的简单起见而省略)，并且最终传递非线性函数(即，激活函数)，例如sigmoid函数，并且最终结果是该层的节点w的输出。不断重复此操作以获得输出层结果。下图:
2016年，李世石和阿尔法戈之间的围棋大战吸引了全世界的目光。事实上，谷歌的子公司deepmind已经成为人工智能领域的明星。它将其算法应用于医疗保健行业，并创建了一个名为gorila的分布式大规模深度强化学习系统。该系统通过使用谷歌云平台大大提高了培训效率，并开始服务于谷歌的个性化推荐系统。
在深度思维实验室中有许多应用程序前向传播的例子。例如，强化学习(包括熟悉的试错学习项目)、连续控制问题，如机器人操作和运动。还有许多深度强化学习方法与前向传播方法结合使用，可以解决蚂蚁踢足球、下棋等问题。
生活在大数据时代的小朋友们，软件开发已经开花结果，百家争鸣。然而，由于大数据高并发性的压力，基础运维行业越来越需要引入人工智能等更完善的算法，为基础机群提供更好的服务，给客户更好的体验。物联网的发展将软件和硬件联系在一起，在智能iot领域发挥着自己独特的作用。我们暂时不要谈论其他领域。让我们来谈谈双向通信在操作和维护行业中的应用，这很容易上手。
双向神经网络的预测功能是目前的大势所趋。实时报警的实质是当报警信息没有发出时，可以预测相关集群应用的异常，即指示器异常。下图反映了集中监控平台基线报警的一个实例。时间粒度是每10分钟预测一次异常，其中红色是指标A的实际值，蓝色是指标B的实际值..蓝色区间是基线。
这里提到的基线的含义包括上基线和下基线，即一个区间。大多数合作伙伴采用的方法是离线计算，其范围可以通过置信区间来确定。但是这种方法不能给出实时报警。下图显示了利用双向神经网络的能力，10分钟粒度的实时报警。
以一个事务类型的索引为例，用R语言做一个简单的例子，说明双向神经网络是如何工作的。如图7.1-7.4和8.2-8.3所示，总机基线数据缺失，8.9(七夕)总机基线值达到13252.0，属于节假日爆炸数据。
单看某银行手机银行业务的总机交易量数据，如下图所示:
看到如此常规的数据，你渴望尝试吗？想知道原理吗？
下图显示了神经网络最基本的规则:输入层、隐藏层和输出层。当我们得到银行交易量的数据时，我们根据自己的需要对维度进行分析和处理，并分别进行分析和存储。输入的标签尺寸是输入级别，输出级别取决于实际需要的尺寸。隐藏层是技巧。
在单向通信的基础上，双向通信在通过预测前和预测后之前建立一一对应和相互验证的结构。可以更精确地调整隐藏层的数量和隐藏因子的数量。
首先，显示预测值(绿线)和实际值(黑线)之间的比较
第二，稳定波动区间:黑圈是实际值，绿线是上下基线。正常工作日是收集数据的1天，1天的总预测值由10分钟的144个预测值合成。
最后，爆炸波动范围
注:以上所有数字的横轴为时间转换的时间戳，纵轴为交易量数据。
双向神经网络的训练过程非常有趣。首先，我们需要找到一些特定的神经元，然后处理权重。我们称这些神经元为获胜神经元。获胜的神经元存在于输入神经元中。如果输入神经元组成的向量没有归一化，则可以用欧氏距离来度量相似度；如果标准化，可以使用内积方法。调整获胜神经元的权重时，请遵循以下公式:
其中w是权重，α是系数和独立调整变量。
训练次数和调整神经元权重的原则如下:
每次权重更新时，它都会在几何意义上旋转一定的角度。确定输入层，隐藏层将双向传播训练的参数作为输入，然后将结果传递给输出层。
4.双向沟通能带来什么？神经网络模式的学习和训练不再需要同步，而是可以异步进行。独立模式可以根据实际情况优化每个模块的调用时间。这样，当集群承受巨大压力时，它可以动态地加载和分配资源。这是这一成就的最大意义，它将能够建立一个完全不同的神经网络模型，并彻底改变训练模式。
例如，各种银行经纪人密切关注操作和维护的人力问题。如何从一天24小时值班转变为区分机器的生命周期(大致分为在线、部署、生产和离线)，从而集中监控投入生产的机器，是一个非常有利可图的话题。如今，大多数互联网公司都引入了六西格玛管理方法，成本节约取得了显著的效果。双向沟通培训可以进一步提高预测领域的监控作为操作和维护服务。
每个人都可以注意到我们在做波动幅度。输入维度和输出维度决定了整个问题的目标，隐藏层决定了准确性。预计到警告的准确性，有必要首先准确地收集数据。但是这个程度不能很好地衡量。每个人都处于大数据测试阶段。
在优化过程中，我们将继续考虑尺寸因素对精度的影响，减少误报和漏报等报警故障。同时，银行的所有业务系统都是以N 9s的精度进行测量的，全年的报警时间不到十分钟。我们的任务非常艰巨。
双向神经网络值得改进和探索。来加入大数据时代吧，它不同于充满活力和竞争的软件开发，它是一个基础的和富有挑战性的it运营和维护幸福家庭。
雷锋网注:此文为雷锋网独家稿件(搜索“雷锋网”公开号)，拒绝擅自转载。
