递归神经网络

递归神经网络概述

一、引言

人工神经网络的发展历史己有60多年，是采用物理可实现的系统模仿人脑神经细胞的结构和功能，是在神经生理学和神经解剖学的基础上，利用电子技术、光学技术等模拟生物神经网络的结构和功能原理而发展起来的一门新兴的边缘交叉学科，（下面简称为神经网络，NeuralNetwork）。这些学科相互结合，相互渗透和相互推动。神经网络是当前科学理论研究的主要“热点”之一，它的发展对目前和未来的科学技术的发展将有重要的影响。神经网络的主要特征是：大规模的并行处理、分布式的信息存储、良好的自适应性、自组织性、以及很强的学习能力、联想能力和容错能力。神经网络在处理自然语言理解、图像识别、智能机器人控制等方面具有独到的优势。与冯?诺依曼计算机相比，神经网络更加接近人脑的信息处理模式。

自从20世纪80年代，Hopfield首次提出了利用能量函数的概念来研究一类具有固定权值的神经网络的稳定性并付诸电路实现以来，关于这类具有固定权值

神经网络稳定性的定性研究得到大量的关注。由于神经网络的各种应用取决于神经网络的稳定特性，所以，关于神经网络的各种稳定性的定性研究就具有重要的理论和实际意义。递归神经网络具有较强的优化计算能力，是目前神经计算应用最为广泛的一类神经网络模型。

根据不同的划分标准，神经网络可划分成不同的种类。按连接方式来分主要有两种：前向神经网络和反馈（递归）神经网络。前向网络主要是函数映射，可用于模式识别和函数逼近。递归神经网络因为有反馈的存在，所以它是一个非线性动力系统，可用来实现联想记忆和求解优化等问题。由于神经网络的记亿信息都存储在连接权上，根据连接权的获取方式来划分，一般可分为有监督神经网络、无监督神经网络和固定权值神经网络。有监督学习是在网络训练往往要基于一定数量的训练样木。在学习和训练过程中，网络根据实际输出与期望输出的比较，进行连接权值和阂值的调节。通常称期望输出为教师信号，是评价学习的标准。最典型的有监督学习算法是BP（BackProPagation算法。对于无监督学习，无教师信号提供给网

络，网络能根据其特有的结构和学习规则，进行连接权值和闽值的调整，以表示外部输入的某种固有特征。

与有监督和无监督神经网络相比，固定权值神经网络不需要进行学习，权值是根据要解决的问题事先确定的。具有反馈的固定权值递归神经网络，如目前受到广泛研究的Hopfield网络、细胞神经网络、双向联想记忆网络和Cohe n-Grossberg 网络等，主要用在优化计算、联想记忆和模式识别等方面。

二、递归神经网络的分类

递归神经网络是一种具有固定的权值、外部的输入和内部的状态的神经网络，可将其看作以权值和外部输入为参数的，关于内部状态的行为动力学。

根据基本变量是神经元状态（神经元外部状态）或局部场状态（神经元内部状态），或者从外部状态和内部状态作为建模方法来分，递归神经网络分为：静态场神经网络模型和局部场神经网络模型。这两种模型在递归神经网络中代表两类基本的建模方法。局部场模型包括Hopfield型神经网络（即原始Hopfield神经网络及各种变形的Hopfield神经网络）和细胞神经网络模型等。静态场模型包括盒中脑状态模型和优化型神经网络模型。静态场模型广泛应用于求解线性变分不等式和线性补问题。根据处理信号的不同方式，可将神经网络分为连续型系统和离散型系统。

根据时滞的存在与否，可将神经网络分为无时滞系统和有时滞系统。根据神经网络在硬件实现中（产生的）时滞（或利用延迟元件产生的时滞）的不同，可将神经网络分为定常时滞和时变时滞系统、单时滞和多时滞系统、分布时滞和中立型时滞系统等。

总之，根据不同的划分标准，形成了大量的神经网络模型，这些模型都是从不同侧面来反映生物神经网络的功能和特性。

三、Hopfield神经网络动力行为介绍

Hopfield网络是人们最熟悉的全反馈网络，可以说它在人们的心目中就是递归神经网络的典型代表。实际上，Hopfield网络应当是最简单的全反馈网络，它只有一层网络，其激活函数为阈值函数，将k时刻的网络输出反馈到对应的网络输入端，并直接作为下一个时刻网络的输入，组成动态系统，所以网络具有相同的输入

和输出节点。Hopfield网络已经被广泛地被应用于联想记忆和优化计算中。

1982年，美国加州工学院生物物理学家Hopfield开创性地提出了一种新型的连续时间递归神经网络模型(原始的Hopfield模型)，可用如下常微分方程组来描述：

dx X* n

C i L T ij g j X j J*, i 1,..., n (1)

dt R i j 1

其中，电阻R，和电容C的并联模拟了生物神经输出的时间常数，跨导Tij则模拟神经元之间互连的突触特征，且如果i=j则Tij=0；运算放大器gj Xj模拟神经元的非线性特性，其为连续有界、可微、严格单调增的函数，X i为第j个神经元的输入，i，j=l，…，n。

Hopfleld网络在高强度连接下，依靠协同作用能自发产生计算行为。Hopfield 模型是典型的全互连网络，通过在网络中引入能量函数以构造动力学系统，并使网络的平衡态与能量函数的极小解相对应，从而将求解能量函数极小解的过程转化为网络向平衡态的演化过程。

Hopfield在网络中引入了能量函数的概念，证明了当连接权矩阵T T j nn为对称的情况下，网络在平衡点附近是稳定的，这在神经网络研究领域成为一个重要的里程碑。Hopfield神经网络用它作为联想记忆模型时，禾U用的就是它的非线性反馈动力学特性，并且以其强大功能和易于电路实现等特点，成功地应用到联

想记忆和优化领域

该网络模型用微分方程描述，则称为广义Hopfield模型：

dx. n

L c.x. a.j g j X j I ,i 1,..., n ⑵

dt j .

其中，C diag G，…,5 ,A a.j n n,g x g!为，…，g.人T,I n T。

虽然Hopfield网络在理论及应用上取得了许多的成果，然而随着人们对它的

研究的不断深入，发现Hopfield网络存在着一些不可克服的缺点。最主要的缺点

是它的全连接性导致在网络大规模的情况下，网络运算量大，而且硬件实现有困难。而且，Hopield网络对于每个神经元与其它神经元全连接的要求，与生物神经网络不符。现代神经生理学的研究结果表明：人脑是由大约101个神经元构成的神经系统，而每个神经元仅与约103 一104个其它神经元相互连接。这一结果表明，真实神经网络中神经元之间的连接是相当稀疏的。因此，全连接型的Hopfield网络显然与真实神经网络差异很大。

四、递归神经网络的优化计算和联想记忆

由于具有固定权值的递归神经网络模型易于硬件电路实现，进而易于用来实现优化计算、模式识别和联想记忆等，到目前为止，研究最多的是Hopfield神经网络、cohen-Grossber前申经网络和双向联想记忆模型（BAM神经网络）等。

所谓优化问题是求解满足一定条件下的目标函数的极小值问题。有关优化的传统算法很多，如梯度法、单纯形法等。由于在某些情况下，约束条件过于复杂，

加上变量维数较多等诸多原因，使得采用传统算法进行的优化工作耗时过多，有的甚至达不到预期的优化结果。由于采用了能量函数作为分析工具，比数值算法更易得到理论依据，递归神经网络在优化计算上己表现出巨大的潜力，因此近年来许多研究者都在努力开发用于最优化计算的人工神经网络模型。Hopfield网络是人们最熟悉的全反馈网络，可以说它在人们的心目中就是递归神经网络的典型代表。实际上，Hopfield网络应当是最简单的全反馈网络，它只有一层网络，其激活函数为阈值函数，将k时刻的网络输出反馈到对应的网络输入端，并直接作为下一个时刻网络的输入，组成动态系统，所以网络具有相同的输入和输出节点。Hopfield网络已经被广泛地被应用于联想记忆和优化计算中。

自从1982年Hopfield提出了具有联想和优化计算功能的神经网络以来，关于

原始Hopfield神经网络及Hopfield型神经网络的动态特性分析就没有间断过。其实现联想记忆和优化功能表现为如下：

对于由模型构成的动力系统，从数学观点看，它是由许多子系统组成的一个大系统。众所周知，一个动力系统的最终行为是由它的吸引子决定的。吸引子可以是稳定的，也可以是不稳定的。吸引子可以是平衡点、极限环或混沌吸引子。

自联想记忆的过程是：如果将动力系统的一个吸引子视为一个记忆，那么从初态朝该吸引子流动的过程就是从部分信息找出全部信息的过程。因此，Hopfield 神经网络模型就可以用于联想记忆。当用于联想记忆时，能量函数是给定的，网络的运行过程是通过确定合适的权值以满足最小能量函数的要求。

Hopfield神经网络实现优化计算的过程是：如果将动力系统的稳定吸引子考虑为适当的能量函数的极小点，从一个初始点找到函数相应的极小点就是优化计算。这个动力系统的初始条件，随着系统演化达到某一极小点。如果相应的能量函数是某一径向无界的正定函数，则系统最终会达到所期望的最小点，而计算也就在系统的演化过程中完成了。当用于优化计算时，网络的连接权值是确定的，首先将目标函数与能量函数相对应，然后通过网络的运行使能量函数不断下降并最终达到最小，从而得到问题对应的极小解。

神经网络求解优化问题的实质是将优化问题的最优解转化为神经动态系统的平衡状态，任给系统一个初始状态，让系统演化到稳定状态就得到问题的解。因而，如何将优化问题的解与神经动态系统的平衡状态-------- 对应起来是神经网络

求解优化问题的关键。对于复杂的优化问题，目前绝大多数优化神经网络本质上都是基于梯度法，因而往往容易陷入局部极小点。如何把求优化问题全局最优解的思想和方法引进神经网络，建立全局优化的神经网络模型，是一个值得研究的重要课题。

递归神经网络

递归神经网络概述 一、引言 人工神经网络的发展历史己有60多年，是采用物理可实现的系统模仿人脑神经细胞的结构和功能，是在神经生理学和神经解剖学的基础上，利用电子技术、光学技术等模拟生物神经网络的结构和功能原理而发展起来的一门新兴的边缘交叉学科，(下面简称为神经网络，NeuralNetwork)。这些学科相互结合，相互渗透和相互推动。神经网络是当前科学理论研究的主要“热点”之一，它的发展对目前和未来的科学技术的发展将有重要的影响。神经网络的主要特征是：大规模的并行处理、分布式的信息存储、良好的自适应性、自组织性、以及很强的学习能力、联想能力和容错能力。神经网络在处理自然语言理解、图像识别、智能机器人控制等方面具有独到的优势。与冯·诺依曼计算机相比，神经网络更加接近人脑的信息处理模式。 自从20世纪80年代，Hopfield首次提出了利用能量函数的概念来研究一类具有固定权值的神经网络的稳定性并付诸电路实现以来，关于这类具有固定权值神经网络稳定性的定性研究得到大量的关注。由于神经网络的各种应用取决于神经网络的稳定特性，所以，关于神经网络的各种稳定性的定性研究就具有重要的理论和实际意义。递归神经网络具有较强的优化计算能力，是目前神经计算应用最为广泛的一类神经网络模型。 根据不同的划分标准，神经网络可划分成不同的种类。按连接方式来分主要有两种：前向神经网络和反馈(递归)神经网络。前向网络主要是函数映射，可用于模式识别和函数逼近。递归神经网络因为有反馈的存在，所以它是一个非线性动力系统，可用来实现联想记忆和求解优化等问题。由于神经网络的记亿信息都存储在连接权上，根据连接权的获取方式来划分，一般可分为有监督神经网络、无监督神经网络和固定权值神经网络。有监督学习是在网络训练往往要基于一定数量的训练样木。在学习和训练过程中，网络根据实际输出与期望输出的比较，进行连接权值和阂值的调节。通常称期望输出为教师信号，是评价学习的标准。最典型的有监督学习算法是BP(BackProPagation)算法。对于无监督学习，无教师

一种递归神经网络在FPGA平台上的实现方案详解

一种递归神经网络在FPGA平台上的实现方案详解 近十年来，人工智能又到了一个快速发展的阶段。深度学习在其发展中起到了中流砥柱的作用，尽管拥有强大的模拟预测能力，深度学习还面临着超大计算量的问题。在硬件层面上，GPU，ASIC，FPGA都是解决庞大计算量的方案。本文将阐释深度学习和FPGA各自的结构特点以及为什么用FPGA加速深度学习是有效的，并且将介绍一种递归神经网络（RNN）在FPGA平台上的实现方案。 揭开深度学习的面纱深度学习是机器学习的一个领域，都属于人工智能的范畴。深度学习主要研究的是人工神经网络的算法、理论、应用。自从2006年Hinton等人提出来之后，深度学习高速发展，在自然语言处理、图像处理、语音处理等领域都取得了非凡的成就，受到了巨大的关注。在互联网概念被人们普遍关注的时代，深度学习给人工智能带来的影响是巨大的，人们会为它隐含的巨大潜能以及广泛的应用价值感到不可思议。 事实上，人工智能是上世纪就提出来的概念。1957年，Rosenblatt提出了感知机模型（Perception），即两层的线性网络；1986年，Rumelhart等人提出了后向传播算法（Back PropagaTIon），用于三层的神经网络的训练，使得训练优化参数庞大的神经网络成为可能；1995年，Vapnik等人发明了支持向量机（Support Vector Machines），在分类问题中展现了其强大的能力。以上都是人工智能历史上比较有代表性的事件，然而受限于当时计算能力，AI总是在一段高光之后便要陷入灰暗时光——称为：“AI寒冬”。 然而，随着计算机硬件能力和存储能力的提升，加上庞大的数据集，现在正是人AI发展的最好时机。自Hinton提出DBN（深度置信网络）以来，人工智能就在不断的高速发展。在图像处理领域，CNN（卷积神经网络）发挥了不可替代的作用，在语音识别领域，RNN （递归神经网络）也表现的可圈可点。而科技巨头也在加紧自己的脚步，谷歌的领军人物是Hinton，其重头戏是Google brain，并且在去年还收购了利用AI在游戏中击败人类的DeepMind；Facebook的领军人物是Yann LeCun，另外还组建了Facebook的AI实验室，Deepface在人脸识别的准确率更达到了惊人的97.35%；而国内的巨头当属百度，在挖来了斯坦福大学教授Andrew Ng（Coursera的联合创始人）并成立了百度大脑项目之后，百

零基础入门深度学习(5) - 循环神经网络

[关闭] 零基础入门深度学习(5) - 循环神经网络 机器学习深度学习入门 无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有很多公式你也许看不懂，但同时也会有更多的代码，程序员的你一定能看懂的（我周围是一群狂热的Clean Code程序员，所以我写的代码也不会很差）。 文章列表 零基础入门深度学习(1) - 感知器 零基础入门深度学习(2) - 线性单元和梯度下降 零基础入门深度学习(3) - 神经网络和反向传播算法 零基础入门深度学习(4) - 卷积神经网络 零基础入门深度学习(5) - 循环神经网络 零基础入门深度学习(6) - 长短时记忆网络(LSTM) 零基础入门深度学习(7) - 递归神经网络 往期回顾 在前面的文章系列文章中，我们介绍了全连接神经网络和卷积神经网络，以及它们的训练和使用。他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列；当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。这时，就需要用到深度学习领域中另一类非常重要神经网络：循环神经网络(Recurrent Neural Network)。RNN种类很多，也比较绕脑子。不过读者不用担心，本文将一如既往的对复杂的东西剥茧抽丝，帮助您理解RNNs以及它的训练算法，并动手实现一个循环神经网络。 语言模型 RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。那么，什么是语言模型呢？ 我们可以和电脑玩一个游戏，我们写出一个句子前面的一些词，然后，让电脑帮我们写下接下来的一个词。比如下面这句：我昨天上学迟到了，老师批评了____。 我们给电脑展示了这句话前面这些词，然后，让电脑写下接下来的一个词。在这个例子中，接下来的这个词最有可能是『我』，而不太可能是『小明』，甚至是『吃饭』。 语言模型就是这样的东西：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。 语言模型是对一种语言的特征进行建模，它有很多很多用处。比如在语音转文本(STT)的应用中，声学模型输出的结果，往往是若干个可能的候选词，这时候就需要语言模型来从这些候选词中选择一个最可能的。当然，它同样也可以用在图像到文本的识别中(OCR)。 使用RNN之前，语言模型主要是采用N-Gram。N可以是一个自然数，比如2或者3。它的含义是，假设一个词出现的概率只与前面N个词相关。我

循环神经网络(RNN, Recurrent Neural Networks)介绍

循环神经网络(RNN, Recurrent Neural Networks)介绍 标签：递归神经网络RNN神经网络LSTMCW-RNN 2015-09-23 13:24 25873人阅读评论(13) 收藏举报分类： 数据挖掘与机器学习（23） 版权声明：未经许可, 不能转载 目录(?)[+]循环神经网络(RNN, Recurrent Neural Networks)介绍 这篇文章很多内容是参考： https://www.wendangku.net/doc/2811637893.html,/2015/09/recurrent-neural-networks-tutorial-part-1-introd uction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。 循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍： 1. RNNs的基本介绍以及一些常见的RNNs(本文内容)； 2. 详细介绍RNNs中一些经常使用的训练算法，如Back Propagation Through Time(BPTT)、Real-time Recurrent Learning(RTRL)、Extended Kalman Filter(EKF)等学习算法，以及梯度消失问题(vanishing gradient problem) 3. 详细介绍Long Short-Term Memory(LSTM，长短时记忆网络)；

一种递归模糊神经网络自适应控制方法

一种递归模糊神经网络自适应控制方法 毛六平,王耀南,孙　炜,戴瑜兴 (湖南大学电气与信息工程学院,湖南长沙410082) 摘　要:　构造了一种递归模糊神经网络(RFNN ),该RFNN 利用递归神经网络实现模糊推理,并通过在网络的第 一层添加了反馈连接,使网络具有了动态信息处理能力.基于所设计的RFNN ,提出了一种自适应控制方案,在该控制方案中,采用了两个RFNN 分别用于对被控对象进行辨识和控制.将所提出的自适应控制方案应用于交流伺服系统,并给出了仿真实验结果,验证了所提方法的有效性. 关键词:　递归模糊神经网络;自适应控制;交流伺服中图分类号:　TP183 文献标识码:　A 文章编号:　037222112(2006)1222285203 An Adaptive Control Using Recurrent Fuzzy Neural Network M AO Liu 2ping ,W ANG Y ao 2nan ,S UN Wei ,DAI Y u 2xin (College o f Electrical and Information Engineering ,Hunan University ,Changsha ,Hunan 410082,China ) Abstract :　A kind of recurrent fuzzy neural network (RFNN )is constructed ,in which ,recurrent neural network is used to re 2alize fuzzy inference temporal relations are embedded in the network by adding feedback connections on the first layer of the network.On the basis of the proposed RFNN ,an adaptive control scheme is proposed ,in which ,two proposed RFNNs are used to i 2dentify and control plant respectively.Simulation experiments are made by applying proposed adaptive control scheme on AC servo control problem to confirm its effectiveness. K ey words :　recurrent fuzzy neural network ;adaptive control ;AC servo 1　引言 近年来,人们开始越来越多地将神经网络用于辨识和控 制动态系统[1～3].神经网络在信号的传播方向上,可以分为前馈神经网络和递归神经网络.前馈神经网络能够以任意精度逼近任意的连续函数,但是前馈神经网络是一个静态的映射,它不能反映动态的映射.尽管这个问题可以通过增加延时环节来解决,但是那样会使前馈神经网络增加大量的神经元来代表时域的动态响应.而且,由于前馈神经网络的权值修正与网络的内部信息无关,使得网络对函数的逼近效果过分依赖于训练数据的好坏.而另一方面,递归神经网络[4～7]能够很好地反映动态映射关系,并且能够存储网络的内部信息用于训练网络的权值.递归神经网络有一个内部的反馈环,它能够捕获系统的动态响应而不必在外部添加延时反馈环节.由于递归神经网络能够反映动态映射关系,它在处理参数漂移、强干扰、非线性、不确定性等问题时表现出了优异的性能.然而递归神经网络也有它的缺陷,和前馈神经网络一样,它的知识表达能力也很差,并且缺乏有效的构造方法来选择网络结构和确定神经元的参数. 递归模糊神经网络(RFNN )[8,9]是一种改进的递归神经网络,它利用递归网络来实现模糊推理,从而同时具有递归神经网络和模糊逻辑的优点.它不仅可以很好地反映动态映射关系,还具有定性知识表达的能力,可以用人类专家的语言控制规则来训练网络,并且使网络的内部知识具有明确的物理意 义,从而可以很容易地确定网络的结构和神经元的参数. 本文构造了一种RFNN ,在所设计的网络中,通过在网络的第一层加入反馈连接来存储暂态信息.基于该RFNN ,本文还提出了一种自适应控制方法,在该控制方法中,两个RFNN 被分别用于对被控对象进行辨识和控制.为了验证所提方法的有效性,本文将所提控制方法用于交流伺服系统的控制,并给出了仿真实验结果. 2　RFNN 的结构 所提RFNN 的结构如图1所示,网络包含n 个输入节点,对每个输入定义了m 个语言词集节点,另外有l 条控制规则 节点和p 个输出节点.用u (k )i 、O (k ) i 分别代表第k 层的第i 个节点的输入和输出,则网络内部的信号传递过程和各层之间的输入输出关系可以描述如下: 第一层:这一层的节点将输入变量引入网络.与以往国内外的研究不同,本文将反馈连接加入这一层中.第一层的输入输出关系可以描述为:O (1)i (k )=u (1)i (k )=x (1)i (k )+w (1)i (k )?O (1)i (k -1), i =1,…,n (1) 之所以将反馈连接加入这一层,是因为在以往的模糊神经网络控制器中,控制器往往是根据系统的误差及其对时间的导数来决定控制的行为,在第一层中加入暂态反馈环,则只需要以系统的误差作为网络的输入就可以反映这种关系,这样做不仅可以简化网络的结构,而且具有明显的物理意义,使 收稿日期:2005207201;修回日期:2006206218 基金项目:国家自然科学基金项目(N o.60075008);湖南省自然科学基金(N o.06JJ50121) 　 第12期2006年12月 电 子 学 报 ACT A E LECTRONICA SINICA V ol.34　N o.12 Dec.　2006

基于机器人的递归神经网络运动规划

基于机器人的递归神经网络运动规划 文章研究机器手臂的重复运动规划问题，在考虑关节角度极限和关节速度极限的情况下，将此模型转化为一个含不等式约束的二次规划问题，并利用简化对偶神经网络来求解该问题，从而实现机器手臂的关节重复运动。 标签：冗余机械臂；重复运动规划；二次规划；对偶神经网络 4 数值仿真 本节以平面六连杆冗余机械臂末端执行器作来回直线运动为例进行计算机仿真验证。直线长度为1m，观察其关节轨迹能否重合。末端执行器的运动周期为8s，关节变量的初始状态为：？兹（0）=（0，-？仔/4，0，？仔/2，0，-？仔/4）T弧度。仿真结果如图1所示，从图1也可以看出，在经过8s周期运动之后，平面六连杆机器手臂的各自关节状态都回到初始状态；仿真结果达到预期的目的，且其最大位置误差不大于1.79×10-6。可见，利用所提出的规划解析方案对带关节物理约束的机械臂进行重复运动规划是可行、有效的。 5 结束语 针对平面冗余机械臂重复运动规划问题，文章首先将机械臂重复运动问题转化为一个二次型规划问题，该二次规划方案可避开传统的伪逆解析方案难以求逆的问题，然后利用一种简单对偶神经网络来求解该含不等式约束的二次规划问题，该实现算法具有并行 性、快速实时处理能力和电路实现性。 6 致谢 感谢中山大学张雨浓教授提供相关源程序。 参考文献 [1]Malysz P，Sirouspour S.A kinematic control framework for single-slave asymmetric teleoperation systems. IEEE Transactions on Robotics，2011，27（5）：901-917. [2]张智军，张雨浓.重复运动速度层和加速度层方案的等效性[J].自动化学报，2013，39（1）：88-91. [3]Zhang Y N，Xie L，Zhang Z J，Li K N，Xiao L.Real-time joystick control and experiments of redundant manipulators using cosine-based velocity mapping. Proceedings of the 2011 IEEE International Conference on Automation and Logistics.

零基础入门深度学习(7) - 递归神经网络

[关闭] 零基础入门深度学习(7) - 递归神经网络 机器学习深度学习入门 无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有很多公式你也许看不懂，但同时也会有更多的代码，程序员的你一定能看懂的（我周围是一群狂热的Clean Code程序员，所以我写的代码也不会很差）。 文章列表 零基础入门深度学习(1) - 感知器 零基础入门深度学习(2) - 线性单元和梯度下降 零基础入门深度学习(3) - 神经网络和反向传播算法 零基础入门深度学习(4) - 卷积神经网络 零基础入门深度学习(5) - 循环神经网络 零基础入门深度学习(6) - 长短时记忆网络(LSTM) 零基础入门深度学习(7) - 递归神经网络 往期回顾 在前面的文章中，我们介绍了循环神经网络，它可以用来处理包含序列结构的信息。然而，除此之外，信息往往还存在着诸如树结构、图结构等更复杂的结构。对于这种复杂的结构，循环神经网络就无能为力了。本文介绍一种更为强大、复杂的神经网络：递归神经网络(Recursive Neural Network, RNN)，以及它的训练算法BPTS (Back Propagation Through Structure)。顾名思义，递归神经网络（巧合的是，它的缩写和循环神经网络一样，也是RNN）可以处理诸如树、图这样的递归结构。在文章的最后，我们将实现一个递归神经网络，并介绍它的几个应用场景。 递归神经网络是啥 因为神经网络的输入层单元个数是固定的，因此必须用循环或者递归的方式来处理长度可变的输入。循环神经网络实现了前者，通过将长度不定的输入分割为等长度的小块，然后再依次的输入到网络中，从而实现了神经网络对变长输入的处理。一个典型的例子是，当我们处理一句话的时候，我们可以把一句话看作是词组成的序列，然后，每次向循环神经网络输入一个词，如此循环直至整句话输入完毕，循环神经网络将产生对应的输出。如此，我们就能处理任意长度的句子了。入下图所示： 然而，有时候把句子看做是词的序列是不够的，比如下面这句话『两个外语学院的学生』：