深度学习模型的数据并行训练算法研究

龙源期刊网 https://www.wendangku.net/doc/b73607536.html,

深度学习模型的数据并行训练算法研究

作者：何婕

来源：《商情》2017年第12期

（重庆工商职业学院）

【摘要】针对并行训练算法面临的诸多问题上，提出了一种并行分布式训练模型。该模

型采用主-从机结构，通过数据片split迭代得到数据块block，然后聚合所有从机优化得到的模型。实验表明，该模型在牺牲部分模型性能的情况下，实现了训练的线性加速

【关键字】深度学习数据并行训练框架

1 引言

深度学习是现代信息处理的一种智能算法，通过多层人工神经网络拟合训练样本数据，解决了传统神经网络算法在训练多层神经网络时出现的局部最优问题，基于深度学习对于图像、文本、语音等识别算法能够较快的提取对象特征值，且时效性较好，得到越来越深入的研究。

2 深度学习模型

近年来，深度学习模型最引人注目的是谷歌公司开发的DistBelief训练框架，该框架在数以千计的计算节点上训练不同类型的深度学习模型，这种算法属于异步SGD算法。根据谷歌公布的结果显示，随着用于并行训练机器的增多，异步SGD训练得到的模型性能会出现显著下降。对其算法进行可扩展化训练的思路，一是可以采用基于模型平均的算法，还有一种是基于状态聚类的多DNN训练算法，它将深度学习训练任务分解成多个子任务，每个子任务独立进行各自模型的训练，因而可以并行处理，在系统性能略有下降的情况下，实现了DNN的加速训练。

3 数据并行的分布式训练算法

针对现有并行训练算法面临的诸多问题（可扩展性差、实现困难、并行效率低），我们通过多方面的尝试，在数据并行的増量块式训练（Incremental Block Training，IBT）框架下，提出了一种新的分布式训练算法。该算法的主要思想是：把无约束的深度学习模型训练问题转化成全局一致性优化问题进行分布式求解。当并行运算机器増多时，训练呈线性加速的同时，相对于单机训练得到的模型，并行训练得到的模型性能不再下降，在一些情况下甚至优于单机模型。

3.1 并行增量块训练框架