• 简体   /   繁体
深度神经网络动态分层梯度稀疏化及梯度合并优化方法-西安交通大学学报2024年09期

深度神经网络动态分层梯度稀疏化及梯度合并优化方法

作者:巨涛 康贺廷 刘帅 火久元 字体:      

摘要:针对数据并行方法加速大规模深度神经网络时易出现的通信开销大、训练耗时长、资源利用率不高的问题,提出了一种深度神经网络动态分层梯度稀疏化及梯度合并优化方法。首先,将梯度稀疏化压缩与流水线并行技术相(试读)...

西安交通大学学报

2024年第09期