西安电子科技大学学报

2020, v.47(03) 58-65

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

Sigmoid函数的低复杂度概率分段线性拟合法
Low complexity probability-based piecewise linear approximation of the sigmoid function

NGUYEN Van-Truong;蔡觉平;魏琳育;褚洁;

摘要(Abstract):

针对传统的Sigmoid激活函数拟合方法准确度不高、消耗大量资源等问题,提出了一种基于各层神经元值分布概率的Sigmoid函数分段线性拟合方法,以便在仅使用加法电路的情况下,提高神经网络的识别精度。首先以Sigmoid函数的二阶导数为基础,将Sigmoid函数划分为3个固定区域;其次根据每层神经元值的概率变化,将每个固定区域的曲线再划分成不同数量、长度的子区域,以减少近似误差,提高识别精度。分段线性函数斜率设为2-n,有效地降低了Sigmoid函数的硬件实现复杂度。最后,设计了拟合函数的硬件电路结构,并在Xilinx FPGA-XC7A200T上实现MNIST手写数字识别,对所提出的拟合方法进行验证。实验结果表明,该方法的识别准确率在深度神经网络中约达到97.45%,而在卷积神经网络中约达到98.42%。与其他仅使用加法电路的拟合方法对比,准确率分别提高了约0.84%和0.57%。

关键词(KeyWords): Sigmoid函数;概率;神经网络;分段线性拟合;现场可编程门阵列

Abstract:

Keywords:

基金项目(Foundation): 芜湖-西电产学研合作专项资金(012019005);; 国际科技创新战略合作重点项目(2016YFE0207000)

作者(Author): NGUYEN Van-Truong;蔡觉平;魏琳育;褚洁;

Email:

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享