深度学习的局部响应归一化LRN(Local Response Normalization)

    深度学习的局部响应归一化LRN(Local Response Normalization)

这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法,其跟激活函数是有区别的,LRN一般是在激活、池化后进行的一中处理方法。

  AlexNet将LeNet的思想发扬光大,把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。

(1)成功使用ReLU作为CNN的激活函数,并验证其效果在较深的网络超过了Sigmoid,成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了,但是直到AlexNet的出现才将其发扬光大。

(2)训练时使用Dropout随机忽略一部分神经元,以避免模型过拟合。Dropout虽有单独的论文论述,但是AlexNet将其实用化,通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。

(3)在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化,AlexNet全部使用最大池化,避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小,这样池化层的输出之间会有重叠和覆盖,提升了特征的丰富性。

(4)提出了LRN层,对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力

其中LRN的详细介绍如下:   (链接地址:tensorflow下的局部响应归一化函数tf.nn.lrn

tensorflow官方文档中的tf.nn.lrn函数给出了局部响应归一化的论文出处 , 详见http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks 

为什么要有局部响应归一化(Local Response Normalization)? 

详见http://blog.csdn.net/hduxiejun/article/details/70570086

这里写图片描述

示例代码:
import tensorflow as tf
import numpy as np


x = np.array([i for i in range(1,33)]).reshape([2,2,2,4])
y = tf.nn.lrn(input=x,depth_radius=2,bias=0,alpha=1,beta=1)


with tf.Session() as sess:
    print(x)
    print('#############')
    print(y.eval())

这里写图片描述

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页