学习笔记TF052:卷积网络,神经网络发展,AlexNet的TensorFlow实现

清醒疯子 发布于 2017年10月31日
无人欣赏。

卷积神经网络(convolutional neural network,CNN),权值共享(weight sharing)网络结构降低模型复杂度,减少权值数量,是语音分析、图像识别热点。无须人工特征提取、数据重建,直接把图片作输入,自动提取特征,对平移、比例缩放、倾斜等图片变形具有高度不变形。卷积(convolution),泛函数分析积分变换数学方法,两个函数f和g生成第三个函数数学算子,表征函灵敏f与g翻转、平移重叠部分面积。f(x)、g(x)为R1两个可积函数。积分新函数为函数f与g卷积。∫-∞+∞f(τ)g(x-E)dτ。

神经网络(neural networks,NN)包括输入层、隐藏层、输出层。卷积神经网络隐藏层分为卷积层和池化层(pooling layer 下采样层)。卷积层的卷积核(conventional kernel)在原始图像平移提取特征,每个特征是特征映射。池化层汇聚特征稀疏参数减少学习参数数量,降低网络复杂度。最大值池化(max pooling)、平均值池化(average pooling)。卷积核提取特征映射动作padding,移动步长(Stride)不一定整除图像素宽度,越边边缘取样为SAME,不越过边缘取样为VALID。

Necognitron->LeCun->LeNet->AlexNet ->网络加深:VGG16->VGG19 ->增强卷积层功能:NIN->GoogleNet->Incption V3 Incption V4 -> 二者结合ResNet ->分类任务到检测任务:KCNN->FastRCNN->Faster-CNN ->增加新功能模块:FCN->STNet->CNN+RM/LSTM 卷积神经网络起点神经认知机(neocognitron)模型,出现卷积结构。第一个卷积神经网络模型LeCun,1989年,发明人LeCun。论文 http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf。径向基函数(radial basis function RBF)。1998年,LeCun,LeNet。http://vision.stanford.edu/cs598_spring07/papers/Lecun98.pdf。SVM 手工设计特征分类器。ReLU,Dropout ,GPU,大数据,2012年历史性突破AlexNet。

网络加深。

LeNet。输入层32x32,图像预处理reshape,潜在明显特征出现在最高层特征监测卷积核中心。卷积层3个(C1、C3、C5),增强原信号特征、降低噪音,在线演示: https://graphics.stanford.edu/courses/cs178/applets/convolution.html 不同卷积核输出特征映射不同。降采样层2个(S2、S4),降低网络训练参数、模型过拟合程度,最大池化(max pooling)选中区域最大值,平均值池化(mean pooling)选中区域平均值。全连接层1个(F6),输入向量和权重向量点积加偏置,传给sigmoid函数,产生单元i状态。输出层(高斯连接),欧式径向基函数(Euclidean radial basis funtion)单元,10个类别对应10个径向基函数单元,每个单元84个输入,输出RBF单元计算输入向量和类别标记向量欧式距离,越远越大。

AlexNet,2012年,Geoffrey Hintion及学生Alex Krizhevsky、Ilya Sutskever,《ImageNet Classification with Deep Convolutional Neural Networks》。不同GPU处理图像的不同部分,仅在部分层通信。5个卷积层,3个全连接层,5000万个可调参数。最后全连接层输出到1000维softmax层,产生覆盖1000类标记分布。防止过拟合,Dropout 0.5概率隐藏层神经元输出置0,共享权值,降低互适应,收敛迭代次数增加一倍。数据增强(data augmentation)变形(水平翻转图像、反射变化flip,原始图像随机平移变换crop,随机光照、彩色变换、颜色抖动)增加新数据。非线性激活函数,ReLU,收敛速度比sigmoid/tanh快。大数据训练,120万ImageNet图像数据。GPU实现,直接从GPU内存读出、写入。LRN(local response normalization)规范化层。

增强卷积层功能。

VGGNet,Karen simonyan、Andrew Zisserman 《Very Deep Convolutional Networks for LargeScale Visual Recognition》http://www.robots.ox.ac.uk/~vgg/research/verydeep/ 。5个卷积组(8-16层)、2层全连接层图像特征,1层全连接分类特征。加深卷积层数达到准确率提升瓶颈。

GoogleNet。NIN(Network in Network)思想,Min Lin、Qiang Chen、Shuicheng Yan论文《Network In Network》https://arxiv.org/abs/1312.4400 。线性卷积层(linear convolution layer)变多层感知卷积层(multilayer perceptron),全连接层改为全局平均池化。2014年 GoogleNet(Inception V1),Christian Szegedy、Wei Liu论文《Going Deeper with Convolutions》https://arxiv.org/abs/1409.4842 。使用1x1卷积核降维,在全连接层连接1x1、3x3、5x5卷积结果。宽度、深度扩大,加速。层数更深,22层,不同深度增加两上损失函数避免反向传播梯度消失。增加多种大小卷积核,降维Inception模型,1x1卷积核降低特征映射厚度。

结合网络加深和增强卷积模块功能。

ResNet。2015年,ILSVRC不依赖外部数据物体检测、物体识别项目冠军,MSRA 何凯明,152层。ImageNet 分类、检测、定位、COCO数据集检测(deteciton)、分隔(segmentation)冠军。Kaiming He、Xiangyu Zhang、Shaoqing Ren、Jian Sun《Deep Residual Learning for Image Recognition》 https://arxiv.org/abs/1512.03385 。网络退化(network degradation),shortcut结构,输入跳层传递加卷积结果。残差(residual),复杂非线性映射H(x)预测图片分类,残差函数(residual function)F(x)=H(x)-x,优化残差映射比直接优化H(x)简单。

从分类任务到检测任务。图片目标检测,视频目标检测(VID)。

R-CNN,Region Proposal Networks(RPN)和CNN结合。RPNs,任意尺寸图片一系列带识别物体概率分数建议区域。使用小网络在最后卷积特征映射滑动扫描,滑动网络每次与特征映射窗口全连接,映射到低维向量,送入两个全连接层(box回归层box-regression layer和box分类层box-classification layer)。重复计算,几千个建议区域(region)互相重叠,多次重复提取特性。 Fast R-CNN,加速版本,最后建议区域映射CNN最后卷积层特征映射,一张图片只提取一次特征,提高速度,瓶颈在RPN,支持多类物体同时检测,行人车辆检测技术。 Fater-R-CNN,RPN交给CNN做,达到实时。Shaoqing Ren、Kaiming He、Ross Girshick、Jian Sun论文《Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks》 https://arxiv.org/abs/1506.01497 。

增加新功能模块。

FCN(反卷积)、STNet、CNN与RNN/LSTM混合结构。

MNIST AlexNet实现。网络结构图。 1、仔细研读网络论文,理解每一层输入、输出值、网络结构。 2、按照加载数据、定义网络模型、训练模型、评估模型步骤实现网络。

https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3NeuralNetworks/convolutionalnetwork.py 。 https://github.com/tensorflow/models/blob/master/tutorials/image/alexnet/alexnet_benchmark.py 。

#!/usr/bin/python
# -*- coding:utf8 -*-
# 输入数据
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)
import tensorflow as tf
# 定义网络超参数
learning_rate = 0.001
training_iters = 20000
batch_size = 128
display_step = 10
# 定义网络参数
n_input = 784 # 输入的维度(img shape:28x28)
n_classes = 10 # 标记的维度(0-9 digits)
dropout = 0.75 # Dropout 的概率,输出可能性
# 占位符输入
x = tf.placeholder(tf.float32, [None, n_input])
y = tf.placeholder(tf.float32, [None, n_classes])
keep_prob = tf.placeholder(tf.float32) #dropout
# 卷积操作
def conv2d(name, x, W, b,strides=1):
    x = tf.nn.conv2d(x, W, strides=[1, strides, strides, 1], padding='SAME')
    x = tf.nn.bias_add(x, b)
    return tf.nn.relu(x, name=name) #用relu激活函数
# 最大下采样操作
def maxpool2d(name, x, k=2):
    return tf.nn.max_pool(x, ksize=[1, k, k, 1], strides=[1, k, k, 1], padding='SAME', name=name)
# 规范化操作
def norm(name, l_input, lsize=4):
    return tf.nn.lrn(l_input, lsize, bias=1.0, alpha=0.001 / 9.0, beta=0.75, name=name)
# 所有的网络参数
weights = {
    'wc1': tf.Variable(tf.random_normal([11, 11, 1, 96])),
    'wc2': tf.Variable(tf.random_normal([5, 5, 96, 256])),
    'wc3': tf.Variable(tf.random_normal([3, 3, 256, 384])),
    'wc4': tf.Variable(tf.random_normal([3, 3, 384, 384])),
    'wc5': tf.Variable(tf.random_normal([3, 3, 384, 256])),
    'wd1': tf.Variable(tf.random_normal([4*4*256, 4096])),
    'wd2': tf.Variable(tf.random_normal([4096, 4096])),
    'out': tf.Variable(tf.random_normal([4096, 10]))
}
biases = {
    'bc1': tf.Variable(tf.random_normal([96])),
    'bc2': tf.Variable(tf.random_normal([256])),
    'bc3': tf.Variable(tf.random_normal([384])),
    'bc4': tf.Variable(tf.random_normal([384])),
    'bc5': tf.Variable(tf.random_normal([256])),
    'bd1': tf.Variable(tf.random_normal([4096])),
    'bd2': tf.Variable(tf.random_normal([4096])),
    'out': tf.Variable(tf.random_normal([n_classes]))
}
# 定义AlexNet网络模型
def alex_net(x, weights, biases, dropout):
    # 向量转为矩阵
    x = tf.reshape(x, shape=[-1, 28, 28, 1])
    # 第一卷积层
    # 卷积
    conv1 = conv2d('conv1', x, weights['wc1'], biases['bc1'])
    # 最大池化(向下采样)
    pool1 = max_pool('pool1', conv1, k=2)
    # 规范化(归一化)
    norm1 = norm('norm1', pool1, lsize=4)
    # 第二卷积层
    # 卷积
    conv2 = conv2d('conv2', conv1, weights['wc2'], biases['bc2'])
    # 最大池化(向下采样)
    pool2 = max_pool('pool2', conv2, k=2)
    # 规范化(归一化)
    norm2 = norm('norm2', pool2, lsize=4)
    # 第三卷积层
    # 卷积
    conv3 = conv2d('conv3', conv2, weights['wc3'], biases['bc3'])
    # 最大池化(向下采样)
    pool3 = max_pool('pool3', conv3, k=2)
    # 规范化(归一化)
    norm3 = norm('norm3', pool3, lsize=4)
    # 第四卷积层
    conv4 = conv2d('conv4', conv3, weights['wc4'], biases['bc4'])
    # 最大池化(向下采样)
    pool4 = max_pool('pool4', conv4, k=2)
    # 规范化(归一化)
    norm4 = norm('norm4', pool4, lsize=4)
    # 第五卷积层
    conv5 = conv2d('conv5', conv4, weights['wc5'], biases['bc5'])
    # 最大池化(向下采样)
    pool5 = max_pool('pool5', conv4, k=2)
    # 规范化(归一化)
    norm5 = norm('norm5', pool5, lsize=4)
    # 第一全连接层,先把特征图转为向量
    fc1 = tf.reshape(norm5, [-1, weights['wd1'].get_shape().as_list()[0]])
    fc1 = tf.add(tf.matmul(fc1, weights['wd1']), biases['bd1'])
    fc1 = tf.nn.relu(fc1)
    # Dropout
    fc1 = tf.nn.dropout(fc1, dropout)
    # 第二全连接层
    fc2 = tf.reshape(fc1, [-1, weights['wd1'].get_shape().as_list()[0]])
    fc2 = tf.add(tf.matmul(fc2, weights['wd1']), biases['bd1'])
    fc2 = tf.nn.relu(fc2)
    # Dropout
    fc2 = tf.nn.dropout(fc2, dropout)
    # 网络输出层
    out = tf.add(tf.matmul(fc2, weights['out']), biases['out'])
    return out
# 构建模型
pred = alex_net(x, weights, biases, keep_prob)
# 定义损失函数、优化器(学习步长)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=pred, labels=y))
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost)
# 评估函数
correct_pred = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1))
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))
# 训练模型和评估模型
# 初始化所有的共享变量
init = tf.global_variables_initializer()
# 开启一个训练
with tf.Session() as sess:
    sess.run(init)
    step = 1
    # 开始训练,直到达到training_iters,即200000
    while step * batch_size < training_iters:
        # 获取批数据
        batch_x, batch_y = mnist.train.next_batch(batch_size)
        sess.run(optimizer, feed_dict={x: batch_x, y: batch_y, keep_prob: dropout})
        if step % display_step == 0:
            # 计算损失值和准确度,输出
            loss, acc = sess.run([cost, accuracy], feed_dict={x: batch_x, y: batch_y, keep_prob: 1.})
            print "Iter " + str(step*batch_size) + ", Minibatch Loss= " + "{:.6f}".format(loss) + ", Training Accuracy= " + "{:.5f}".format(acc)
        step += 1
    print "Optimization Finished!"
    # 计算测试精度
    print "Testing Accuracy:", sess.run(accuracy, feed_dict={x: mnist.test.images[:256], y: mnist.test.labels[:256], keep_prob: 1.})

参考资料: 《TensorFlow技术解析与实战》

欢迎推荐上海机器学习工作机会,我的微信:qingxingfengzi

共7条回复
xiaotie 回复于 2017年10月31日

有没有兴趣来北京发展?

tinyfool 回复于 2017年10月31日

1楼 @xiaotie 哈哈哈,开始挖人了

xiaotie 回复于 2017年10月31日

2楼 @tinyfool

缺人啊。缺算法工程师的和项目经理。

tinyfool 回复于 2017年10月31日

3楼 @xiaotie 唉,要是可以远程,我都想加入了

xiaotie 回复于 2017年10月31日

4楼 @tinyfool

您来可以直接vp啊

tinyfool 回复于 2017年10月31日

5楼 @xiaotie 别,我是纸上谈兵的学问

清醒疯子 回复于 2017年10月31日

1楼 @xiaotie

谢谢小铁兄,目前只考虑上海。祝一切顺利:)

登录 或者 注册
相关帖子