2017年05月31日 by 清醒疯子

含有许多后续不相关帧的序列第一帧。长序列，基础RNN展开网络深度非常大，层数非常多，每一层反向传播算法将来自网络上一层误差乘以局部偏导。如果大多数局部偏导远小于1,梯度每层变小，指数衰减，最终消失。如

2017年06月03日 by 清醒疯子

词向量嵌入需要高效率处理大规模文本语料库。word2vec。简单方式，词送入独热编码(one-hot encoding)学习系统，长度为词汇表长度的向量，词语对应位置元素为1,其余元素为0。向

2017年06月04日 by 清醒疯子

序列分类，预测整个输入序列的类别标签。情绪分析，预测用户撰写文字话题态度。预测选举结果或产品、电影评分。 国际电影数据库(International Movie

2017年06月05日 by 清醒疯子

序列标注(sequence labelling)，输入序列每一帧预测一个类别。OCR(Optical Character Recognition 光学字符识别)。 MIT口语系

2017年06月05日 by 清醒疯子

，精确预测是语言下一个字符。 字符级语言建模，网络不仅学会构词，还学会拼写，网络输入维数更低，不必考虑未知单词，可以发明新单词。Andrew Karpathy 2015年应用RNN于字

2017年06月09日 by 清醒疯子

始推断模型输入格式，图像字符串转换为各分量位于[0, 1]内像素张量，缩放图像尺寸，符合模型期望宽度高度，像素值变换到模型要求区间[-1, 1]内。调用原始模型推断方法，依据转换输入推断结果。

2017年06月09日 by 清醒疯子

2017年08月12日 by 清醒疯子

同batch数据梯度，汇总梯度全局参数更新。 数据并行，多块GPU同时训练多个batch数据，运行在每块GPU模型基于同一神经网络，网络结构一样，共享模型参数。 同步数

2017年08月23日 by 清醒疯子

，RandomShuffleQueue作训练输入，开多个线程准备训练样本。样本压入队列，主线程从队列每次取出mini-batch样本训练。 创建随机队列，最大长度10,出队后最小长度2:

2017年08月20日 by 清醒疯子

=[784,1] 输入 边。数据依赖、控制依赖。实线边表示数据依赖，代表数据，张量(任意维度的数据)。机器学习算法，张量在数据流图从前往后流动，前向传播(forword