fast.ai 深度学习笔记:第一部分第四课

  • 时间:
  • 浏览:1
  • 来源:大发5分快乐8APP下载_大发5分快乐8APP官网

(0),(4): BatchNorm将在上一课中介绍

(2): Linear层仅仅是矩阵乘法。 这是另另另一个中有 1024 行和 512 列的矩阵,而且 它将接受 1024 个激活并输出 512 个激活。

(7): Softmax - 激活函数,返回最大为 1 的数字,每个数字在 0 和 1 之间:

原文:Deep Learning 2: Part 1 Lesson 4

learn - 这将显示大伙最后加进去去的层。 哪些地方地方是大伙在precompute=True时训练的层

出于较小的数值精度原因,事实证明最好直接使用 softmax 的 log 而都不 softmax [15:03]。这却说为哪些地方当大伙从模型中得到预测时,大伙时要执行np.exp(log_preds)

(6): Linear - 第另一个线性层,从前另另另一个线性层获取 512 个激活并将它们乘以 512 乘 120 的新矩阵并输出 120 个激活

学生的文章:

(1),(5):Dropout

作者:Hiromi Suenaga

(3): ReLU - 却说用零替换负数