初始化
加快梯度下降、模型收敛减小梯度下降收敛过程中训练出现误差的几率
如果你完成了本系列的上一课程,则可能已经按照我们的说明完成了权重初始化。如何为新的神经网络选择初始化?在本笔记本中,你能学习看到不同的初始化导致的不同结果。
运行以下代码使用零初始化并迭代15,000次以训练模型。
好的初始化可以:
性能确实很差,损失也没有真正降低,该算法的性能甚至不如随机猜测。为什么呢?让我们看一下预测的详细信息和决策边界:
因为数值舍入,你可能在0迭代之后看到损失为"inf",我们会在之后用更复杂的数字实现解决此问题。
他们为你提供了法国过去10场比赛的二维数据集。
训练神经网络需要指定权重的初始值,而一个好的初始化方法将有助于网络学习。
足球场守门员将球踢到空中,每支球队的球员都在尽力用头击球
运行以下单元格以加载包和用于分类的二维数据集。
欢迎来到“改善深度神经网络”的第一项作业。
关dropout你应该记住的事情:
总之,看起来你的对称性已打破,这会带来更好的结果。相比之前,模型不再输出全0的结果了。
文章为作者独立观点,不代表股票交易接口观点