斯坦福机器学习笔记-第四周

这篇文章是斯坦福大学吴恩达老师机器学习课程第四周的笔记

非线性假设函数

在现实问题中，往往存在大量的特征，此时采用线性假设会导致参数量急剧增加，例如，对于100个特征的线性假设函数，在只包含最高2次假设的条件下：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1^2+{\theta }_2{x}_2^2+...+{\theta }_{100}{x}_{100}^2+{\theta }_{101}{x}_1{x}_2+...$，显然，这是一个复杂度为$O(n^2)$的函数。这还仅仅只是在只包含最高二次假设函数的条件下，当幂增加时，参数的量还会急剧增加，导致计算太过复杂，甚至无法计算。因此需要引入非线性假设函数。

神经网络模型

为了使用神经元来模拟神经网络，定义以下概念：神经元中树突和轴突分别用来输入输出电流信息，

神经网络模型示意

如上图，称Layer1为输入层，Layer3(最后一层)为输出层，而中间的层为隐藏层。由输入层到输出层的传播过程称为前向传播。由第j-1层到第j层的传播公式是：$z^{(j)}={\theta }^{(j-1)}{a}^{(j-1)};a^{(j)}=g(z^{(j)})$。