第6课:深度学习-线性单元和梯度下降

线性单元是什么


感知器有一个问题,当面对的数据集不是线性可分的时候,『感知器规则』可能无法收敛,这意味着我们永远也无法完成一个感知器的训练。为了解决这个问题,我们使用一个可导线性函数来替代感知器的阶跃函数,这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集时,会收敛到一个最佳的近似上。

为了简单起见,我们可以设置线性单元的激活函数

f(X) = X


这样的线性单元如下图所示

s6.png


对比此前我们讲过的感知器

s7.png


这样替换了激活函数之后,线性单元将返回一个实数值而不是0,1分类。因此线性单元用来解决回归问题而不是分类问题。


线性单元的模型

当我们说模型时,我们实际上在谈论根据输入X预测输出Y算法



监督学习和无监督学习

接下来,我们需要关心的是这个模型如何训练,也就是参数取什么值最合适。

机器学习有一类学习方法叫做监督学习,它是说为了训练一个模型,我们要提供这样一堆训练样本:每个训练样本既包括输入特征,也包括对应的输出(也叫做标记,label)。也就是说,我们要找到很多人,我们既知道他们的特征(工作年限,行业...),也知道他们的收入。我们用这样的样本去训练模型,让模型既看到我们提出的每个问题(输入特征),也看到对应问题的答案(标记)。当模型看到足够多的样本之后,它就能总结出其中的一些规律。然后,就可以预测那些它没看过的输入所对应的答案了。

另外一类学习方法叫做无监督学习,这种方法的训练样本中只有而没有。模型可以总结出特征的一些规律,但是无法知道其对应的答案

很多时候,既有又有的训练样本是很少的,大部分样本都只有。比如在语音到文本(STT)的识别任务中,是语音,是这段语音对应的文本。我们很容易获取大量的语音录音,然而把语音一段一段切分好并标注上对应文字则是非常费力气的事情。这种情况下,为了弥补带标注样本的不足,我们可以用无监督学习方法先做一些聚类,让模型总结出哪些音节是相似的,然后再用少量的带标注的训练样本,告诉模型其中一些音节对应的文字。这样模型就可以把相似的音节都对应到相应文字上,完成模型的训练。


梯度下降优化算法

大学时我们学过怎样求函数的极值。函数的极值点,就是它的导数的那个点。因此我们可以通过解方程,求得函数的极值点

不过对于计算机来说,它可不会解方程。但是它可以凭借强大的计算能力,一步一步的去把函数的极值点『试』出来。如下图所示:


s8.png

首先,我们随便选择一个点X0开始,比如上图的X0点。接下来,每次迭代修改X的为X1,X2,X3...,经过数次迭代后最终达到函数最小值点。

你可能要问了,为啥每次修改的值,都能往函数最小值那个方向前进呢?这里的奥秘在于,我们每次都是向函数y=f(x)梯度相反方向来修改X

什么是梯度呢?翻开大学高数课的课本,我们会发现梯度是一个向量,它指向函数值上升最快的方向。显然,梯度的反方向当然就是函数值下降最快的方向了。我们每次沿着梯度相反方向去修改的值,当然就能走到函数的最小值附近。之所以是最小值附近而不是最小值那个点,是因为我们每次移动的步长不会那么恰到好处,有可能最后一次迭代走远了越过了最小值那个点。步长的选择是门手艺,如果选择小了,那么就会迭代很多轮才能走到最小值附近;如果选择大了,那可能就会越过最小值很远,收敛不到一个好的点上

随机梯度下降算法(Stochastic Gradient Descent, SGD)

如果我们根据(式3)来训练模型,那么我们每次更新的迭代,要遍历训练数据中所有的样本进行计算,我们称这种算法叫做批梯度下降(Batch Gradient Descent)。如果我们的样本非常大,比如数百万到数亿,那么计算量异常巨大。因此,实用的算法是SGD算法。在SGD算法中,每次更新的迭代,只计算一个样本。这样对于一个具有数百万样本的训练数据,完成一次遍历就会对更新数百万次,效率大大提升。由于样本的噪音和随机性,每次更新并不一定按照减少的方向。然而,虽然存在一定随机性,大量的更新总体上沿着减少的方向前进的,因此最后也能收敛到最小值附近。下图展示了SGD和BGD的区别


s9.png


如上图,椭圆表示的是函数值的等高线,椭圆中心是函数的最小值点。红色是BGD的逼近曲线,而紫色是SGD的逼近曲线。我们可以看到BGD是一直向着最低点前进的,而SGD明显躁动了许多,但总体上仍然是向最低点逼近的。

最后需要说明的是,SGD不仅仅效率高,而且随机性有时候反而是好事。今天的目标函数是一个『凸函数』,沿着梯度反方向就能找到全局唯一的最小值。然而对于非凸函数来说,存在许多局部最小值。随机性有助于我们逃离某些很糟糕的局部最小值,从而获得一个更好的模型。


实现线性单元


  1. from perceptron import Perceptron


  2. #定义激活函数f

  3. f = lambda x: x


  4. class LinearUnit(Perceptron):

  5.    def __init__(self, input_num):

  6.        '''初始化线性单元,设置输入参数的个数'''

  7.        Perceptron.__init__(self, input_num, f)


通过继承Perceptron,我们仅用几行代码就实现了线性单元。这再次证明了面向对象编程范式的强大。

接下来,我们用简单的数据进行一下测试。


  1. def get_training_dataset():

  2.    '''

  3.    捏造5个人的收入数据

  4.    '''

  5.    # 构建训练数据

  6.    # 输入向量列表,每一项是工作年限

  7.    input_vecs = [[5], [3], [8], [1.4], [10.1]]

  8.    # 期望的输出列表,月薪,注意要与输入一一对应

  9.    labels = [5500, 2300, 7600, 1800, 11400]

  10.    return input_vecs, labels    



  11. def train_linear_unit():

  12.    '''

  13.    使用数据训练线性单元

  14.    '''

  15.    # 创建感知器,输入参数的特征数为1(工作年限)

  16.    lu = LinearUnit(1)

  17.    # 训练,迭代10轮, 学习速率为0.01

  18.    input_vecs, labels = get_training_dataset()

  19.    lu.train(input_vecs, labels, 10, 0.01)

  20.    #返回训练好的线性单元

  21.    return lu



  22. if __name__ == '__main__':

  23.    '''训练线性单元'''

  24.    linear_unit = train_linear_unit()

  25.    # 打印训练获得的权重

  26.    print linear_unit

  27.    # 测试

  28.    print 'Work 3.4 years, monthly salary = %.2f' % linear_unit.predict([3.4])

  29.    print 'Work 15 years, monthly salary = %.2f' % linear_unit.predict([15])

  30.    print 'Work 1.5 years, monthly salary = %.2f' % linear_unit.predict([1.5])

  31.    print 'Work 6.3 years, monthly salary = %.2f' % linear_unit.predict([6.3])


程序运行结果如下图

s10.png


拟合的直线如下图


s11.png



小结

事实上,一个机器学习算法其实只有两部分

  • 模型  从输入特征预测输入的那个函数

  • 目标函数 目标函数取最小(最大)值时所对应的参数值,就是模型的参数的最优值。很多时候我们只能获得目标函数的局部最小(最大)值,因此也只能得到模型参数的局部最优值

因此,如果你想最简洁的介绍一个算法,列出这两个函数就行了。

接下来,你会用优化算法去求取目标函数的最小(最大)值。[随机]梯度{下降|上升}算法就是一个优化算法。针对同一个目标函数,不同的优化算法会推导出不同的训练规则。我们后面还会讲其它的优化算法。

其实在机器学习中,算法往往并不是关键,真正的关键之处在于选取特征。选取特征需要我们人类对问题的深刻理解,经验、以及思考。而神经网络算法的一个优势,就在于它能够自动学习到应该提取什么特征,从而使算法不再那么依赖人类,而这也是神经网络之所以吸引人的一个方面。