7.支持向量机

海盐味橘色汽水
167 阅读2分钟
线性可分支持向量机和非线性支持向量机
线性可分又分为硬间隔最大化和软间隔最大化（正则化）



  1. 硬间隔最大化


      1. 利用拉格朗日求对偶



        1. 针对不等式约束
        2. 包含三项，拉格朗日式子对各个变量的偏导，拉格朗日系数乘不等式约束等于0，拉格朗日系数大于等于0
  2. 软间隔最大化


    2. 合页函数



    2. 通过将输入空间内线性不可分的数据映射到一个高纬的特征空间内使得数据在特征空间内是可分的
    3. 核函数K为正定核的充要条件
      1. 对称且Gram矩阵是半正定的
      2. 如果满足上述条件，可以构成一个内积封闭的希尔伯特空间，必能找到合适的映射Φ(x)。
    4. 种类
      1. 线性核函数  κ(x,xi)=x⋅xi
        1. 即无核，线性可分场景。可以先用这种试试
      2. 多项式核函数
        1. 多项式核函数可以实现将低维的输入空间映射到高纬的特征空间，但是多项式核函数的参数多，当多项式的阶数比较高的时候，核矩阵的元素值将趋于无穷大或者无穷小，计算复杂度会大到无法计算。
      3. 高斯（RBF)核函数
        1. 高斯径向基函数是一种局部性强的核函数，其可以将一个样本映射到一个更高维的空间内。一般都用这用
        2. κ(x,xi)=exp(−||x−xi||2δ2)
      4. sigmoid核函数
        1. κ(x,xi)=tanh(η<x,xi>+θ)
        2. 采用sigmoid核函数，支持向量机实现的就是一种多层神经网络。
    5. 使用场景
      1. 在样本数量不变，差不多的前提下
        1. 特征数量比较多（和样本数量差不多），则选用LR或者线性核的SVM；
        2. 特征的数量小（样本的数量正常），则选用SVM+高斯核函数；
        3. 特征的数量小，且样本数量足够，则需要手工添加一些特征从而变成第一种情况



avatar
文章
阅读
粉丝