移动学习网 导航

svm算法中支持向量机到分类面的距离是1么 svm 多分类损失函数为什么要加1

2024-03-27m.verywind.com
svm 中为什么令函数间隔为1,对优化问题没有影响~

在WB二面中,问到让讲一下SVM算法。
我回答的时候,直接答道线性分隔面将样本分为正负两类,取平行于线性分割面的两个面作为间隔边界,分别为:wx+b=1和wx+ b = -1。
面试官就问,为什么是正负1?
当时没有答上来,看来还是对模型不够理解。
回来查资料和ppt等,解答如下:
线性分割面是f(x) = wx + b,该线性分割面是要把样本点分为两类:
对于正样本,都满足:wx + b > 0;
对于负样本,都满足:wx + b < 0;
从式子中可以观察到,如果同时放大或缩小w和b,最后的结果是不受影响的,还是同一个线性分割面。因此,我们可以做一个要求:
对于所有正样本,都满足:wx + b >= 1

两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logistical loss,svm采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重.SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习分类器.而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重.两者的根本目的都是一样的.此外,根据需要,两个方法都可以增加不同的正则化项,如l1,l2等等.所以在很多实验中,两种算法的结果是很接近的.
但是逻辑回归相对来说模型更简单,好理解,实现起来,特别是大规模线性分类时比较方便.而SVM的理解和优化相对来说复杂一些.但是SVM的理论基础更加牢固,有一套结构化风险最小化的理论基础,虽然一般使用的人不太会去关注.还有很重要的一点,SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算
svm 更多的属于非参数模型,而logistic regression 是参数模型,本质不同.其区别就可以参考参数模型和非参模型的区别就好了.
logic 能做的 svm能做,但可能在准确率上有问题,svm能做的logic有的做不了

  • 支持向量机(SVM)——原理篇
  • 答:支持向量机(SVM)——svm原理并不难理解,其可以归结为一句话,就是最大化离超平面最近点(支持向量)到该平面的距离。支持向量机(support vectorQmachine,简称SVM)是一种二分类模型,它的基本模型是在特征空间上的间隔...

  • 05 SVM - 支持向量机 - 概念、线性可分
  • 答:PS:在SVM中支持向量到超平面的函数距离一般设置为1;SVM模型 是让所有的分类点在各自类别的支持向量的两边,同时要求支持向量尽可能的远离这个超平面,用 数学公式 表示如下:1、将此时的目标函数和约束条件 使用KKT条件 转换...

  • 支持向量机分类法
  • 答:支持向量机(SVM)分类的主要思想是寻找最优分离超平面(Optimal Separating Hyperplane,OSH),将两类样本无错误的分开,并使分类空隙最大,如图2.2所示。记H为最优分离超平面,H1和H2之间的距离M为分类间隔。图2.2 最优...

  • 支持向量机(SVM)
  • 答:支持向量机(support vector machine),故一般简称SVM,通俗来讲,它是一种二分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区,因此支持向量机也被称为最大边...

  • SVM算法原理
  • 答:SVM算法的目的是找到一个将分类效果达到最合理化的超平面,这个超平面即是分类器 。而评估分类器的好坏的标准就是分类间隔的大小 我们定义分类间隔的距离为d,好的分类器应该让所有样本点到决策面的几何间隔都大于等于d 化简上式,不等式两...

  • 支持向量机的基本原理
  • 答:支持向量机中的支持向量是指训练样本集中的某些训练点,这些点最靠近分类决策面,是最难分类的数据点。SVM中最优分类标准就是这些点距离分类超平面的距离达到最大值;“机”是机器学习领域对一些算法的统称,常把算法看做一...

  • 支持向量机原理
  • 答:实际上这个距离就是我们所谓的支持向量到超平面的距离。根据以上定义,SVM模型的求解最大分割超平面问题可以表示为以下约束最优化问题 \underset{\boldsymbol{w,}b}{\max}\ \gamma s.t.\ \ \ y_i\left( \frac{\bold...

  • 12、核支持向量机SVM
  • 答:想要对新样本点进行预测,需要测量它与每个支持向量之间的距离。 核支持向量机可用于回归SVR和分类SVC。下面利用乳腺癌数据集对模型进行训练:输出 训练集的精度为1,但测试集精度只有63%,存在过拟合。SVM要求所有特征有...

  • 支持向量机原理讲解(一)
  • 答:其实参考点到直线的距离,我们可以发现几何间隔就是高维空间中点到超平面的距离,才能真正反映点到超平面的距离。根据SVM的思想,我们可以知道是要取最大化支持向量到超平面的几何间隔,所以目标函数可以表示为:在感知机模型最后...

  • 支持向量机算法原理
  • 答:支持向量机(Support Vector Machine,简称SVM)是一种广泛应用的机器学习算法,主要用于解决支持向量机(Support Vector Machine,简称SVM)是一种广泛应用的机器学习算法,主要用于解决二分类问题。其基本模型是定义在特征空间上...

    户户网菜鸟学习
    联系邮箱
    返回顶部
    移动学习网