支持向量机多类分类方法及特点

~    支持向量机是针对两类分类问题提出的，而在实际应用中多类分类问题更为普遍。如何将支持向量机的优良性能推广到多类分类一直是支持向量机研究中的重要内容，其对于类别数目较多的分类问题，目前仍缺乏有效的支持向量机多类分类方法。多类分类是机器学习领域中的重要问题，它的应用在现实生活中非常普遍，多类分类问题是对两类分类问题的推广。目前，支持向量机多类分类的方法主要包括两种：一是将多个分类面的参数求解合并到一个最优化问题中，通过求解该最优化问题实现多类分类；二是将多类分类问题分解成多个两类分类问题，然后再采用某种方法将多个两类分类器的输出组合在一起实现多类分类。下面对这些方法进行介绍：

1）1− a − r 方法

   对于k 类多类分类问题，1− a − r 方法需要构造k 个将其中一个类别与其它所有类别区分开的两类支持向量机分类器。分类时将未知样本分到具有最大分类决策函数值的类别中，即采用“最大输出法”将多个两类分类器的输出组合在一起实现多类分类。1− a − r 方法的分类示意图如图 4-2 所示，图中“·” 、“• ”和“★”分别代表三个不同的类别。

1− a − r 方法因简单易于实现而得到了广泛的应用，但是，它也存在许多缺点，这些缺点主要包括：(1)存在不可识别区域。如图 4-2 所示，区域“·” 、“• ”和“★” 为1− a − r 方法的可识别域,而“A” 、“B” 、“C” 、“D”区域是不可识别区域，它们的类型是未知的；(2)1− a − r 方法的每个支持向量机都是在全部训练样本上训练而成的，训练样本的重复训练率高，样本数目较多时，训练速度慢；(3)1− a − r 方法分类时需要计算每一个支持向量机分类器的决策函数值，分类的效率不高；(4)1− a − r 方法各个支持向量机的正例样本数目远远少于反例样本数目，而标准支持向量机分类时倾向于反例，使得所关注的正例的分类错误率反而较高。

2) 树型支持向量机多类分类方法 

   如图 4-3 所示，树型支持向量机的基本思想是从根节点开始，采用某种方法将该节点所包含的类别划分为两个子类，然后再对两个子类进一步划分，如此循环，直到子类中只包含一个类别为止。这样，就得到了一个倒立的二叉树。最后，在二叉树各决策节点训练支持向量机分类器，实现对待识别样本的分类。树型支持向量机多类分类方法的主要优点是需要训练的支持向量机数目和各支持向量机的训练样本数目都较少，并且分类时也不必遍历所有的支持向量机分类器，具有较高的训练速度和分类速度，对于类别数目多的分类问题，它的优势更为明显。

3）决策树支持向量机多分类器

分类问题(N > 2) 和二分类问题之间存在一定的对应关系：如果一个分类问题 N类可分，则这 N 类中的任何两类间一定可分；反之，在一个 N 分类问题中，如果我们己知其任意两两可分，则通过一定的组合法则，我们可由两两可分来最终实现 N 类可分。由于数型支持向量机在多分类问题的优越性，有学者将支持向量机和二叉决策树的基本思想结合起来构成多类别的分类器，称为 SVM 决策树方法。由二叉树的性质可知：对任何一棵二叉树，如果其叶子结点个数为 N0 ，度为 2 的结点个数为 N2 ，则有N0 = N2 +1而 SVM 决策树中没有度为 1 的结点，是一棵正则二叉树。设对 N 类样本构造一棵二叉决策树，则树的每个叶子结点对应一个类别，每个度为 2 的非叶子结点对应一个子 SVM 分类器。决策树共有2N −1个结点，叶子结点个数为 N ，子 SVM 分类器个数为 N −1。在“一对其余”的 SVM 多分类方法中，每一类的识别被看成一个独立的二分类问题(如图 4-4 所示)。拿本文研究的飞机目标为例，设所有飞机目标为 m 类，记为：L = {a1 a2 Κ am }。设属于ai的飞机目标个数为 Ni ，以任何一类ai为例，训练正例是该类所包含的全部飞机目标，而反例是在训练集中不属于该类的所有其它类的飞机目标。即一类的正例总数为 Ni ，反例总数为

为类的集合，每一次区分类集合中的一类。fj(x) 为类的集合，每一次区分类集合中的一类。

图 4-4 决策树具有层次结构，以致各训练集合的构成不同，训练所用的例子累次降低，减少了训练时间，测试是按照层次完成。每次构造分类器时，优先选择训练样本数量最多的类别的训练数据作为当前分类器的训练正例，剩余类别的训练数据作为分类器的训练反例，构造最优决策树，从而可以迅速减少训练集的规模，进而提高训练效率。

什么是支持向量机?

答：支持向量机这些特点是其他学习算法(如人工神经网络)所不及的。对于分类问题，单层前向网络可解决线性分类问题，多层前向网络可解决非线性分类问题。但这些网络仅仅能够解决问题，并不能保证得到的分类器是最优的；而基于统计学习理论的支持向量机方法能够从理论上实现对不同类别间的最优分类，通过寻找最坏...

线性可分的支持向量机处理问题的方式?

答：模型评估：使用测试集评估模型性能。这可以通过计算准确率、召回率、F1 值等指标来完成。预测新数据：使用训练好的模型进行分类。给定新数据点的特征向量，模型将其分为正类或负类。调优：根据评估结果对模型进行调优，例如通过参数调整、特征选择等方式，以提高分类准确性。在支持向量机中，支持向量是训练...

svm是一种典型的二类分类模型吗?

答：svm是一种典型的二类分类模型。支持向量机（英语：support vector machine，常简称为SVM，又名支持向量网络）是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型...

支持向量机分类为什么会出现分3类比分2类准确度高很多

答：分类问题和回归问题都要根据训练样本找到一个实值函数g(x). 回归问题的要求是：给定一个新的模式，根据训练集推断它所对应的输出y（实数）是多少。也就是使用y=g(x)来推断任一输入x所对应的输出值。分类问题是：给定一个新的模式，根据训练集推断它所对应的类别（如：+1，-1）。也就是使用y=...

什么是支持向量机(SVM)以及它的用途?

答：SVM - support vector machine, 俗称支持向量机，为一种supervised learning算法，属于classification的范畴。在数据挖掘的应用中，与unsupervised的Clustering相对应和区别。广泛应用于机器学习(Machine Learning), 计算机视觉(Computer Vision) 和数据挖掘(Data Mining)当中。假设要通过三八线把实心圈和空心圈分成...

支持向量机(2)

答：我们通过直接引入核函数 ，而不需要显式的定义高维特征空间和映射函数，就可以利用解线性分类问题的方法来求解非线性分类问题的支持向量机。引入核函数以后，对偶问题就变为： 同样，解出最优解 后，基于此我们可以求得最优解 , ，由此得到分离超平面： 使用符号函数求得正负类之间的...

svm算法对大规模数据集上的分类效果通常比较好

答：在处理大规模数据集时，SVM（支持向量机）算法通常展现出良好的分类性能，这主要得益于其以下几个方面的优点：1. 泛化能力：SVM利用核技巧将数据映射到高维特征空间，这样做可以在训练集之外的新样本上实现有效的分类。这种方法增强了算法的泛化能力，减少了过拟合的可能性。2. 鲁棒性：SVM对数据中的异常...

支持向量机学习算法

答：基坑降水环境影响评价参数选取降水方式、岩土性质、水文地质边界、基坑侧壁状态、边载分布、后续使用年限、基础型式、差异沉降8级，目标输出模式对应4个级别：优等级（Ⅰ）、良好级（Ⅱ）、中等级（Ⅲ）、差级（Ⅳ）。用一对多多类支持向量机水质分类法：有四类等级要划分，于是在抽取训练集的时候，分别...

支持向量机的基本原理

答：SVM是一种有监督的学习方法，主要针对小样本数据进行学习、分类和预测，类似的根据样本进行学习的方法还有决策树归纳算法等。支持向量机的应用实例 支持向量机是一种监督模式识别和机器学习方法，采用最大分类间隔准则实现有限训练样本情况下推广能力的优化。通过核函数间接实现非线性分类或函数回归，支持向量机...

支持向量机的基本原理

答：应用 1、用于文本和超文本的分类，在归纳和直推方法中都可以显著减少所需要的有类标的样本数。2、用于图像分类。实验结果显示：在经过三到四轮相关反馈之后，比起传统的查询优化方案，支持向量机能够获取明显更高的搜索准确度。这同样也适用于图像分割系统，比如使用Vapnik所建议的使用特权方法的修改版本SVM...