支持向量机鲁棒性模型与算法研究 内容简介

支持向量机是基于统计学习理论，以结构风险*小化为原则的一种针对小样本情况的新型机器学习方法，具有结构简单、全局*优解和泛化能力强等优点.支持向量机目前已成为机器学习领域解决分类问题和回归问题的有效工具.然而，在现实问题中，由于受到各种因素的影响，样本数据通常含有噪声和异常值，这些数据使支持向量机的学习能力受到影响，表现在对异常值较敏感、鲁棒性较差等.本文拟从损失函数的角度出发，应用*优化理论与方法，研究具有鲁棒性的支持向量机改进模型与求解算法，使其能更有效地解决实际问题。

支持向量机鲁棒性模型与算法研究 本书特色

支持向量机是基于统计学习理论，以结构风险*小化为原则的一种针对小样本情况的新型机器学习方法，具有结构简单、全局*解和泛化能力强等优点.支持向量机目前已成为机器学习领域解决分类问题和回归问题的有效工具.然而，在现实问题中，由于受到各种因素的影响，样本数据通常含有噪声和异常值，这些数据使支持向量机的学习能力受到影响，表现在对异常值较敏感、鲁棒性较差等.本文拟从损失函数的角度出发，应用*化理论与方法，研究具有鲁棒性的支持向量机改进模型与求解算法，使其能更有效地解决实际问题。

支持向量机鲁棒性模型与算法研究 目录

目 录
第 1 章 绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1
1.1 研究背景与意义 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 鲁棒支持向量机国内外研究现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2
1.2.1 基于异常值剔除技术的鲁棒 SVM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2
1.2.2 加权形式或模糊隶属度的鲁棒 SVM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3
1.2.3 基于 p-范数的鲁棒 SVM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4
1.2.4 基于损失函数的鲁棒 SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.5 其他形式的鲁棒 SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 支持向量机基础知识 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1 支持向量机模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6
1.3.2 损失函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11
1.3.3 原始空间支持向量机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
第 2 章 基于非凸广义线性损失函数的鲁棒支持向量回归机及应用. . . . . . . . . . . . . . . . . .16
2.1 广义线性损失函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16
2.2 基于非凸广义线性损失函数的鲁棒支持向量回归机 . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.1 非凸广义线性损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.2 鲁棒 SVR 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.3 凹凸过程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20
2.2.4 算法实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21
2.3 数值实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.3.1 真实数据实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.3.2 金融时间序列数据实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3.3 排序学习数据实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4 本章小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
第 3 章 基于非凸广义二次损失函数的鲁棒支持向量回归机 . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.1 广义二次损失函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35
3.2 基于非凸广义二次损失函数的鲁棒支持向量回归机 . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2.1 非凸广义二次损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2.2 DC 规划及算法实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38
3.3 数值实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4 本章小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
支持向量机鲁棒性模型与算法研究
第 4 章 基于非凸二次损失函数的鲁棒*小二乘支持向量回归机 . . . . . . . . . . . . . . . . . . . . 43
4.1 非凸二次损失函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43
4.2 基于非凸二次损失函数的鲁棒*小二乘支持向量回归机. . . . . . . . . . . . . . . . . . . . .44
4.2.1 RLS-SVR 求解及算法实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .44
4.2.2 收敛性和复杂度分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3 数值实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.3.1 模拟数据实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.3.2 真实数据实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3.3 参数分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59
4.4 本章小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
第 5 章 基于 Laplace 损失函数的鲁棒*小二乘支持向量回归机 . . . . . . . . . . . . . . . . . . . 63
5.1 基于 Laplace 损失函数的鲁棒*小二乘支持向量回归机 . . . . . . . . . . . . . . . . . . . . . 63
5.2 算法实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.3 数值实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.3.1 模拟数据实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.3.2 真实数据实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.4 本章小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
第 6 章 基于*大相关熵准则的鲁棒中心支持向量回归机 . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
6.1 中心支持向量回归机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
6.2 *大相关熵准则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.3 基于*大相关熵准则的鲁棒中心支持向量回归机. . . . . . . . . . . . . . . . . . . . . . . . . . . .73
6.4 数值实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
6.4.1 模拟实验. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .77
6.4.2 真实数据实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
6.5 本章小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
第 7 章 抗标签噪声的鲁棒*小二乘支持向量回归机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
7.1 鲁棒*小二乘支持向量分类机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
7.1.1 *小二乘支持向量分类机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
7.1.2 Ramp 损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
7.1.3 基于 Ramp 损失函数的鲁棒*小二乘支持向量机 . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
7.2 数值实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
7.3 本章小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
第 8 章 *小二乘支持向量机在洪水流量和煤炭发热量预测的应用. . . . . . . . . . . . . . . . . .92
8.1 *小二乘支持向量机在洪水流量预测应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
8.1.1 滚动时间窗. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .92
8.1.2 新疆玛纳斯河流域洪水流量预测应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .93
{ viii {
目 录
8.2 *小二乘支持向量机在煤炭发热量的预测应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
8.2.1 模型评价指标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
8.2.2 山西煤炭主产区煤炭发热量预测应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .98
8.3 本章小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
后记 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

支持向量机鲁棒性模型与算法研究 作者简介

王快妮，女，1982年12月出生，博士，讲师。2015年6月毕业于中国农业大学运筹与管理专业，取得博士学位。现任西安石油大学理学院教师。主要从事数学学科的教学和机器学习方面的科研工作，研究方向为支持向量机模型与算法研究。主持国家自然科学基金项目专项基金项目数学天元基金项目1项，西安石油大学青年科技创新基金项目1项，中国农业大学研究生科研创新项目1项，参与国家自然学习基金项目3项。目前已发表学术论文19篇，其中以第一作者发表SCI、EI收录论文8篇。