1 / 17

基于最大 margin 决策树归纳的研究

基于最大 margin 决策树归纳的研究. 王海波 符号学习研究组. 报告提纲. 国内外研究现状 存在问题 研究目的与意义 实现思路 进一步的工作. 国内外研究现状之 SVM. SVM 的提出（ Vapnik 1995）. SMO 算法 （ Platt 1998）. 聚类 SVM （Boley 2004）. Margin Tree （ Tibshirani 2007）. 聚类 SVM. 返回. Margin Tree. 国内外研究现状之 SVM 反问题. SVM 反问题的提出. SVM 反问题求解——遗传算法.

ting
Download Presentation

基于最大 margin 决策树归纳的研究

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 基于最大margin决策树归纳的研究 王海波 符号学习研究组

  2. 报告提纲 • 国内外研究现状 • 存在问题 • 研究目的与意义 • 实现思路 • 进一步的工作

  3. 国内外研究现状之SVM • SVM的提出（Vapnik 1995） • SMO算法 （Platt 1998） • 聚类SVM （Boley 2004） • Margin Tree （Tibshirani 2007）

  4. 聚类SVM 返回

  5. Margin Tree

  6. 国内外研究现状之SVM反问题 • SVM反问题的提出 • SVM反问题求解——遗传算法 • SVM反问题求解——K-means聚类 • SVM反问题在决策树中的应用

  7. SVM反问题在决策树中的应用 • 基于最大margin的决策树归纳 求解SVM反问题 获得具有最大margin 的最优超平面

  8. 存在问题 时间复杂度 SMO SVM反问题 聚类解决SVM反问题 SVM反问题的求解

  9. 研究目的与意义 目的： 使SVM反问题的求解在多项式时间内完成，使决策树的训练时间大大缩短。 意义： 由于训练过程的加快，使得基于Margin的决策树归纳可以得到更广泛的应用

  10. 聚类 实现思路

  11. 算法描述及时间复杂度 1 原始数据聚类：三类 2 求margin矩阵：3×(3-1)/2次SMO求解 3 再次聚类得到margin tree 4 求划分超平面:一次SMO求解 新算法时间复杂度：

  12. 进一步工作 • Margin tree 算法的实现及修改 • 增加聚类的类别数

  13. 遇到的问题 • Margin 矩阵的求解 修改SMO方法，使得不进行数据处理也可得到margin 找一种方法，把数据变换后的margin还原回去

  14. 参考文献一 • V.N. Vapnik. The Nature of Statistical Learning Theory, Springer, New York, ISBN 0-387-98780-0,2000. • Platt J C. Fast Training of SVM Using Sequential Minimal Optimization. In Scholkopf B, Burgs CJC, Smola A J eds. Advances In Kernel Methods-Support Vector Machine, Cambridge, MA:MIT press, 1998, 185-208. • Daniel Boley, Dongwei Cao. Training support vector machine using adaptive clustering[A]. Proc. of Fourth SIAM International Conference on Data Mining [ C ] . Lake Buena Vista, FL, United States, 2004. • Robert Tibshirani, Trevor Hastie. Margin trees for high-dimensional classification, Journal of Machine Learning Research Vol. 8, pp.637-652, 2007

  15. 参考文献二 • Volkan Vural, Jennifer G.Dy. A hierarchical method for multi-class support vector machines. International Conference on Machine Learning; Proceeding Series; Vol. 69, 2004. • Xi-zhao Wang, Qiang He, De-Gang Chen, Daniel Yeung. A genetic algorithm for solving the inverse problem of support vector machines. Neuro computing 68(2005):225-238. • Jie Zhu, Shu-fang Wu, Li Xue, Xi-zhao Wang. An improved algorithm for inverse problem of svms based on clustering. IEEE System, Man and Cybernetics Society, vol. 8, pp.4694-4698, 2006. • Ning Li, Xi-zhao Wang, Li Xue. Decision tree induction based on large margin heuristic. IEEE System, Man and Cybernetics Society, vol. 8, pp.4699-4702, 2006.

  16. 参考文献三 • Platt, J., Cristianini, N., & Shawe-Taylor, J. (2000). Large margin dags for multiclass classification. Advances in Neural Information Processing Systems 12 (pp. 547–553).

  17. A&Q 谢谢！

More Related