机器学习算法笔记(三十三):SVM 使用多项式特征与核函数

上文中我们处理 SVM 都是使用线性分类的,也就是假设数据集是线性可分的。本文就着重讨论一下使用多项式特征处理非线性数据的 SVM,并且引出“核函数”的概念。 阅读全文机器学习算法笔记(三十三):SVM 使用多项式特征与核函数

机器学习算法笔记(三十二):支撑向量机(SVM)初探

本文开始我们来探讨另一个著名的机器学习算法——支撑向量机(Support Vector Machine,简称 SVM)。使用支撑向量机既可以解决分类问题,也可以解决回归问题,本文就简要讨论一下 SVM 的基础理解与线性 SVM 的实现。 阅读全文机器学习算法笔记(三十二):支撑向量机(SVM)初探

机器学习算法笔记(三十一):使用决策树解决回归问题、决策树的局限性

前面的文章讨论的都是用决策树解决分类问题:模型参数训练结束后,对每个“叶子”节点的样本数据进行投票,规定数量最多的样本的类型为该“叶子”的预测类型。其实用决策树解决回归问题的思路也很类似,本文就简单探讨一下,并总结决策树的局限性。 阅读全文机器学习算法笔记(三十一):使用决策树解决回归问题、决策树的局限性

机器学习算法笔记(三十):CART 与 CART 的超参数

上文我们讨论了决策树的基本概念,并且利用信息熵和基尼系数两种方式来模拟决策树的划分。其实之前我们实现的决策树又叫 CART(Classification And Regression Tree)。本文我们就来讨论一下 CART 以及 CART 的一些常用的超参数。 阅读全文机器学习算法笔记(三十):CART 与 CART 的超参数