机器学习算法笔记(三十八):Boosting

之前我们讨论的集成模型的方式都是独立的集成多个模型,对于每个模型我们令它有一定的差异,最终综合这些模型的结果获得学习的最终结果。而本文我们来讨论另一种集成学习的思路——Boosting。 阅读全文机器学习算法笔记(三十八):Boosting

机器学习算法笔记(三十七):随机森林与Extra-Trees

前面的笔记我们讨论了 Bagging 这种方法,即用随机取样、在特征空间中随机取特征,创建诸多子模型并将它们结合在一起。之前我们在实现 Bagging 时运用到基础的分类器是决策树,于是我们就集成了成百上千个决策树,对于这样的模型,就有一个更加形象的名字——随机森林。 阅读全文机器学习算法笔记(三十七):随机森林与Extra-Trees

2020,开启新的征程

那些疯狂到以为自己能够改变世界的人,才能真正改变世界。——苹果《非同凡想》广告

跨年夜这一天,由于我还在家里抢救期末考试,所以基本上是抱着书本跨年的,没想着像去年一样写一篇文章。现在坐在从苏州回杭州的列车上,才空下来写下这篇总结。 阅读全文2020,开启新的征程

机器学习算法笔记(三十六):Bagging

虽然我们上文实现了简单的集成学习,但是它还是存在着问题——从投票的角度来看,这些算法仍然不够。如果我们想尽量保证最终有好的结果的话,我们希望有成千上万的投票者来保证最终的结果更加可信(概率论中的“大数定理”)。所以我们就需要创建更多子模型、集成更多子模型的意见,且子模型之间要用差异性,创建差异性的一个重要思路就是对子模型运用放回取样(Bagging)不放回取样(Pasting)阅读全文机器学习算法笔记(三十六):Bagging