EM算法
引言EM算法是一种迭代算法，用于含有隐藏变量的概率模型的参数估计，比如说高斯混合模型，隐马尔科夫链等等场景。EM算法是一个具有普遍意义的算法，通过不断的提高下界来逼近模型参数。EM算法包含两步，expectation和maximization，即求期望和最大值。EM两个字母完美的表述了EM算法的精髓
...
提升树，bagging与随机森林
提升树是一种以分类树或者回归树为基本分类器的提升方法。
对于分类树只需将adaboost算法中的基函数设置为二分类二叉树即可。
而回归树则是根据残差来训练下一个分类器的回归二叉树。下面主要介绍一下回归提升树的算法。
回归提升树回忆一下，回归树就是将输入空间分割成M个不相关的区域R_1,...,R_M
...
adaboost提升算法
引言俗话说得好，三个臭皮匠赛过诸葛亮。更主要的是三个臭皮匠好找，一个诸葛亮太难找了。在机器学习里面也是一样的。我们可以设计出各种分类器，然而分类器的效果确实不一而同的，相对而言，效果较差的分类器比效果很好的分类器更好设计，后者很多时候可遇而不可求。那么是否有什么方法能够将一系列的弱分类器组合，使其能
...
极大似然估计与贝叶斯估计
引言在机器学习任务中，最最经常遇到的一个问题就是给定一组训练样本，学习到生成这组样本的模型的参数，这也是统计学习的根本任务。我们知道统计学上分频率学派和贝叶斯学派，那么自然的，对这个问题的解决就有两种模型，一种是频率学派推崇的极大似然估计，一种是贝叶斯学派主张的贝叶斯估计，下面我们就来介绍下这两种估
...