朴素贝叶斯算法
引言bayes在统计学上是一个非常重要的概念，直接导致了一个流派的诞生，本章我们首先回顾一下bayes公式，以及其在统计学上的一些概念，然后将其引入到机器学习中，引出朴素贝叶斯算法。朴素贝叶斯算法在垃圾邮件过滤等问题上应用广泛，是一个很简单且很实用的算法。
Bayes定理在数学上，我们用贝叶斯定理表
...
logistic回归
引言logistic回归是一种很早期的回归模型，属于广义的线性回归，用于数据挖掘，经济预测等多种场景。本章我们首先引入线性回归模型，然后给出逻辑回归的定义，以及二次逻辑回归，同时给出logistic回归的参数训练方法，最后给出logistic回归于神经网络的关系
线性回归所谓的线性回归，其实就是用下
...
早期深度神经网络的问题
引言在神经网络最开始被提出来的时候，人们设计的网络大多是这个样子的
一个输入层，一个输出层，一个隐藏层，用这样的网络能够解决很多实际的问题。但是一层隐藏层的网络能够学习到的东西毕竟是有限的，自然而然的人们就想到将网络进行扩展，给神经网络多增加隐藏层，那么神经网络就应该能够学习到更加复杂的模型，就如
...
神经网络之softmax神经元
引言在之前的内容里，我们采用的是sigmoid函数作为输出层神经元。这里我们介绍一种softmax函数作为新的输出层。
softmax函数softmax本质上是一种归一化的过程，假设神经元的带权输入为：
z_j^L= \sum_k w_{jk}^La^{L-1}_k + b_j^L定义输出神经元的激
...
神经网络之代价函数的选择
引言上一章节，我们介绍了神经网络，同时在后面的扩展遗留了几个问题。其中一个问题就是代价函数的选择。常规的机器学习算法中，我们都是选取的二次函数作为代价函数，这个没有什么大的问题，但是本章我们分析一下二次代价函数，看下二次代价的性质，同时看下是否有其他更好的代价函数可供我们选择。
二次代价函数上一章节
...