【机器学习基础】贝叶斯神经网络
本系列为《模式识别与机器学习》的读书笔记。
一，混合密度网络作为逆问题，考虑机械臂的运动学问题。正向问题（forward problem）是在给定连接角的情况下求解机械臂末端的位置，这个问题有唯⼀解。然⽽，在实际应⽤中，我们想把机械臂末端移动到⼀个具体的位置，为了完成移动，必须设定合适的连接角。
...
【机器学习基础】神经网络正则化
本系列为《模式识别与机器学习》的读书笔记。
一，相容的⾼斯先验神经⽹络的输⼊单元和输出单元的数量通常由数据集的维度确定，⽽隐含单元的数量 $M$ 是⼀个⾃由的参数，可以通过调节来给出最好的预测性能。
控制神经⽹络的模型复杂度来避免过拟合，根据对多项式曲线拟合问题的讨论，⼀种⽅法是选择⼀个相对⼤的
...
【机器学习基础】Hessian矩阵
本系列为《模式识别与机器学习》的读书笔记。
一，Hessian 矩阵反向传播也可以⽤来计算误差函数的⼆阶导数，形式为
\frac{\partial^{2}{E}}{\partial{w_{ji}}\partial{w_{kl}}}注意，有时将所有的权值和偏置参数看成⼀个向量（记作 $\bold
...
【机器学习基础】前馈神经网络
本系列为《模式识别与机器学习》的读书笔记。
一，前馈神经网络1，前馈神经网络基于固定⾮线性基函数 $\phi_{j}(\boldsymbol{x})$ 的线性组合，形式为
y(\boldsymbol{x},\boldsymbol{w})=f\left(\sum_{j=1}^{M}w_{j}\p
...
【机器学习基础】概率判别式模型
本系列为《模式识别与机器学习》的读书笔记。
一，概率判别式模型考察⼆分类问题，对于⼀⼤类的类条件概率密度 $p(\boldsymbol{x}|\mathcal{C}_k)$ 的选择， 类别 $\mathcal{C}_1$ 后验概率分布可以写成作⽤于 $\boldsymbol{x}$ 的线性函数上
...
【机器学习基础】概率生成式模型
本系列为《模式识别与机器学习》的读书笔记。
一，概率生成式模型⾸先考虑⼆分类的情形。类别 $\mathcal{C}_1$ 的后验概率可以写成
\begin{aligned}p(\mathcal{C}_1|\boldsymbol{x})&=\frac{p(\boldsymbol{x}|\math
...
【机器学习基础】判别函数
本系列为《模式识别与机器学习》的读书笔记。
一，分类线性模型概述分类的⽬标是将输⼊变量 $\boldsymbol{x}$ 分到 $K$ 个离散的类别 $\mathcal{C}_k$ 中的某⼀类。 最常见的情况是， 类别互相不相交， 因此每个输⼊被分到唯⼀的⼀个类别中。因此输⼊空间被划分为不同的决
...
【机器学习基础】贝叶斯线性模型
本系列为《模式识别与机器学习》的读书笔记。
一，贝叶斯线性回归1，参数分布关于线性拟合的贝叶斯⽅法的讨论，⾸先引⼊模型参数 $\boldsymbol{w}$ 的先验概率分布。现在这个阶段，把噪声精度参数 $\beta$ 当做已知常数。⾸先，由公式(3.8)定义的似然函数 $p(t|\boldsy
...
【机器学习基础】线性基函数模型
本系列为《模式识别与机器学习》的读书笔记。
一，线性基函数模型1，线性基函数回归问题的⽬标是在给定 $D$ 维输⼊（input） 变量 $\boldsymbol{x}$ 的情况下， 预测⼀个或者多个连续⽬标（target）变量 $t$ 的值。
通过将⼀组输⼊变量的⾮线性函数进⾏线性组合， 我们可
...
【机器学习基础】概率分布之指数族分布
本系列为《模式识别与机器学习》的读书笔记。
一，指数族分布1，指数族分布基本概念参数为 $\boldsymbol{\eta}$ 的变量 $\boldsymbol{x}$ 的指数族分布定义为具有下⾯形式的概率分布的集合：
p(\boldsymbol{x|\eta}) = h(\boldsymbo
...