[算法学习] Gaussian Process Regression 高斯过程回归
分享
输入“/”快速插入内容
[算法学习] Gaussian Process Regression 高斯过程回归
4月28日修改
3210
3328
高斯过程回归（Gaussian Process Regression, GPR）
高斯过程回归是一种贝叶斯非参数方法，常用于回归问题。与传统的线性回归或多项式回归不同，高斯过程回归不依赖特定的函数形式，而是通过对数据点之间的关系进行建模，从而预测未知点的分布。
1.
基础知识：
1.1 高斯分布（Gaussian Distribution）
高斯分布（或正态分布）是统计学中最常见的连续概率分布之一，通常用来描述数据点围绕某一均值对称分布的情况。其概率密度函数为：
其中
是均值 (mean)
是方差 (varience)
1.2 高斯过程（Gaussian Process, GP）
高斯过程是一个由多维高斯分布构成的随机过程，它用来描述函数空间上的概率分布。简单来说，高斯过程定义了每个输入（自变量）对应的输出（因变量）都是一个高斯分布，而这些分布之间具有相关性。
高斯过程由以下两部分完全定义：
均值函数
表示给定输入时的期望值
核函数
表示输入之间的相似度（即相关性）。
对于输入集合
, 其对应的输出向量
将服从多元高斯分布：
其中m是均值向量， K是协方差矩阵，由核函数
计算得到
1.3 核函数
核函数（Kernel function）是用来衡量不同输入点之间相似度的核心工具。不同的核函数表达了不同的假设，即我们对数据背后隐藏函数的形状和复杂度的假设。下面是一些常用的核函数：
RBF 核函数（Radial Basis Function Kernel）
也称为高斯核或平方指数核（Squared Exponential Kernel）。
定义为：
RBF 核函数假设函数是非常平滑的，适用于大多数情况，尤其是当数据表现出平滑的变化趋势时。
Matern 核函数（Matern Kernel）
Matern 是 RBF 核的广义形式，提供了对平滑性更灵活的控制。
定义为：
Matern 核函数常用于处理包含较小或较大尺度的变化数据。适用于希望对平滑度有更精确控制的场景。
线性核函数（Linear Kernel）
定义为：