Kernel and Kernel: Reproducing Kernel Hilbert Space and Kernel Method

July 19, 2015

Kernel

再生核的定义

Definition. ​$k: \mathcal{X} \times \mathcal{X} \rightarrow \Re$ is a kernel if

1. 核函数 ​$k$ 对称 isymmetric: ​$k(x,y)=k(y,x)$.

2. 核函数 ​$k$ 半正定 positive semi-definite

i.e., ​$\forall x_1, x_2, \ldots , x_n \in \mathcal{X}$, the “Gram Matrix” ​$K$ defined by ​$K_{ij} = k(x_i,x_j)$ is positive semi-definite. (A matrix ​$M \in \Re^{n \times n}$ is positive semi-definite if ​$\forall a \in \Re^n$, ​$a' M a \ge 0$.)

再生核希尔伯特空间是从低维数据到函数泛函映射。Hilbert 空间“Frechet-Riesz”表现定理。

希尔伯特空间是定义了内积的空间；相对应的 Banach 是定义了范数的空间。

Reproducing Kernel Feature Map

再生核特征映射 ​ $$\Phi_x(\cdot) \triangleq k(\cdot,x)$$

即对任意线性泛函​$\Phi(\cdot)$, ​$\exists x_\Phi \in H$, 使得 ​$\Phi(\cdot) = (\cdot, x_\Phi)$

To be continued…