PLS简介

字数统计: 945 | 阅读时长≈ 3 分钟

PLS 即 Partial Least Squares 偏最小二乘法。

简介

适用特点：数据量小、数据维数高、数据多重共线性
为什么？考虑回归问题 $y=\alpha +\beta X+\epsilon$ ，那么最小二乘回归（最大化X、y协方差）
$\beta=(X'X)^{-1}X'y$
即需要 $X’X$ 可逆满秩，$X$ 的样本（行数）需要多于特征（列数），且特征之间没有线性相关性（共线性）。
对比：
- PCA：
- $X=TP'=T_kP_k'+E\\$
  使用SVD求：
- $X=USV',T=US,P=V,X=TP'$
  但是PCA没有利用预测信息即 $y$ ，有些PC和预测没有关系。
PLS模型：
$X=TP'+E\\ Y=UQ'+F$
其中 $X$ 为 $n×m$ 观测矩阵，$Y$ 为 $n×p$ 响应矩阵。$T/U$ 为 $n×l$ 的得分矩阵（或成分矩阵），$P/Q$ 为 $m/n ×l$ 的正交载荷矩阵，$E/F$ 为残差。
要求：$\max \text{Cov}(T,U)$ 。类似PCR，观测矩阵被分解为得分矩阵和载荷矩阵的外积，但是PCR中 $X=TP’, T=XW, P=W$ 即权值和载荷相同，这一点不同于PLS（ PLS1中 $w=X’y$ ，正比于X和y的协方差）。

$w_1=\frac{X'_{0}u_{1}}{u_1'u_1}\\ w_1\leftarrow \frac{w_1}{\|w_1\|}$

$t_1=X_{0}w_1$

$p_1=X_0'\frac{t_1}{t_1't_1}\\ q_1=Y_{0}'\frac{u_1}{u_1'u_1}\\$

$X_1=X_{0}-t_1p_1'\\ b_1=u_1't_1/t_1't_1\\ Y_1=Y_{0}-u_1q_1'=Y_0-b_1t_1q_1'$

$\hat{\beta}=W(P'W)^{-1}q\\ \hat{\alpha}=\overline{y}-\overline{x}\hat{\beta}$

否则需解：

$M=X_{a-1}'Y_{a-1}Y_{a-1}'X_{a-1}$
其最大特征值为 $\theta_a^2$，单位特征向量为 $w_a$ ， $v_a$ 可由其计算得出。
第一轮之后的权重把残差变换到因子，不对原始数据变换

$S=X_0’Y_0$

for i=1 to k

if i=1: $[u,s,v]=SVD(S)$

if i>1: $[u,s,v]=SVD(S-P{i-1}(P{i-1}’P{i-1})^{-1}P’{i-1}S)$

$r_i=u(:,1)$

$t_i=X_0r_i$

$p_i=X’_0t_i/t_i’t_i$

end

$B_{PLS}=R_k(T_k’T_k)^{-1}T_kY_0$