二分类线性判别分析

$$ max\enspace J =\frac{||w^Tu_0-w^Tu_1||_{2}^{2}}{w^T\sum\nolimits_{0}w + w^T\sum\nolimits_{1}w} $$

特点

1. 算法原理:

   1. 从几何的角度,找到一条穿过中心原点的投影线,让全体训练样本经过投影后:

      1. 异类样本的中心尽可能远
      2. 同类样本的方差尽可能小

2. LOSS函数推导：

   1. 设$u_0$、$u_1$分别是所有正样本、负样本在投影线上的投影中心,经过投影后,异类样本的中心尽可能远 $$ max||w^Tu_0-w^Tu_1||_{2}^{2} $$

   2. 经过投影后,同类样本的方差尽可能小 $$ min\enspace w^T\sum\nolimits_{0}w $$

   3. 联合两个式子,我们最终的损失函数就是 $$ max\enspace J =\frac{||w^Tu_0-w^Tu_1||_{2}^{2}}{w^T\sum\nolimits_{0}w + w^T\sum\nolimits_{1}w} $$

补充

1. 2-范式:求向量的模长 $$ ||x||_2=(\sum\limits_{i=1}^{N}|x_i|^2)^{\frac{1}{2}} $$

求解方法

1. 拉格朗日乘数法