对数几率回归

$$\frac{1}{1+e^{-x}}\$$

模型表达式

1. $sigmoid$函数、激活函数、$s$型函数 $$\frac{1}{1+e^{-x}}\$$

补充

1. 信息论自信息概念：自信息的期望被称为信息熵，信息熵用来衡量变量的不确定性，变量越不确定，信息熵越大。自信息表达式： $$I(x)=-log_b\enspace p(x)$$ {b=2时自信息的单位为bit,b=e时自信息的单位为nat}

2. 信息熵表达式： $$E(I(x))=-\sum\limits_{x}^{}p(x)log_b\enspace p(x)$$

3. 相对熵，又称$KL$散度，可以用于衡量两个分布的差异。假设真实模型为$p(x)$，而我们求解得到的模型是$q(x)$，那么我们就可以用$p(x)$与$q(x)$的相对熵作为$LOSS$函数 $$D_{KL}(p||q) =-\sum\limits_{x}^{}p(x)log_b\enspace p(x)-\sum\limits_{x}^{}p(x)log_b\enspace q(x)$$

   1. 其中p(x)为常数,我们仅需使下述式子最小,即可获得最优模型 $$-\sum\limits_{x}^{}p(x)log_b\enspace q(x)$$