自信息与熵
自信息（Self-Informaiton）
自信息是一个事件的信息量，用来衡量一个事件发生的意外程度。其是通过事件 的概率来定义的。当 越大，事件发生的概率越大，那么自信息越小，其信息量越小。因此我们可以直觉定义如下：
由于引入对数函数不会影响函数的单调性，因此我们可以引入对数函数来定义自信息。
更严谨的定义是：对于随机变量 ，其拥有概率质量函数（PMF） ，则其自信息定义为：
考虑 Logit，其定义用于表示一个事件发生的概率比，我们可以改写其公式：
熵（Entropy）
熵是用于衡量随机变量的不确定性（uncertainty）的度量。而不确定性我们可以认为是我们对低概率事件发生概率的期望。
换句话说，对于事件 ，如果发生我们低概率其发生的事件次数很多，则说明其越不确定。
因此我们可以认为熵是自信息的期望，即我们可以将熵定义为：
对于随机离散变量 ，其值域为 ，其概率密度函数为 ，则其熵定义为：
对于连续变量，我们会使用不同公式。具体请参照 Wikipedia。