信息熵

来自中文百科专业版
跳转至: 导航搜索

  信息熵汉语拼音:xìn xī shāng;英语:Information Entropy),信息量的测度。根据人们的实践经验,一个事件给予人们的信息量多少,与这一事件发生的概率(可能性)大小有关。一个小概率事件的发生,给予人们的信息量就很多。相反,一个大概率事件的出现,给人们的信息量就很少。因此,用I(A)=-logp(A)〔p(A)表示事件A发生的概率〕来度量事件A给出的信息量,称为事件A的自信息量。若一次试验有m个可能结果(事件),或一个信源可能产生m个消息(事件),它们出现的概率分别为p1,p2,……,pm,则用H=-Z105.jpgpiogp来度量一次试验或一个消息所给出的平均信息量。H称为信息熵,由于H的表达式与熵的表达式差一个负号,故又称为负熵。