大数据热词：熵 entropy

熵(entropy)指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵的概念由鲁道夫·克劳修斯(Rudolf Clausius)于1850年提出，并应用在热力学中。1948年，克劳德·艾尔伍德·香农(Claude Elwood Shannon)第一次将熵的概念引入信息论中。