Entropia em Teoria e codificação da informação Fórmulas

A entropia é uma medida da incerteza de uma variável aleatória. Especificamente, ele mede a quantidade média de informações contidas em cada resultado possível da variável aleatória. E é denotado por H[S]. Entropia geralmente é medido usando Bit/Segundo para Transferência de dados. Observe que o valor de Entropia é sempre positivo.