Энтропия — это мера неопределенности случайной величины. В частности, он измеряет среднее количество информации, содержащейся в каждом возможном результате случайной величины. И обозначается H[S]. Энтропия обычно измеряется с использованием Бит / сек для Обмен данными. Обратите внимание, что значение Энтропия всегда равно позитивный.