самом деле, возможно интерпретировать информацию, передаваемую в сообщении, как фактическое отрицание ее энтропии и как отрицательный логарифм ее вероятности. Иными словами, чем более вероятно сообщение, тем меньше информации оно содержит. Например, словесные клише куда менее содержательны, чем великолепные стихи.