(эта формула напоминает формулу энтропии).

      Итак, сообщение, полученное на базе большого количества символов, число комбинаций которых достигает астрономической величины, оказывается высокоинформативным, но вместе с тем и непередаваемым, ибо для этого необходимо слишком большое число операций выбора. Но эти операции требуют затрат, идет ли речь об электрических сигналах, механическом движении или мышлении: всякий канал обладает ограниченной пропускной способностью, позволяя осуществить лишь определенное число операций выбора. Следовательно, чтобы сделать возможной передачу информации и построить сообщение, необходимо уменьшить значения N и h. И еще легче передать сообщение, полученное на основе системы элементов, число комбинаций которых заранее ограничено. Число выборов уменьшается, но зато возможности передачи сообщений возрастают.

      Упорядочивающая функция кода как раз и позволяет осуществить коммуникацию, ибо код представляет собой систему вероятностей, которая накладывается на равновероятность исходной системы, обеспечивая тем самым возможность коммуникации. В любом случае информация нуждается в упорядочении не из-за ее объема, но потому, что иначе ее передача неосуществима.

      С введением кода число альтернатив такого высокоэнтропийного источника, как клавиатура пишущей машинки, заметно сокращается. И когда я, человек знакомый с