1. Как зависит энтропия незнания ответа на какой-либо вопрос от того, насколько равны вероятности всех возможных ответов на него?

      2. Как изменяется величина информации с ростом числа возможных ответов на интересующий нас вопрос?

      3. Чем различается написание чисел в десятичной и двоичной системах?

      1. Подсчитайте, сколько вопросов, допускающих ответы «да» или «нет», требуется задать для того, чтобы установить одного из жителей города с населением 65 тыс. человек.

      2. Выразите номер этого параграфа в двоичной системе.

      § 12 Ценность и избыточность информации

      …Нелегко с Кощеем сладить: смерть его на конце иглы, та игла в яйце, то яйцо в утке, та утка в зайце, тот заяц в сундуке, а сундук стоит на высоком дубу, и то дерево Кощей как свой глаз бережёт.

      Используя уравнения теории информации, мы можем вычислить, какое количество информации содержится в полученном сообщении. Но оценив значение информации в нашей жизни и в окружающем нас мире, мы увидим, что это количество далеко не всегда определяет важность, ценность или полезность этого сообщения. Предположим, вы претендуете на престижное место работы или на место для обучения в известном университете. После предварительного отбора вы становитесь одним из двух претендентов на это место, причём шансы у обоих приблизительно равны. Вы переживаете и не даёте себе покоя в течение нескольких дней и наконец получаете сообщение, в котором говорится, что вы приняты. Это сообщение радикально меняет вашу жизнь, вашему счастью нет предела… А сейчас задумайтесь, сколько информации оно вам принесло. Всего один бит. Теперь представьте себе, что вы уронили монету и, перед тем как её поднять, заметили, что она лежит цифрой кверху. Это наблюдение принесло вам один бит информации, т. е. ровно столько же, сколько в предыдущем случае.

      Но согласитесь, что оценка и последствия двух этих событий между собой несоизмеримы.

      Поэтому в современной информатике помимо количества информации рассматривается её ценность. Ценность информации зависит от цели, которую преследует получатель этой информации. Если цель наверняка достижима, то можно определить ценность информации в соответствии с тем, насколько она уменьшает усилия или время, требуемые для достижения этой цели. Такой ценностью обладает информация, содержащаяся в поисковых системах, справочниках и каталогах. Если же достижение цели необязательно, то, для того чтобы определить ценность информации, можно воспользоваться такой формулой:

      V = (P – p)/(1 – p).

      В этой формуле V означает ценность информации, p – вероятность достижения цели до получения информации, а P – после её получения. Если после того, как вы получили сообщение, вы наверняка достигнете цели, то P = 1 и ценность полученной информации равна единице, т. е. своему наибольшему значению. Если же после этого сообщения вероятность достижения цели не изменилась,

---

Скачать книгу