Информационный Завет. Основы. Футурологическое исследование. Роман Александрович Бабкин
Читать онлайн книгу.
борелевских обезьян, не так ли?
Сыграем в игру. Она похожа на игру «да-нет» (вариант – «съедобное-несъедобное»), когда продвигаешься к ответу, отсекая лишние варианты.
У нас есть три слова (are, red, apples). Это заданная длина сообщения. Нам нужно найти фразу, имеющую смысл. Сделаем допущение: мы немного разбираемся в английском языке, и знаем, что сначала должно стоять подлежащее, затем – сказуемое, и замыкает фразу определение. И ещё одно допущение: фразы с повторяющимися словами не отражают нужный нам смысл.
Итак,
1. убрать варианты, где слова повторяются. Таких 21. Остаётся 6;
2. убрать варианты, где первое слово не apples. Таких 4. Остаётся 2;
3. убрать вариант, где второе слово не are. Остаётся один вариант.
Сравним с результатом вычислений по формуле Хартли. I = logN = log27, т.е. округленно 4,8 единиц информации. Или почти пять последовательных операций для преобразования информации из абракадабры в имеющую смысл. Но в нашей игре «да-нет» нам для этого понадобилось всего три шага. Формула Хартли неточна?
Да, это так. Но это не значит, что идея ошибочна. Напомню, что в примере со словами мы сделали несколько допущений, облегчив себе поиск истины.
Возьмём числа (с ними всегда проще и понятнее, чем с буквами и словами) и снова подвергнем формулу проверке.
Допустим, некто загадал число от 1 до 100. Я должен его угадать, использовав минимальное количество вопросов. Согласно формуле Хартли: I = logN = log100, т.е. примерно 6,6 шагов-вопросов мне понадобится. Округлим до 7.
Итак,
1. число больше 50? Ответ: нет.
2. число больше 25? Ответ: нет.
3. число больше 12? Ответ: нет.
4. число больше 6? Ответ: нет.
5. число больше 3? Ответ: да.
6. число больше 5? Ответ: нет.
7. это число 5? Ответ: нет. Значит, загаданное число: 4.
Теоретическое вычисление и практический результат совпали. Формула Хартли доказала свою состоятельность.
Надеюсь, читатель обратил внимание на то, что формула Хартли удивительно напоминает формулу Больцмана для определения величины энтропии термодинамической системы. Это не случайно.
Смысл меры Хартли состоит в том, что она отражает затраты, которые необходимо предпринять, чтобы перевести информацию из неупорядоченной в упорядоченную. И не просто затраты, а затраты минимальные.
И в примере с яблоками, и в примере с числами мы могли бы просто перебирать варианты. В первом случае нам понадобилось бы 27, во втором – 100 шагов (представьте, сколько бы сил и времени занял поиск текста «Гамлета» в творческой куче, которую сотворили обезьяны-машинистки!).
Мы поступили по-другому. Оказалось, что для любой информации есть короткий путь измерения её смысла или ценности, какой бы объёмной они ни была. У всякой информации есть цена. Формула Хартли вычисляет её.
По сути, теоретические работы Найквиста и Хартли – начала информационной теории. Информация,