Нейронное программирование диалоговых систем. Сергей Толкачев
Читать онлайн книгу.
сообщения, и после S1.
I = k * ∆ = S – S1
Возможность измерять информацию является принципиальным свойством, позволяющим анализировать взаимодействия систем, и в некоторых случаях такое измерение может быть проведено в соответствии с определением информации, сформулированным Клодом Шенноном в работе «А Mathematical Theory of Communication» [22]. Шеннон рассматривает модель коммуникационной системы, состоящей из пяти компонент: Источник информации, Передатчик, Канал, Приемник и Получатель (рис. 14).
Рис. 14. Схема коммуникационной системы по Шеннону
Для того чтобы эту схему применить к современным информационным системам, нам понадобится внести в нее некоторые дополнения. Предположим, что Источник информации – это набор страниц, размещенных на каком-либо сайте, Передатчик – это Веб-сервер, а Приемник – персональный компьютер (рис. 15). В этой схеме используются все те же основные элементы коммуникационной системы Шеннона, только их количество увеличивается и, что является наиболее существенным, значительно увеличивается объем передаваемой информации.
Рис. 15. Схема взаимодействия в Интернет
Рассмотрим в качестве примера запрос в систему Google на поиск документов, в которых встречается комбинация слов – «information and energy». В результате мы получим список из ссылок на более чем 27 миллионов страниц! Если предположить, что искомая информация, которая представляет собой ответ на индивидуальный запрос, может содержаться в любой из этих страниц и считать, что объем средней страницы в Интернет составляет порядка 20 Кбайт, то суммарная длина L сообщения М, которое все серверы готовы передать в канал для последующей обработки в персональный компьютер будет 5x1014 Байт.
При скорости приемника 100 Мбит/сек понадобится больше года для того, чтобы один персональный компьютер сумел получить все страницы. Если, однако увеличить скорость передачи на порядок и использовать при получении этого потока не один, а 100 процессоров, время, необходимое для того, чтобы получить это сообщение, может быть сокращено до вполне приемлемого, однако совершенно очевидно, что человек при этом будет не в состоянии прочитать 27 миллионов страниц, с какой бы скоростью они не поступали на его письменный стол.
Шеннон рассматривал каналы с шумами, в которых элементом данных является символ, что можно сравнить с потоками индивидуальных молекул, перетекающих из одного сосуда в другой под действием некоторой силы. Такая модель позволяет совершенно точно определить физические характеристики каждой отдельной молекулы, но ничего не говорит о состоянии всего сосуда в целом. Для того чтобы говорить о температуре, необходимо перейти от молекул к объемам газа. Также и символьная теория информации – позволяет нам точно оценить передаваемые потоки данных