Эта единица называется двоичной единицей,
Эта единица называется двоичной единицей, или битом (binary digit, bit). Итак, при любой неопределенности сужение области выбора вдвое дает одну единицу информации. В физике существует понятие энтропии, которая характеризует степень неупорядоченности (хаотичности) физической системы. Неупорядоченность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, так энтропия системы снизилась, ибо для наблюдателя система стала более упорядоченной. И если максимум энтропии соответствует абсолютно случайному состоянию системы, то максимум информации характеризует полностью упорядоченную (детерминированную) систему. Одним словом, энтропия системы выражает степень ее неупорядоченности, а информация дает меру ее организации.
Формулу измерения количества информации можно получить эмпирически: для снятия неопределенности в ситуации из двух равновероятных событий необходим один бит информации; при неопределенности, состоящей из четырех событий, достаточно двух бит информации, чтобы угадать искомый факт. Это рассуждение можно продолжить: 3 бита информации соответствуют неопределенности из 8 равновероятных событий, 4 бита - 16 равновероятных событий и т. д. Таким образом, если сообщение указывает на один из n равновероятных вариантов, то оно несет количество информации, равное Iog2 n. Действительно, из наших примеров Iog216 = 4, Iog28 = 3 и т. д. Ту же формулу можно словесно выразить иначе: количество информации равно степени, в которую необходимо возвести 2, чтобы получить число равноправных вариантов выбора, т. е. 2i = 16, где i
= 4 бита.
Будем различать понятия «информация» и «сообщение». Под сообщением обычно подразумевают информацию, выраженную в определенной форме и подлежащую передаче. Сообщение - это форма представления информации. Есть одна особенность, которая связана с количеством хранимой или переданной информации, представленной в двоичных единицах, и количеством информации, заключенным в данном сообщении.
Forekc.ru
Рефераты, дипломы, курсовые, выпускные и квалификационные работы, диссертации, учебники, учебные пособия, лекции, методические пособия и рекомендации, программы и курсы обучения, публикации из профильных изданий