Вероятностный подход к измерению дискретной и непрерывной информации

В основе теории информации лежит предложенный Шенноном способ измерения количества информации, содержащейся в одной сл.в., относительно другой сл.в., Этот способ приводит к выражению количества информации числом.

Для д.с.в. и , заданных законами распределения , и совместным распределением , количество информации, содержащейся в относительно , равно

Для непрерывных сл.в., и , заданных плотностями распределения вероятностей , и , аналогичная формула имеет вид

Очевидно, что

и, следовательно,

Энтропия д.с.в. в теории информации определяется формулой

Свойства меры информации и энтропии:

, и независимы;
;
- константа;
, где ;
. Если , то - функция от . Если - инъективная функция1) от , то .

Логарифмированием из очевидного для всех

неравенства (равенство устанавливается только при ) получается неравенство или

т.е. только при для всех и , т.е. при независимости и . Если и независимы, то

и, следовательно, аргументы логарифмов равны 1 и, следовательно, сами логарифмы равны 0, что означает, что ;
Следует из симметричности формул относительно аргументов;
Если , то все члены суммы, определяющей , должны быть нули, что возможно тогда и только тогда, когда - константа;
Из четырех очевидных соотношений

получается
Нужно доказать или .

но , а значит аргументы у всех логарифмов не больше 1 и, следовательно, значения логарифмов не больше 0, а это и значит, что вся сумма не больше 0.

Если , то для каждого

равно либо , либо 0. Но из

следует , что возможно только в случае, когда - функция от .

При независимости сл.в., и одна из них ничем не описывает другую, что и отражается в том, что для таких сл.в., .

Рассмотрим пример измерения количества информации при подбрасывании двух игральных костей.

Пусть заданы д.с.в. , и . и - количества очков, выпавших соответственно на 1-й и 2-й игральной кости, а . Найти , , .

Законы распределения вероятностей для д.с.в. и совпадают, т.к. кости одинаковые и без изъянов.

Закон распределения вероятностей для д.с.в. ,

вследствие того, что , - независимы и поэтому

будет

Таблицы, определяющие :

Закон совместного распределения вероятностей д.с.в. и будет например,

В общем случае получится

Тогда

Здесь , что соответствует свойствам информации.

Подчеркнутый член в расчете соответствует информации о двух случаях из 36, когда и , которые однозначно определяют . Шесть случаев, когда , не несут никакой информации об , что соответствует подчеркнутому члену .

Расчеты можно проводить, используя 4-е свойство информации, через энтропию.

Расчет количества информации с использованием 4-го свойства, а не определения, обычно требует меньше вычислений.

Рассмотрим более простой пример. Пусть д.с.в. равна количеству очков, выпавших на игральной кости, а д.с.в. равна 0, если выпавшее количество очков нечетно, и 1, если выпавшее количество очков четно. Найти и .

Составим законы распределения вероятностей д.с.в. и .

Таким образом, при и, соответственно, при .

Составим также закон совместного распределения вероятностей этих д.с.в.

Таким образом,

Точное количество выпавших очков дает точную информацию о четности, т.е. 1бит. Из бит/сим и 3-го свойства информации следует, что информация об полностью определяет , но не наоборот, т.к. бит/сим. Действительно, функционально зависит от , а от

функционально не зависит.

Расчеты через энтропию будут следующими

Упражнение 5

Найти энтропию д.с.в. , заданной распределением

Упражнение 6

Значения д.с.в. и определяются подбрасыванием двух идеальных монет, а д.с.в. равна сумме количества "гербов", выпавших при подбрасывании этих монет. Сколько информации об содержится в ?

Упражнение 7

Сколько информации об содержится в д.с.в. , где независимые д.с.в. и могут с равной вероятностью принимать значение либо 0, либо 1? Найти и . Каков характер зависимости между и ?

Упражнение 8

д.с.в. , - зависимы и распределены также как и соответствующие д.с.в. из предыдущей задачи. Найти , если совместное распределение вероятностей и

описывается законом

Упражнение 9

д.с.в. и определяются подбрасыванием двух идеальных тетраэдров, грани которых помечены числами от 1 до 4.

д.с.в.

равна сумме чисел, выпавших при подбрасывании этих тетраэдров, т.е. . Вычислить , и .

Упражнение 10

Подсчитать сколько информации об содержится в д.с.в. , а также . д.с.в. и берутся из предыдущего упражнения.

Упражнение 11

д.с.в. может принимать три значения , 0 и 1 с равными вероятностями. д.с.в. с равными вероятностями может принимать значения 0, 1 и 2. и - независимы. . Найти , , , , .

Упражнение 12

Найти энтропии д.с.в. , , и количество информации, содержащейся в относительно .

и - независимы и задаются распределениями

1)

Функция

-инъекция, если на разных значениях аргумента, она принимает разные значения.

Содержание раздела