Технические разделы

Вычисление безусловной и условной энтропии источника

Поскольку сообщения случайные, то и количество информации является случайной величиной. Для того чтобы охарактеризовать источник более полно используют среднюю меру, называемую энтропией. Отсюда, энтропия - это математическое ожидание по частным количествам информации сообщений, генерируемых источником. Безусловная энтропия источника вычисляется по формуле

[бит/сообщ.](8)

В данную формулу подставляются значения априорных вероятностей появления отдельных символов, вычисленных в пункте 1. Отметим, что формула (8) не учитывает статистическую связь между символами, поэтому такая энтропия называется безусловной.

Энтропия является показателем средней априорной неопределенности при выборе очередного символа из источника. Выражение (8) можно рассматривать, как меру неопределенности (энтропии) состояния источника, заданного своими безусловными вероятностями.

Из выражения (8) следует, что энтропия источника равна нулю тогда и только тогда, когда одна из вероятностей равна единице, а остальные вероятности соответственно равны нулю, т.е. когда имеет место полной определенности выбора.

С другой стороны, легко показать, что наибольшая неопределенность выбора при заданном объёме алфавита K соответствует ситуации, когда априорные вероятности всех выборов равны между собой. В этом случае энтропия равна

,[бит / сообщ] . (9)

Между значениями величин энтропий, вычисленными по формулам (8) и (9), должно соблюдаться очевидное условие

(10)

Учет статистических связей между символами, последовательно выбираемых источником ведет к дальнейшему уменьшению энтропии, определяемой формулой (8), не учитывающей этой связи. На самом деле, чем больше вероятностные связи символов, тем меньше свобода выбора последующих символов, тем меньше в среднем информации приходится на каждый вновь выбираемый символ источника и тем меньше энтропия. Энтропия, учитывающая статистическую зависимость между символами, называется условной и находится по формуле

[бит/сообщ] ,(11)

где(12)

условная частная энтропия, вычисляемая для каждого символа . Для расчета условной энтропии по формулам (11), (12) необходимо использовать переходные вероятности , найденные раньше в пункте 1.2 курсавой работы.

Как следует из вышесказанного, между условной энтропией (11) и безусловной энтропией должно соблюдаться неравенство

.(13)

По сравнению с безусловной энтропией, условная энтропия учитывает более тонкую структуру вероятностных свойств источника, поэтому, является более точной характеристикой источника. В дальнейшем, всюду, говоря об энтропии, будем иметь в виду условную энтропию.

Для рассматриваемого варианта задания расчеты по формулам (8)-(12) имеют вид:

бит/сообщ,

бит/сообщ,

бит/сообщ,

бит/сообщ,

бит/сообщ,

бит/сообщ.

Наличие в сообщении большего числа букв или в кодовой комбинации большего числа элементов, чем это минимально необходимо для передачи содержащегося в них количества информации, называют избыточностью. Расчет избыточности проводится по формуле:

(14)

Следующей, рассчитываемой в курсовой работе, характеристикой источника является производительность источника, под которой понимают среднее количество информации, создаваемой источником в единицу времени:

Перейти на страницу: 1 2

Еще статьи по технике и технологиям

Расчёт параметров измерительных приборов для измерения электрического тока, напряжения и сопротивления, определение их метрологических характеристик
Измерения - один из важнейших путей познания природы человеком. Они играют огромную роль в современном обществе. Наука и промышленность не могут существовать без измерений. Недаром великий русский учёный Дмитрий Иванович Менделеев ...

Устройство измерения температуры окружающей среды, напряжения на выходах потенциометра, управление звуковым излучателем и часы
Первое, что привлекает внимание в PIC-контроллерах - это простота и эффективность. В основу концепции PIC, единую для всех выпускаемых семейств, была положена RISC-архитектура с системой простых однословных команд, примен ...

© 2020 | www.techexpose.ru