Количественное определение информации. Энтропия и производительность дискретного источника сообщений

Задание 1. Количественное определение информации. Энтропия и производительность дискретного источника сообщений

Задание:

1.   Найти количество информации, содержащейся в каждом из символов источника при их независимом выборе (источник без памяти). Вычислить энтропию и избыточность заданного источника.

.     Показать, что при равных объемах алфавитов К, энтропия Н(А) имеет максимальное значение Нмакс(А) = Iog2K при равновероятных символах.

.     Описать физические характеристики дискретных каналов и сигналов, а также процесс преобразования дискретных сообщений в электрические сигналы.

Исходные данные:

Источник сообщений выдает символы из ансамбля А={αi} (где i = 1,2,,3,4,5) с вероятностями, представленными в табл.1 в зависимости от последней цифры шифра.

Таблица 1

Решение:

.        Количество информации I (ai), содержащееся в символе ai, выбираемом из ансамбля {ai} (i=1,2,3,…,K), где К - объем алфавита, с вероятностью P(αi), причем P(αi) = 1, определяется по формуле

I (αi) = -Iog2 P (αi).

Основание логарифма может быть произвольным, оно определяет лишь систему единиц измерения количества информации.

Информация измеряется в двоичных единицах (битах). Одна двоичная единица информации - это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью символов.

I (α1) = -Iog2 P (α1) = -log2 (0.2) = 2,322 бита;(α2) = -Iog2 P (α2) = -log2 (0.3) = 1,737 бита;(α3) = -Iog2 P (α3) = -log2 (0.25) = 2,000 бита;(α4) = -Iog2 P (α4) = -log2 (0.15) = 2,737 бита;(α5) = -Iog2 P (α5) = -log2 (0.1) = 3,322 бита;

Средне количество информации Н(А), приходящееся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита К, можно найти как математическое ожидание дискретной случайной величины I (αi), определяющей количество информации, содержащейся в одном случайно выбранном символе (знаке) (αi).

H(A) = M{I(ai)} = -

Эта величина называется энтропией источника независимых сообщений.

H(A) = M{I(ai)} = -=

Одной из информационных характеристик дискретного источника является избыточность

u= 1 -

Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми символами (памятью источника), так и от степени неравновероятности отдельных символов.

u= 1 -=

Если источник без памяти, т.е. последовательно передаваемые символы независимы, все символы равновероятны P(αi) = 1/K, то Н(А) и избыточность pи=0.

2.      Если объем алфавита К=2 и все сообщения источника считать равновероятными, тогда по закону о полной вероятности:

P(a1)+ P(a2)=1 следовательно P(a2)=1- P(a1).

И энтропия определяются следующим образом:

Н’(А)=

Данные заносим в таблицу 3

Таблица 3

На графике видно, что энтропия имеет свое максимальное значение НМАКС(А)=log2K при равновероятном распределении вероятностей, т. е. при Р1=Р2=1/2.

Рисунок 1. Зависимость энтропии при равновероятном распределении вероятностей

3.      Конкретный канал связи обладает определенными физическими параметрами, от которых зависит возможность передачи по нему тех или иных сигналов. Независимо от назначения непрерывного канала его можно характеризовать тремя основными параметрами: временем , в течение которого он предоставляется для передачи сигнала ТК , шириной полосы пропускания сигнала FK и доступным превышением сигнала над помехой в канале НК. Причем

НК= log(PUmax/P).

Для проводных каналов превышение в основном определяется пробивным напряжением и уровнем перекрёстных помех, для радиоканалов возможностями выявления сигнала на соответствующих расстояниях.

Произведение указанных основных параметров канала связи принято называть ёмкостью канала и обозначать VK:

VK= НК ТК FK

При оценке возможностей передачи сигнала по каналу с заданными физическими характеристиками также ограничивается рассмотрением трех основных параметров сигнала: его длительности ТС, ширины спектра FC и превышением над помехой HC , причем

HC=log(PU/Pζ)

где PU- средняя мощность передаваемого сигнала; Pζ-средняя мощность помехи в канале.

Превышение HC связано с возможностями передатчика и дальностью передачи. Чем больше HC , тем меньше вероятность ошибочного приема. Аналогично объёму канала вводится понятие объема (ёмкости ) VC передаваемого сигнала :

VC= НС ТС FС

Когда канал имеет меньшую полосу пропускания, чем практическая ширина спектра, подлежащего передачи сигнала, последнюю можно уменьшить за счет увеличения длительности сигнала.

Объём сигнала при этом сохраняется неизменным.

Если, наоборот, широкополосный канал предоставляется на время меньшее длительности сигнала, то согласование осуществляется за счет расширения спектра сигнала.

При низком допустимом уровне превышения сигнала в канале преобразование заключается в уменьшении уровня превышения предаваемого сигнала с одновременным увеличением его длительности путем многократного повторения передачи.

Возможны и другие виды преобразования.

Преобразование дискретного сообщения в сигнал обычно осуществляется в виде двух операций - кодирования и модуляции.

Для преобразования дискретного сообщения в электрический сигнал используется так называемый цифроаналоговый преобразователь (ЦАП).

Он преобразует последовательный двоичный код в эквивалентное напряжение.

Один из вариантов построения схем ЦАП, основан на методе суммирования фиксированных напряжений нескольких источников, каждое из которых соответствует определённому разряду двоичного кода. Рисунок 2.

UВЫХ(t)= UВЫХ =-(Q0+ 2Q1+4 Q2+8 Q3 ), где Q0, Q1, Q2 и Q3 - кодовые числа соответствующего разряда

Рисунок 2. Простейшая схема четырехразрядного ЦАП

информация символ источник энтропия

Задание 2

Задание: записать двоичным кодом свою фамилию по методу Шеннона-Фено.

Решение:

Новиков : 1000001101010110101110011010

Н-1000

О-001

В-10101

И-0110

К- 10111

О- 001

В-10101

Таблица 4 .

Задание 3

Задание:

.        Канал связи с полосой FK предполагается использовать в течении ТК секунд. В канале действует шум с равномерной спектральной плотность мощности GШ мВт/Гц. Какова предельная мощность сигнала, который может быть передан по данному каналу, если физический объём канала VK,

Исходные данные:

.        Представить структурную схему системы передачи информации.

.        Привести классификацию и дать описание помех, возникающих в канале связи.

Решение:

.        Для передачи сигнала , имеющего объем VC, с достаточно высоким качеством, необходимо выполнение неравенства:

VC < VК

Физическим объемом сигнала VC называют произведение его трех физических характеристик : длительности сигнала ТС, ширины спектра FC и динамического диапазона уровней сигнала(по мощности) DC :

VC= TC FC DC ; DC=10lg(PMAX/PMIN),

где: PMAX- максимальное (пиковое) значение мощности сигнала;

PMIN- минимальное значение мощности сигнала равное уровню шума.

Если принять за условие, что

VC = VК, тогда

FC=FК; FC = FК; DC = DК

(1. Учитывая, что при наличии шумов в канале допустимый минимальный уровень мощности PMIN обычно определяется средней мощностью шумов в канале, поэтому можно написать:

DC=lg(PMAX/PШ),

где: PШ=FKGШ

тогда:

DC=lg(PMAX/ FKGШ)

Согласно равенства (1) можно записать следующее выражение :

TC FC DC=FKTK10lg(PMAX/ FKGШ)

Отсюда получим физический объем канала:

VK=FKTK10lg(PMAX/ FKGШ),

VK=lg(PMAX/ FKGШ)10FkTk ,

Vk=(PMAX/ FKGШ)10FkTk.

Тогда предельную мощность сигнала, который может быть передан по данному каналу, получим по формуле:

PMAX=FKGШ10(Vk/10FkTk)= =  Вт

2.      Любая система передачи информации состоит из источника информации, канала передачи информации и получателя информации. Структурная схема системы передачи информации представлен на рисунке 3.

Источником информации могут выступать как люди, так и различные технические устройства.

Канал связи- это совокупность технических средств, предназначенных для передачи сообщения от источника к получателю. Основными элементами канала связи являются: передающее устройство, линия связи и приемное устройство.

Рисунок 3

Передающее устройство, при помощи преобразователя, преобразует информацию различной физической природы в сигнал, приемлемый для передачи по линии связи. Линия связи, используя любую физическую среду, обеспечивает поступление сигналов от передающего устройства к приемному устройству.

Приемное устройство преобразует принятый сигнал в информацию пригодную для получателя.

При передаче сигнала по линии связи он может искажаться из-за воздействия помех n(t). В результате на выходе линии связи сигнал описывается функцией y[s(q,t),n(t)].

Если вход канала связи приспособлен к восприятию сообщений от дискретного источника, и на выходе канала имеют место дискретные сообщения, то такой канал называют дискретным (при этом алфавиты на входе и выходе канала могут быть различными). Канал называют непрерывным, если вход канала приспособлен для восприятия аналогового сигнала, все устройства, составляющие канал предназначены для передачи аналоговых сигналов и на выходе наблюдается аналоговые сообщения. Если же вход канала приспособлен для восприятия дискретных сообщений, а на выходе канала имеет место непрерывный сигнал, то канал называют полу-непрерывным.

Канал связи вместе с источником и получателем сообщений образуют систему связи .

Система связи- это совокупность технических средств для передачи сообщения от источника к потребителю. Системы связи по виду передаваемого сообщения можно разделить на телефонные, фототелеграфные , телеметрические, телеуправления, передачи данных. По назначению телефонные и телевизионные системы делятся на вещательные, обеспечивающие высокое качество воспроизведения, и профессиональные, имеющие специальное применение.

.        Классификация и описание помех, возникающих в канале связи. Помехи, случайные воздействия, проникающие в каналы системы передачи и искажающие передаваемые сигналы. Они заранее не известны и не могут быть полностью исключены. Помехи разнообразны по происхождению и физическим смыслам.

По типу воздействия помехи бывают:

·        Мультипликативная, может быть описана оператором y(t)=s(q,t)n(t);

Рисунок 4. Классификация помех

Мультипликативные помехи возникают из-за изменения во времени амплитудных и фазовых характеристик канала связи при многолучевом распространении сигнала s(q,t). Изменение коэффициентов усиления схем при колебаниях напряжений питания, замирания сигналов в радиосвязи. Мультипликативная помеха возникает из-за многолучевого распространения сигнала, вследствие разности фаз или более фрагментов одного и того же сигнала одного источника, которые распространяются как по кратчайшему расстоянию, так и неоднократно отражаются о ионосферы, вследствие чего фрагменты сигнала проходят разные расстояния .

По форме Аддитивные помехи разделяют на импульсные (сосредоточенные во времени), флуктуационные (гладкие) и гармонические (сосредоточенные по частоте ).

Импульсная помеха - помеха в виде импульсов, следующих через такие большие промежутки времени, что переходные явления в радиоприемнике от одного импульса успевают затухнуть к моменту прихода следующего импульса .

Часто импульсную помеху на выходе высокочастотной части приёмного устройства рассматривают как результат ударного возбуждения резонансных контуров короткими одиночными импульсами, длительность которых меньше, а интервал следования больше времени существования переходных процессов в контурах. Статистические свойства импульсных помех описываются распределением вероятностей амплитуд импульсов и распределением временных интервалов между этими импульсами.

Флуктуационные помехи являются стационарным процессом и имеет постоянную спектральную плотность мощности, т.е. может аппроксимироваться “Белым шумом ”. Спектральная плотность мощности белого шума G0 представляет собой мощность шума, выделяемую на сопротивлении 1 Ом в полосе частот 1 Гц, и имеет размерность Вт/Гц.

Электрическую структуру флуктуационной помехи можно представить как последовательность бесконечно коротких импульсов, имеющих случайную амплитуду и следующих друг за другом через случайные промежутки времени. При этом, импульсы появляются один за другим настолько часто, что переходные явления от отдельных импульсов накладываются, образуя непрерывный случайный процесс. Длительность импульсов мала, поэтому спектральная плотность мощности флуктуационной помехи постоянная, вплоть до очень высоких частот. Флуктуационный характер имеют космические помехи, а также некоторые виды атмосферных и индустриальных помех.

Гармонические помехи- это модулированные или немодулированные колебания которые могут иметь непрерывный или прерывающийся характер. В отличие от флуктуационной помехи спектр сосредоточенной по спектру (частоте) помехи соизмерим или уже , чем спектр сигнала. В диапазоне КВ это вид помех является основным.

По типу источника помехи подразделяются на внешние воздействия и внутренние шумы, возникающие в цепях и аппаратуре .

К внутренним шумам относятся тепловые шумы, возникающие из-за беспорядочного движения свободных электронов в проводах и резисторах и шумы, обусловленные дробовым эффектом в электронных лампах и полупроводниковых приборах. Внутренние шумы существуют всегда и являются источниками флуктуационных помех, которые поэтому принципиально неустранимы, можно лишь как-то ограничивать их.

К внешним помехам относятся промышленные (искусственные) помехи, которые оказывают оказывают наибольшее влияние на канал связи. Промышленные помехи создаются различными устройствами: электрическим транспортом, электросваркой, системами зажигания автомобиля, медицинским электрооборудованием и другими. Основной причиной этих помех является искрообразование, связанное с резким прерыванием тока в электрических цепях в процессе их коммутации. Помехи также создаются линиями электропередачи, которые при отсутствии экранирования являются своего рода антеннами. Промышленные помехи могут носить флуктуационный или импульсный характер; они проникают в телемеханические устройства через антенну, цепи питания, емкостные или индуктивные связи. Источниками помех являются и устройства заземления металлических оболочек кабелей, напряжение которых возникает от блуждающих токов заземления, когда используется “земля” в качестве обратного провода.

Атмосферные помехи обусловлены перемещением электрических зарядов в атмосфере. Молнии создают токовые разряды в десятки тысяч ампер и помехи от них носят импульсный характер. Однако, если количество грозовых зарядов в единицу времени велико и приемное устройство реагирует на достаточно дальние разряды, помехи на выходе узкополосного приемника могут иметь флуктуационный характер.

Рассмотренные помехи являются активными помехами. Существуют и пассивные помехи, действие которых выражается в относительно медленном изменении коэффициента передачи линии связи (например: замирания при приеме коротких радиоволн).

Космические помехи создаются электрическими процессами на Солнце.

Интенсивность и характер помех зависят от типа линий связи, диапазона частот и условий передачи. Сильные помехи наводятся на воздушной линии связи, которая, как антенна, усиливает помехи, создаваемые грозовыми разрядами, промышленными установками, радиостанциями, высоковольтными линиями электропередачи т.п. Такого же рода помехи и от тех же источников могут быть при передачи по радиоканалу.