ГоловнаЗворотній зв'язок
Главная->Математика і інформатика->Содержание->Тема №2. Кількість інформації. Ентропія

Теория информации

Тема №2. Кількість інформації. Ентропія

План:

2.1  Кількість інформації

2.2  Властивості ентропії

 

2.1. Кількість інформації.

Кількість інформації, що міститься у повідомленні, визначається не його змістом або сенсом. Поняттю інформації відповідає інтуїтивне уявлення про те, що кількість (міра) інформації пов'язана з степенем „несподіваності" цього повідомлення. Так, наприклад, повідомлення, відоме заздалегідь, не несе інформації. Інформація відображає стан матеріального об'єкта (джерела інформації), отже кількість інформації пов'язана з „несподіваністю" зазначеного стану серед всіх можливих станів, тобто з його ймовірностними характеристиками.

Точніше, кількість інформації I(x) у елементарному повідомленні (знаку, символі, елементі) х визначається ймовірністю р= р(х) появі цього елемента серед множини (ансамбля, абетки, алфавіта) цих елементів.

I(x) = І(р(х)) = І(р)                                                                                                                 (1)

Вид функцій І(р) може бути встановлений на підставі наступних властивостей (аксіом)

1. Невід'ємність: I(р)≥0                                                                                                         (2)

2. Нормованість: I(1) =0                                                                                                       (3)

(Вірогідне, тобто заздалегідь відоме повідомлення (р(х) =1) не містить інформації)

3. Монотонна спадність р1 > р2 ó І(р1) < І(р2), 1,2 =p(x1,2))                                           (4)

(Чим очікуваніше повідомлення, тим воно менш інформативне)

4. Адитивність I(x1Ç x2)= I(x1)+I( x2)                                                                                    (5)

(Кількість інформації у двох незалежних повідомленнях дорівнює сумі кількостей інформації у кожному з них)

Враховуючи, що за теоремою множення ймовірностей для незалежних подій

p(x1Ç x2)=p(x1p( x2)

з аксіоми адитивності випливає

I(p1·p2)= I(p1)+I( p2)                                                                                                                (6)

Функція (єдина), що відповідає умовам (1)+(6) - логарифмічна

I(p)=-log q р            (формула Шеннона)                                                                              (7)

де q>0, q≠1 - довільне число, вибір якого визначає одиницю кількості інформації, якій відповідає ймовірність появи елементарного повідомлення

Якщо q= 2, , то одиниця кількості інформації зветься „біт” (binary unit). Це кількість інформації, що міститься у повідомленні, ймовірність появи якого

- = 0=>-log2/74 = _- = iog2e=> In 2

Якщо q = е, , то одиниця кількості інформації зветься „нат” (natural unit).

Якщо q = 10, , то одиниця кількості інформації зветься „діт” (decimal unit), або Хартлі

Найбільшого розповсюдження набула одиниця „біт"      I(x)=-log 2 р(x)      [Біт]                                                                                                                       (8)

і практичне її визначення - кількість інформації, що міститься у одному з двох можливих рівноймовірних повідомлень. Випадок, коли абетка містить 2 елементи, відповідає двоїстій (бінарній) комп'ютерній алгебрі.

Для абетки А обсягом N , A = { x1, x2,..., xN} з рівноймовірними елементами

, (k = 1,2,...,N), кількість інформації у одному елементі

I(x)=-log 2 N     (формула Хартлі (1927)),                                                                             (9)

звідси випливає наведене вище визначення „Біт".

Для ансамбля повідомлень (абетки) A = { x1, x2,..., xN} з рядом розподілу ймовірностей

рk=p(xk), (k = 1,2,...,N) кількість інформації в одному елементі

 

I(xk)=-log 2 pk   , (k = 1,2,...,N)                                                                                               (10)

є випадковою величиною, а її математичне сподівання

,                                                                          (11)

 (середнє значення) зветься ентропією ансамбля (джерела повідомлень).

Ентропія являє собою міру невпорядкованості (хаотичності, невизначеності) стану джерела повідомлень.

2.2 Властивості ентропії

1. Невід' ємність і обмеженість: H≥0                                                                                   (12)

(Кожний доданок – pk log2 pk у проміжку pk  [0;l] змінюється від 0 до максимума (за pk=), а потім знову спадає до нуля

Якщо pk → 0 , то

Якщо pk = 1, то – pk log2 рk = 0

 

2. Ентропія дорівнює нулю, якщо повідомлення відомі заздалегідь:

p1 =p2=…=pN =1H=0

3. Ентропія максимальна, якщо всі елементи ансамбля рівноймовірні:

                                                                                    (13)

причому рівність має місце у випадку

4. Ентропія бінарного джерела:

A = { x1; x2}; p1 =p2;  p2 =1-p1=1 p

Н=– p log2p-(1-p) log2(1-p)                                                                                        (14)

графік функції H(р) симетричний відносно прямої р = 0.5

p=0;  

p=1; H(1)=0

H=max:         

 

5. Як зазначалось, ентропія системи - це невизначеність того, що система буде знаходитись в одному з N можливих станів і дорівнює середній кількості інформації, що міститься у одному символі. Отримана інформація пов'язана з зняттям невизначеності у знаннях таким чином, що

І = Н-Н апост                                                                                                                        (15)

де H - апріорна ентропія - невизначеність отримання елемента до експерименту

Н апост - апостеріорна ентропія (після проведення експерименту) отримання елемента

 

6. У випадку взаємозалежності між символами ансамбля, коли ймовірність появи одного символу xk залежить від того, який символ xi з'явився раніше, тобто є умовною ймовірністю p(xk/ xi), вводиться поняття умовної ентропії повідомлення xk відносно xi

                                                                             (16)

Це випадкова величина, тому що випадковим є попередній елемент xi.

Для отримання безумовної ентропії джерела необхідно виконати осереднення по всіх xk

                                              (17)

Вираз (11) є окремим випадком (17) за умови незалежності подій xk та xi,

7. У випадку, коли множина можливих елементів (повідомлень) -неперервна випадкова величина з щільністю φ(x), вводиться понять диференціальної ентропії, яка визначається виразом, аналогічним (11)

 

                                                                 (18)

а кількість інформації - співвідношенням (15)

Для ентропії неперервних повідомлень чинні властивості 1)÷2), але на відміну від 3) максимум диференціальної ентропії має місце у випадку нормального розподілу

                                                                                                             (19)

 

де М і σ2 - відповідно математичне сподівання і дисперсія.

(Максимум функціонала (18) за умов нормування і заданої дисперсії

                                                                                    (20)

за теоремами варіаційного числення (Ейлера) відповідає максимум функціонала

тобто умова

                                                                       (21)

де сталі λ1 , λ2 = Const визначаються (20).

3(21)маємо

За (22) інтеграли (20) збігаються, якщо λ1 = -|λ2| <0.

Тоді ;              

 

рівняння (20) дають ;                                   

а (22) перетворюється у (19))

За умови (19) максимум ентропії неперервних повідомлень

                                                                                                           (23)

 

 

4