yandex rtb 1
ГоловнаЗворотній зв'язок
yande share
Главная->Математика і інформатика->Содержание->Тема №1. Основні поняття теорії інформації

Теория информации

Тема №1. Основні поняття теорії інформації

Теорія інформації, виникнувши у відповідь на потреби техніки зв'язку, швидко вийшла за зазначені рамки і перетворилась на складову частину кібернетики - науки про системи будь-якої природи, здатні сприймати, зберігати і переробляти інформацію і використовувати її для управління. Теорія інформації має як широке прикладне, так і фундаментальне, світоглядне значення.

Датою виникнення теорії інформації вважається 1948 рік, а її засновником - К. Шеннон (США), однак деякі результати, що увійшли до цієї науки були отримані раніше Р. Хартлі (Англія, 1928р), В. А. Котельніковим (СРСР, 193Зр), А. М. Колмогоровим (СРСР, 1941).

Основна задача теорії інформації - побудова оптимальних інформаційних систем, а об'єктом дослідження - всі складові таких систем. Процеси у інформаційних системах уявляються випадковими, а відповідним математичним апаратом є теорія імовірностей.

Основними поняттями теорії інформації є інформація, повідомлення, сигнали, знаки, коди, перешкоди(шуми), інформаційні системи, тощо.

·         Інформація - первинне поняття, що приймається без визначення, відповідно до властивостей;

·         Інформація несе знання про оточуючий світ, яких не було до її отримання;

·         Інформація не матеріальна, але вона виявляє себе у формі матеріальних носіїв (знаків, повідомлень і сигналів)

·         Інформація може міститися як у знаках, як таких, так і їх взаємному розташуванні (порядку) у просторі і часі ( наприклад: літери „о", „р", „с", „т" можуть принести інформацію „трос" або „торс");

·         Знаки і сигнали несуть інформацію тільки для спостерігача (отримувача), здатного їх розпізнати.

Розпізнавання полягає у ототожненні знаків чи сигналів з матеріальними об'єктами і їх відношеннями у реальному світі. Тому інформацію можна уявляти собі, як результат моделювання (опису) об'єктів реального світу.

Джерелом інформації є об'єкт спостережень, точніше фізична величина, яка визначає його стан і вимірюється. Кожне значення цієї фізичної величини зветься повідомленням. Множина можливих повідомлень (станів) вважається дискретною і скінченною (як буде показано у подальшому, неперервні фізичні процеси можуть бути уявлені у вигляді дискретних множин значень -відліків через певні проміжки часу).

Перенесення інформації (повідомлень) відбувається за допомогою знаків і сигналів. Знаки (символи) - це реальні розпізнавані матеріальні об'єкти: літери, цифри, предмети. Сигнали - це фізичні процеси - засоби перенесення інформації у просторі і часі.

Оіримувач інформації (спостерігач)

З знаків утворюються послідовності, які звуться словами (кодовими комбінаціями) і відображають повідомлення.

Елементарним повідомленням є кожний з знаків. Множина всіх m знаків зветься абеткою (алфавітом) А обсягом m. Елементами абетки є знаки (символи). Будь-яка послідовність з n знаків абетки А зветься словом довжиною n у абетці А. Будь-яка множина з N слів у абетці А зветься кодом обсягом N. Слова, що входять до коду звуться кодовими словами. Якщо довжина n всіх кодових слів однакова, то код зветься рівномірним довжиною n. Кількість різних слів N рівномірного коду довжиною n у абетці обсягом т очевидно

N = mn

Приклад: Для абетки української мови m = 30, для латини m = 27, для двоїстої абетки А = {0;l} m = 2, для абетки Морзе m = 3 (крапка, тире і прогалина).

Відображення множини (ансамбля) повідомлень на множину кодових слів зветься кодуванням, а зворотній процес - декодуванням.

Передача кодових слів (знаків) за допомогою сигналів і їх розпізнавання відбувається завдяки взаємно-однозначній відповідності множин знаків і сигналів. Відображення абетки на множину сигналів зветься модуляцією, а зворотній процес - демодуляцією.

Інформаційна система - це матеріальна система, у якій інформація про один об'єкт отримується шляхом спостережень за іншим об'єктом. Будь-яка система взаємодіючих об'єктів може розглядатись як інформаційна: будь-який з об'єктів системи може вивчатись з метою отримання інформації про інший об'єкт: взаємодія забезпечує відповідніcть станів, тобто відображення інформації.

Як правило, спостерігача об'єкта А цікавить інформація про інший об'єкт В. Ця інформація розглядається, як корисна; інформація про інші об'єкти є непотрібною і навіть шкідливою, якщо її наявність може утруднювати видобування корисної інформації. Якщо отримувач не володіє вичерпною інформацією про решту об'єктів інформаційної системи, то їх вплив розглядається як „перешкода", або „шуми". Таким чином, кожного разу, коли вплив інших об'єктів (що нас не цікавлять), порушує однозначну відповідність станів об'єктів А та В, говорять що є перешкоди або шум.

Отже у будь-якій інформаційній системі можуть бути об'єкти чотирьох типів:

1. Початковий об'єкт - джерело інформації, що підлягає спостереженню.

2. Кінцевий об'єкт, з яким безпосередньо взаємодіє спостерігач.

3. Проміжні об'єкти - канал зв'язку, за допомогою яких встановлюється однозначна відповідність між початковим і кінцевим об'єктом.

4. Об'єкти, взаємодія з якими руйнує однозначну відповідність між станами початкового і кінцевого об'єктів - джерела перешкод (шуму).

Структурна схема інформаційної системи має вигляд 

Вивчається (вимірюється) фізична величина, яка визначає стан об'єкта спостережень. Множина її можливих значень (повідомлень) вважається дискретною і скінченою, процес перетворення неперервної фізичної величини у дискретні повідомлення зветься квантуванням, а елементи системи, що здійснює зазначений процес - кантувачем (дискретизатором). Повідомлення, що характеризують стани об'єкта спостережень, перетворюються у кодові знаки (символи), слова за допомогою кодера Передавач (модулятор) перетворює кодові слова (повідомлення) у сигнали, які розповсюджуються у каналі зв'язку - сукупності засобів передачі сигналів: пристроїв (дріт, кабель) або середовища (атмосфера, вода, космічний простір). На вхід приймача також надходять перешкоди (шуми), які завжди є у каналі зв'язку і спотворюють передану інформацію, її відтворення здійснюється послідовно демодуляцією і декодуванням.

Отримувач інформації - це людина чи автомат, що діє відповідно до отриманих повідомлень.

Первинним джерелом всієї інформації (знань) про оточуючий світ є експеримент - процес спостереження (вимірювання) за заданої сукупності умов. Наслідок експерименту завжди випадковий, тому його адекватним математичним апаратом у теорії інформації є теорія імовірностей (випадкових процесів)

 

 

3