Особливості обробки динамічних зображень

Особливості обробки динамічних зображень

ВСТУП

У 1981 р. японська фірма «Sony», а потім і фірма «Konica» здійснили технологічний прорив, представивши на ринок першу в світі електронну систему для фотозйомки нерухомих зображень, що одержала широке поширення на телебаченні і в відеозапису. У цьому виді фотографію називають електронною або відеофотографіей.

У разі електронної фотографії реєстрація зображення об'єкта зйомки здійснюється не світлочутливим галогеносрібних фотоматеріалів, а твердотілим перетворювачем «світло-сигнал», так званим фоточутливим приладом із зарядовим зв'язком (ПЗС, CCD Chardge Coupled Device). Це виріб електронної техніки, перетворює оптичне зображення в електричний сигнал, дія якого заснована на формуванні та швидкому перенесенні по поверхні або всередині напівпровідника регенерованих при дії світла дискретних зарядових пакетів. Зарядові пакети передаються до вихідного пристрою внаслідок переміщення положення потенційних ям, які змінюються за рахунок періодичної зміни амплітуди керуючих сигналів.

Цифрова фотографія володіє рядом властивих тільки їй переваг, таких як тісна інтеграція процесів фотографування і обробки кольорового зображення за допомогою різних графічних редакторів, що дозволяє вносити виправлення і управляти якістю зображення: змінювати колірну насиченість, контраст, проводити ретуш зображення і т. д. Крім зручності і оперативності, цифрова фотографія дозволяє проводити підключення не тільки до моніторів, принтерів, факс-модемів, але і за допомогою комп'ютерних технологій - до всесвітньої інформаційної мережі Internet. Підключення до мережі Internet особливо важливо для репортерів і фотожурналістів, які тепер можуть передавати в будь-яку точку планети свої фотознімки з глобальних комп'ютерних систем зв'язку.

1. ОСНОВНІ ПОНЯТТЯ

Графічне подання зображень. Для представлення графічної інформації на двовимірній площині (екрані монітора) застосовуються два підходи: растровий і векторний.

При векторному підході графічна інформація описується як сукупність абстрактних геометричних об'єктів - прямі, відрізки, криві, прямокутники та інші. Векторний опис припускає апріорні знання про структуру зображення.

Растрова графіка оперує з довільними зображеннями у вигляді растрів. Растр (растр) - це опис зображення на площині шляхом розбиття (дискретизації) його на однакові елементи по регулярній сітці і присвоєння кожному елементу свого колірного і будь-яких інших атрибутів. Найпростіший растр - прямокутний, найекономічніший за кількістю відліків для передачі зображень - гексагональний. З математичних позицій растр - це кусково-постійна апроксимація на площині безперервної функції зображення. Елемент растра називають пікселем (в пікселях). Стандартна ідентифікація пікселів:

f(i, j) = (A(i, j),C(i, j)),

де A(i, j) ÌR2- область пікселя, C(i, j) ÎC- атрибут пікселя (як правило, колір). Найчастіше використовуються два види атрибутів:

(i, j) = I(i, j)- інтенсивність (яскравість) пікселя;(i, j) = {R(i, j), G(i, j), B(i, j)}- колірні атрибути в колірній моделі RGB.

У матричній формі:

Mij = (Aij, Cij).

При дискретизації безперервних зображень значення Aij можуть визначатися двояко, або як значення точок  = (I, J) для яких визначені атрибути  або як значення квадратів

 = (I, I +1) × (J, J +1)

або будь-якої іншої форми, з визначенням  за середнім значенням в межах цієї форми.

На практиці, як правило, X і Y - обмежені набори невід'ємних цілих чисел квадратного або прямокутного растра з аспектовим ставленням (співвідношення сторін) ширини до висоти растру, яке записується у вигляді, наприклад "4:3".

Представлення кольору в машинній графіці. Поняття кольору базується на сприйнятті очима людини електромагнітних хвиль в певному діапазоні частот.

Рис. 1.1

На сітківці ока знаходяться два типи рецепторів: палички і колбочки. Спектральна чутливість паличок прямо пропорційна яскравості падаючого світла. Колбочки поділяються на три види, кожен з яких має певну чутливість в обмежених діапазонах з максимумами до червоного, зеленого і синього кольорів, і різко втрачають свою чутливість у темряві. Сприйнятливість очі до синього кольору значно нижче, ніж до двох інших. Важливою властивістю сприйняття світла людиною є лінійність при сформуванні кольорів з різними довжинами хвиль.

2. ОБЛАСТІ ЗАСТОСУВАННЯ МЕТОДІВ ЦИФРОВОЇ ОБРОБКИ ЗОБРАЖЕНЬ

Розвиток сучасної телекомунікаційної техніки та технологій впливає на швидке становлення та розвиток інформаційної інфраструктури окремих держав, корпорацій, підприємств середнього та малого бізнесу тощо. Особливістю надпотужного розвитку інформаційних мереж різного ґатунку є економічна доступність технічної компоненти та достатньо легка можливість реалізації протокольної (програмної) компоненти мережі. Це зумовлює можливість одержання широкого спектра послуг, що надаються обчислювальними мережами малих підприємств, установ і навіть окремих користувачів.

Розповсюдженість та структурна насиченість телекомунікаційних мереж організацій приводить до різкого збільшення об’ємів інформаційного трафіку, що передаються по них. А як відомо, «левова» (до 80-85 %) частка трафіку припадає на передавання мультимедіа. Слід нагадати, що до мультимедійної інформації належить звук, статичні зображення та відео, які за своєю природою займають значні об’єми у порівнянні з, наприклад, текстовими даними.

У зв’язку з цим монографію присвячено особливостям обробки саме зображень як одного із видів мультимедійних даних. Це пов’язано, наприклад, з тим, що дослідження органів людського сприйняття свідчать про те, що більшість інформації людина сприймає саме за допомогою зору.

Вважається, що вже хоча б цих фактів достатньо для того, щоб переконати суспільство у необхідності удосконалення та розробці якісно нових методів цифрової обробки зображень (ЦОЗ). У даному розділі мова піде про найпопулярніші аспекти застосування технологій та методів ЦОЗ, про їх актуальність та практичне значення. У цілому область використання методів ЦОЗ охоплює такі види діяльності організацій та установ державної та приватної форми власності (рис. 1.1). Аналіз рис. 2.1 говорить про те, що ЦОЗ проникла майже у всі види інформаційної діяльності людини. Однак, можна виділити окремі галузі, де подання, зберігання та передавання зображень особливо важливі (рис. 1.2).

Коротко розглянемо кожне із завдань ЦОЗ для відповідних галузей застосування. Компресія (стиснення, компактне подання) цифрових зображень, далі просто компресія зображень - одна з найактуальніших проблем ЦОЗ (див. рис. 1.2). Вона пов’язана з необхідністю економії місця на фізичних носіях інформації і зі зниженням вимог до використаних каналів зв’язку.

Рис. 2.1 - Галузі застосування ЦОЗ

Прикладами практичного використання завдання компресії зображень можуть бути такі: стиснення зображень на штучному супутнику Землі з метою збільшення об’єму інформації, що передається за сеанс зв’язку; зменшення об’ємів зображень для швидкого і дешевшого завантаження веб-сторінок; компактне представлення зображень оптоелектронними пристроями (фотоапаратами, камерами тощо) для економного використання дискового простору; застосування графічних архіваторів для зберігання архівних, історичних, художніх та ін. документів; стиснення ображень як окремих кадрів відеопотоку для зменшення об’ємів носіїв та скорочення вимог до якості каналів зв’язку тощо.

Фільтрація шумів - одне із часткових завдань ідентифікації об’єктів у військовій справі, важливе значення це завдання має при підвищенні чіткості зображень у цифровому телебаченні, фільтруванні сигналів у відповідних блоках сучасної приймально-передавальної апаратури і т. ін.

Завдання виділення особливостей доволі часто виникає у багатьох додатках ЦОЗ, під час реставрації архівних фотодокументів, аналізу різноманітних знімків (мікроструктур металів або зварних швів) та ін.

зображення цифровий обробка фотоплівка

Рис. 2.2 - Важливі для ЦОЗ галузі використання та завдання, що ними вирішуються

Пошук неоднородностей є одним із початкових етапів вирішення поставлених завдань.

Веб-дизайн та комп’ютерна графіка. Ці завдання актуальні для розробників штучної графіки(комп’ютерні ігри, анімація, зображення веб-сторінок) та, наприклад, розробників спеціалізованих програм для автоматизованих систем управління (АСУ) військами, об’єктів критичного застосування (управління атомними станціями, залізничним та авіаційним транспортом, центрами космічних польотів) тощо.

Вбудовування повідомлень у зображення. Тут ідеться про стегано-графічні методи, в яких як контейнер використовується зображення. При цьому контейнер-зображення знаходить своє застосування у методах вбудовування:

− інформації з метою скритного передавання;

− цифрових водяних знаків(ЦВЗ);

− заголовків.

Розпізнавання образів. Особливо актуальним це завдання є у військовій справі, коли правильна ідентифікація того чи іншого військового об’єкта може кардинально змінити хід бою чи локальної операції. Крім цього, завдання розпізнавання образів знаходить своє місце в археології та архівній справі, допомагає відтворити історично цінні документальні знахідки і ін. Цифрова обробка зображень військова справа мультисервісні мережі та Інтернет авіаційна та космічна справа електронні архіви та бібліотеки компресія зображень веб-дизайн та комп’ютерна графіка розпізнавання образів виділення особливостей зображень вбудовування повідомлень у зображення фільтрація шумів.

Сучасних методів ЦОЗ, що забезпечують вирішення зазначених завдань, досить велика кількість. Значний внесок у розвиток технологій цифрової обробки графіки зробили такі відомі вчені як: Котельников А., Шеннон К., Хартлі Р., Фур’є Ж., Хаар А., Адамар Ж., Уолш Т., Зів Д., Лемпел А. та ін. Видатними науковцями останніх десятиліть, що досягли вагомих успіхів у області ЦОЗ є [1, 9-16]: Претт У., Добеші І., Малла С., Ватолін Д., Грібунін В., Мастрюков Д., Коен А., Свелденс В., Шапіро Д., Кундур Д., Рошал Є. та ін. Доукраїнських розробників методів ЦОЗ слід віднести таких спеціалістів як [17-21]: Корольов А., Бараннік В., Конахович Г., Рубан І., Стрюк О. та ін.

Спектр вирішених та запланованих завдань щодо удосконалення та розробки нових методів ЦОЗ, що виконуються цими науковцями, величезний і охоплює майже всі галузі застосування. Звісно, вже відомі надбання у цій області описати у монографії неможливо. Тому в роботі буде розглянуто та досліджено лише частину методів ЦОЗ, ту, що стосується розробки графічних обробників без втрат якості зображень або, як говорилося вище, - графічних архіваторів. Це пов’язано із зростаючим інтересом саме до архіваторів, оскільки інформаційні втрати оброблених зображень не доцільні при вирішенні завдань у військовій справі(наприклад, при розпізнаванні образів); у бібліотечній, архівній та археологічній справах(наприклад, при компресії зображень); у промисловості (при виявленні неоднорідностей у твердих об’єктах); у медицині(при зберіганні рентгенівських знімків); у авіаційній та космічній справі (при картографуванні місцевості та передаванні інформації зі штучних супутників Землі); у стеганографії (при розробці ЦВЗ, скритному передаванні даних, розробці методів захисту авторських прав на мультимедіа).

У монографії детально будуть відображені результати досліджень, які охоплюють матеріали стосовно створення методів компресії зображень без втрат інформації та використання методів ЦОЗ у стеганографії.

3. ОСОБЛИВОСТІ ДИНАМІЧНОЇ ОБРОБКИ ЗОБРАЖЕНЬ

.1Динамічний діапазон фотоматеріалу

Фотографічна широта, динамічний діапазон фотоматеріалу - характеристика світлочутливого матеріалу <#"723056.files/image006.gif"> <#"723056.files/image006.gif"> <#"723056.files/image007.gif"> <#"723056.files/image008.gif"> <#"723056.files/image009.gif"> <http://ru.wikipedia.org/wiki/%D0%A4%D0%B0%D0%B9%D0%BB:Foto-wiki-Analog-to-Digital-Bits.gi>

Рис. 3.5

Шум квантування означає, що незважаючи на збереження формальної лінійності перетворення, плавну зміну яскравості передається у вигляді ступінчастого сигналу, а значить, не завжди різні рівні яскравості об'єкта передаються різними рівнями вихідного сигналу. На малюнку показаний приклад для АЦП з різним числом біт <http://znaimo.com.ua/%D0%91%D1%96%D1%82>. При трехбітном АЦП в діапазоні 0-1 ступенів експозиції будь-які зміни яскравості перетворюються в значення 0 або 1. Тому всі деталі зображення, що опинилися в цьому діапазоні експозицій, будуть втрачені. При четирехбітних АЦП передача деталей в діапазоні експозицій 0-1 стає можливою, а це і означає розширення фотографічної широти.

Не слід плутати розрядність АЦП і фотографічну широту аналогового приймача. Підвищення розрядності АЦП дозволяє точніше вимірювати аналоговий сигнал, одержуваний зі світлоприймача, однак ці дві величини не пов'язані прямими співвідношеннями (Аналого-цифровий перетворювач <http://znaimo.com.ua/%D0%90%D0%BD%D0%B0%D0%BB%D0%BE%D0%B3%D0%BE-%D1%86%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B8%D0%B9_%D0%BF%D0%B5%D1%80%D0%B5%D1%82%D0%B2%D0%BE%D1%80%D1%8E%D0%B2%D0%B0%D1%87>). Насправді АЦП вимірює і квантів (Квантування (інформатика) <http://znaimo.com.ua/%D0%9A%D0%B2%D0%B0%D0%BD%D1%82%D1%83%D0%B2%D0%B0%D0%BD%D0%BD%D1%8F_(%D1%96%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82%D0%B8%D0%BA%D0%B0)>) величину заряду, накопичену в зарядовим кишені (Матриця (фото) <http://znaimo.com.ua/%D0%9C%D0%B0%D1%82%D1%80%D0%B8%D1%86%D1%8F_(%D1%84%D0%BE%D1%82%D0%BE)>), в результаті вироблення ЕРС <http://znaimo.com.ua/%D0%95%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%BE%D1%80%D1%83%D1%88%D1%96%D0%B9%D0%BD%D0%B0_%D1%81%D0%B8%D0%BB%D0%B0> фотодіодом, при падінні на нього оптичного сигналу. При цьому величина експозиції отриманого оптичного сигналу не пов'язана в загальному випадку прямим співвідношенням з величиною заряду, накопиченої зарядовим кишенею (оскільки це залежить від ряду параметрів, у тому числі чутливості фотодіода (Фотодіод <http://znaimo.com.ua/%D0%A4%D0%BE%D1%82%D0%BE%D0%B4%D1%96%D0%BE%D0%B4>), в той час як величина насичення зарядового кишені також не пов'язана і з глибиною дискретизації АЦП (Оскільки немає фундаментальних правил, що вказують на яке кінцеве число інтервалів слід розбити одну і тугіше амплітуду вхідного аналогового сигналу).

Існує фізичний межа у світлочутливих елементів фотоелектричного принципу дії, званий звичайно "межею квантування заряду". Електричний заряд в одному елементі, величина якого і перетвориться у вихідний сигнал пристрою, складається з електронів. Типові їх кількості зараз - до 30000 електронів в насиченому елементі матриці. А власні шуми не бувають нижче, ніж 1-2 електрона <http://znaimo.com.ua/%D0%95%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%BE%D0%BD>. Так як число електронів приблизно відповідає кількості поглинутих квантів, то це і визначає максимальну теоретично досяжну для такого елемента фотографічну широту - близько 14 ступенів експозиції (двійковий логарифм від 30000).

Вплив зернистості і перенесення кольорів на широту: нижній поріг фотографічної широти плівки додатково обумовлений рівнем зернистості або "шуму". У чорно-білих фотоплівках зерна срібла в світлочутливому шарі формують зображення і визначають зернистість. У кольорових фотоплівках кожне зерно металевого срібла при кольоровому прояві породжує істотно більш велике освіту з барвника. Це робить принципово різним характер шуму на різних типах плівок і ускладнює точне визначення нижньої межі експозиції. Крім того, в нелінійних областях спотворюється передача кольору на плівці через різних властивостей цветочувствітельних шарів, що додатково зменшує фотографічну широту кольорових плівок в порівнянні з чорно-білими.

Обмеження зверху: насичення і переекспозиції:

Для фотоплівки і фотопаперу це щільність засвічених ділянок, нелінійність ступені почорніння при високих експозиціях;

для аналогових пристроїв це максимальна величина сигналу, що знімається зі світлочутливого елемента;

для цифрових пристроїв це максимальне числове значення піксела.

Крім самого світлочутливого елемента, цифровий фотоапарат увазі різну обробку отриманого зображення. За аналогією з плівкою, на цифровій матриці виходить "негатив" - сирої набір даних (записується у вигляді файлів формату RAW <http://znaimo.com.ua/RAW_(%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82_%D0%B4%D0%B0%D0%BD%D0%B8%D1%85)>).

Для подальшого перегляду на комп'ютері або для друку на принтері його треба перетворити в "відбиток" (зазвичай файли формату JPG <http://znaimo.com.ua/JPG>).

Формат файлів DNG <http://znaimo.com.ua/DNG> (англ. <http://znaimo.com.ua/%D0%90%D0%BD%D0%B3%D0%BB%D1%96%D0%B9%D1%81%D1%8C%D0%BA%D0%B0_%D0%BC%D0%BE%D0%B2%D0%B0> DigitalNegative) Є найбільш зручним контейнером одночасно для сирої інформації з матриці і для обробленого зображення, а також параметрів зйомки і перетворення одного в інше.

3.2 Що таке HDR

Dynamic Range Imaging, HDRI або просто HDR - загальна назва технологій роботи з зображеннями і відео, діапазон яскравості яких перевищує можливості стандартних технологій відображення зображень.

Найчастіше термін HDR вживається щодо отримання, зберігання і обробки растрових зображень. Широко використовуються на сьогоднішній день цифрові технології історично засновані на 8-бітових цілочисельних форматах представлення та обробки даних, що дає дуже вузький динамічний діапазон, який часто називають SDR (англ. Standard Dynamic Range) або LDR (англ. Low Dynamic Range). Для порівняння, поширені стандарти JPEG і MPEG дозволяють відобразити динамічний діапазон порядку 1 000:1, в той час як реальні сцени часто мають динамічний діапазон яскравості в 1 000 000:1 і вище. Застосування техніки HDR дозволяє працювати з повним діапазоном яскравості сцени, усуваючи історичні обмеження.

Технології HDR мають безліч практичних застосувань, такі як отримання зображень і відео натуральних висококонтрастних сцен, зберігання та обробку HDR контенту, створення LDR зображень на основі HDR зображень, а також досягнення різних художніх ефектів використовуючи HDR зображення.

На ринку електроніки пристрої з HDR-характеристиками представляють сегмент, що активно розвивається: над-яскраві HDR-дисплеї і цифрові HDR камери.

3.3 Динамічний діапазон в фотографії

У фотографії динамічний діапазон часто вимірюють в одиницях експозиції EV (англ. ExposureValue), також званих «крок» або «стоп», тобто логарифмом з основою 2, рідше - десятковим логарифмом (позначається літерою D). 1EV дорівнює 0,3D. Також використовують і лінійне позначення, наприклад 1 000:1, що дорівнює 3D або близько 10EV.

Характеристика «динамічний діапазон» також властива форматам файлів, що використовуються для запису фотографій. У цьому випадку вона визначається типом даних, обраним авторами формату, виходячи з тих цілей, для яких формат призначається. Наприклад, динамічний діапазон формату JPEG визначається 8-бітним гамма-корегованим стандартом поданням кольору sRGB і точно дорівнює 11,7 EV, однак лише 8-9EV цього діапазону реально застосовні. Для формату RadianceHDR динамічний діапазон дорівнює 256EV.

Не варто безпосередньо пов'язувати характеристику динамічного діапазону з кількістю біт, що використовуються для запису інформації в будь-якому форматі або матриці фотоапарата. Всередині одного формату більша кількість бітів буде означати більший доступний динамічний діапазон, однак різні формати можуть надавати більший динамічний діапазон при меншій кількості використовуваних біт через відмінності в представленні даних. Наприклад, динамічний діапазон у формату RadianceHDR (подання RGBE з 32 бітами на піксель) набагато більше, ніж у 16-бітного TIFF (цілочисельний RGB з 48 бітами на піксель).

3.4 Розширення динамічного діапазону

Фотографічна широта сучасних камер і плівок недостатня для того, щоб повністю передати сюжети навколишнього світу. Особливо це помітно при зйомці на слайд або компактну цифрову камеру через те, що, наприклад, діапазон яскравості нічного сюжету з штучним освітленням і глибокими тінями може доходити до 20EV.

Ця проблема вирішується кількома шляхами:

Збільшенням динамічного діапазону камер;

Комбінуванням зображень, знятих з різною експозицією (технологія HDR у фотографії), в результаті якого виникає єдине зображення, що містить всі деталі з усіх вихідних зображень, як у крайніх тінях, так і в максимальних світлах.

При цьому потрібно забезпечити:

Вибір формату файлу, в який можна записати зображення з розширеним діапазоном яскравості (звичайні 8-бітні sRGB файли для цього не підходять). На сьогодні найпопулярнішим форматами є RadianceHDR, OpenEXR, а також MicrosoftHDPhoto, PhotoshopDocument, RAW-файли дзеркальних цифрових камер з великим динамічним діапазоном.

Відображення фотографії з великим діапазоном яскравості на моніторах і фотопапері, що мають суттєво менший максимальний діапазон яскравості (contrastratio).

Проблема нестачі динамічного діапазону вирішується за допомогою одного з двох методів: 1) тональна компресія, при якій великий діапазон яскравості зменшується до діапазону паперу, монітора або 8-бітного sRGB-файлу шляхом зменшення контрасту всього зображення - єдиним чином для всіх пікселів зображення; 2) тональне відображення (англ. tonemapping), при якому виконується нелінійна зміна яскравостей пікселів на різну величину для різних областей зображення, при цьому зберігається (або навіть збільшується) оригінальний контраст, проте тіні можуть виглядати неприродно світлими, і на фотографії можуть з'явитися ореоли на межах областей з перепадом яскравостей.

При виконанні тонального відображення використовується досить складний математичний апарат, що може тим чи іншим чином враховувати яскравості сцени в цілому та окремих її елементів. Цей апарат в програмах тональної компресії представлений набором фільтрів.

ВИСНОВОК

Більшість методів обробки одновимірних сигналів (наприклад, медіанний фільтр) застосовні і до двомірних сигналів, якими є зображення. Деякі з цих одновимірних методів значно ускладнюються з переходом до двовимірних сигналів. Обробка зображень вносить сюди кілька нових понять, таких як зв'язність і ротаційна інваріантність, які мають сенс тільки для двомірних сигналів. У обробці сигналів широко використовуються перетворення Фур'є, а також вейвлет-перетворення і фільтр Габора. Обробку зображень поділяють на обробку в просторовій області (перетворення яскравості, гама-корекція і т.д.) і частотній (перетворення Фур'є, і т.д.). Перетворення Фур'є дискретної функції (зображення) просторових координат є періодичним по просторових частотах з періодом 2pi.

СПИСОК ЛІТЕРАТУРИ

1.      Патент 2137194 (РФ). Способ анализа векторов движения деталей в динамических изображениях / А.В. Дворкович, В.П. Дворкович, Ю.Б. Зубарев, А.Ю. Соколов // Б.И. - 1999.

.        Патент 2182746 (РФ). Способ цифровой обработки динамических изображений / А.В. Дворкович, В.П. Дворкович, Г.Н. Мохин, А.Ю. Соколов // Б.И. - 2002.