Конструктивное соответствие. В этом случае считается, что расстройство организма человека и животного вызваны одними и теми же внутренними факторами.
В зависимости от сложности происходящих в организме процессов, которые вызваны влиянием изучаемых факторов и степени соответствия их человеку, лабораторные наблюдения за животными могут принести
Исследование конкретного фактора включает в себя осуществление его влияния на объект. При последующем наблюдении за состоянием этого объекта выделяются фрагменты поведения, которые позволяют проанализировать эффекты фактора на объект и на основании соответствия прогнозировать соответствующие эффекты применительно к человеку.
В настоящее время оценка поведения производится визуально на основании изучения видеозаписи с камер, расположенных у ванночек с грызунами. В течение суток значительную часть записи занимают промежутки, в которых объект неподвижен. Рассмотрение такого материала занимает значительное время, при этом являясь достаточно однообразным процессом. Отделение отрезков бездействия от отрезков с деятельностью не вызывает специфических трудностей. В противовес этому автоматическое отделение друг от друга отрезков видео, содержащих различные фрагменты движений, требуют привлечения специальных методов для выделения некоторых значимых параметров, характеризующих эти фрагменты.
Автоматизированная обработка видеозаписей, которая определяет вид движения наблюдаемого животного в течение каждого отрезка времени, позволит значительно снизить трудоемкость процесса. При этом в сложных ситуациях обработки возможно уведомление оператора системой о том, что движение не может быть достоверно определено и требуется визуальная оценка фрагмента. Это позволит уменьшить число результирующих ошибок определения движения.
.2 Анализ систем распознавания поведения лабораторных мышей
На данный момент, в мире существует несколько коммерческих систем, позволяющих облегчить процесс анализа поведения животных в лабораторных условиях, в частности, мышей. Также существуют некоторые профильные организации, занимающиеся разработкой такого типа систем.
Одной из крупнейших таких организаций является Noldus Information Tecnology. Они занимаются анализом поведения животных и человека с 1989 года. Они предлагают широкий спектр аппаратуры и программных продуктов, предназначенных для оборудования лабораторий, посвященных работе с животными. Среди животных, основное их внимание уделяется грызунам и рыбам.
В линейке их программных продуктов, посвященных анализу поведения животных, рассмотренных в соответствии с онлайн-каталогом компании[2], наибольший интерес представляет EthoVision XT (рис. 1.1).
Обработка данных производится на основании видеозаписей, снятых перпендикулярно дну емкости, в которую помещено животное. С помощью видеофиксации на положении головы, центра тела и хвоста, система отслеживает положение и ориентацию животного в пространстве, его скорость, пройденное расстояние, факты посещения отдельных специально указанных зон. Также она распознает некоторые такие типы движений, как: умывание, прыжки, отдых, прием воды и пищи, подъем на задние лапы с опорой и без опоры. Заявленная точность распознавания - около 70%.
Рис. 1.1. Интерфейс приложения EthoVision XT
Еще одна система, предназначенная для распознавания поведения грызунов - VideoMot2 от TSE-Systems (рис. 1.2).
Она также использует камеры с видом «сверху» для работы и отслеживание трех основных точек на теле животного. Позволяет анализировать траектории перемещения грызуна по емкости, определять скорость, пройденное расстояние, время неподвижности, факты посещения определенных зон. Позволяет фиксировать социальные взаимоотношения, при помещении в область наблюдения нескольких животных одновременно. Из распознаваемых движений заявлено распознавание подъема на задние лапы.
Рис. 1.2. Интерфейс приложения VideoMot2
.3 Постановка задачи
Цель работы заключается в исследовании методов автоматизации распознавания движений биологических объектов на примере лабораторных животных.
На основе анализа предметной области, выделены следующие подзадачи, которые должны быть решены при выполнении работы:
.Проанализировать методы предварительной обработки данных, используемые при распознавании объектов и действий на изображениях и видеозаписях. Для увеличения скорости и повышения эффективности обработки требуется определить подходы к исключению из вычислений данных, которые не влияют на получение результата.
.Изучить методы и подходы к анализу видеозаписей и распознаванию движений, использующиеся в схожих проблемных ситуациях и выбрать подходящие для использования в имеющихся условиях.
.Спроектировать модель, реализующую подготовку видеоматериала и распознавание заранее заданных движений наблюдаемого объекта на видеозаписи с возможностью гибкой замены использующихся алгоритмов.
.Разработать тестовый образец программного средства, реализующий данную модель, и исследовать его работу на имеющихся данных.
2.Анализ существующих методов
.1 Распознавание видов движения на видеозаписи
Базы данных образцов для распознавания движений
В настоящее время разработка методов распознавания движений производится многими исследователями применительно к различным объектам. Тестирование новых методов и сравнение их результатов с разработанными до этого методами проводится на общедоступных базах примеров. Самую большую популярность среди них имеют базы содержащие образцы человеческих движений, человеческие лица, а также записи с автомобильных дорог, предназначенные для распознавания препятствий, пешеходов, дорожных знаков. Помимо централизованных баз существуют индивидуальные наборы, размещенные авторами отдельных статей, содержащие данные, специально сконструированные и отснятые в необходимом для работы виде.
Относительно распознаваний действий человека определенной популярностью в исследовании пользуются следующие базы:
1.KTH Actions. Содержит 2391 фрагмент видеозаписей, на которых 25 человек в разной обстановке выполняют различные несложные действия: бегут, идут, хлопают в ладоши, изображают удары из бокса (см. рис. 2.1, а).
2.UCF Sport Actions. 150 фрагментов видеозаписей с 10 видами спортивных движений (см. рис. 2.2, б).
3.Hollywood2. 1707 фрагментов видеозаписей с 10 обыденными действиями из 69 голливудских фильмов (см. рис. 2.3, в).
Среди всех баз, использующихся для распознавания, присутствуют существенные различия. Отличаются объекты наблюдения, обстановка, подвижность камеры, сложность сцены, на которой происходит наблюдение.
Основные подходы к распознаванию
Анализ движений, производимых на видеозаписи, относится к одним из сложнейших задач компьютерного зрения. Эти методы опираются на широкий математический аппарат, включая теорию вероятности, математическую статистику, различные приемы математического анализа.
а) б)
в)
Рис. 2.1. Кадры видеофрагментов указанных баз:
а - KTH Actions; б - UCF sport actions; в - Hollywood2
На данный момент скорость работы алгоритмов постепенно улучшается, однако, вместо работы в режиме реального времени, чаще всего обрабатываются фрагменты записанных видеозаписей. Основной проблемой к этому является как высокая размерность данных, так и сложность применяемых вычислений
Часть специфических движений вполне может распознаваться на основе единственного статического изображения. Среди таких действий в базе Hollywood2, например, приводятся следующие: «курение», «рукопожатие», «разговор по телефону», «питье из стакана или кружки». С другой стороны имея статический кадр даже человеку тяжело отличить бег от ходьбы.
Методы, применяемые для распознавания движений, во многом разрабатываются на основе уже активно развитых методов распознавания объектов на статических изображениях, фактически сводя появление отсчета времени кадров к расширению двух пространственных измерений до трех пространственно-временных. Несмотря на то, что некоторые обработки для временного измерения отличаются, определенная часть его свойств аналогична пространственным измерениям, - например, проблема поиска разномасштабных изображений объекта схожа с проблемой обнаружения одного и того же действия воспроизводимого объектами с разной скоростью.
Таким образом, для определения движения на видеозаписи подобно распознаванию объектов на изображении используются методологии включающие обработки:
.Построение набора признаков для фрагмента видеозаписи.
.Построение на основе набора признаков обучающих фрагментов структуры, описывающей движение на видеозаписи.
.Классификация новых фрагментов на основе данной структуры.
Внутри каждого пункта существуют значительные различия в методах.
Построение набора признаков основывается на выборе описывающих точек, для получения локальных показателей, а также использовании различных описаний целого фрагмента.
Однако помимо выбора описывающих точек для построения наборов признаков требуется еще и выбор преобразования, которое дает характеристику окрестностей описывающих точек, и структуры, которая эти данные хранит. Основные преобразования осуществляют построение векторов признаков на основании значений в окрестности соответствующих точек, которые принимают поля градиентов, оптического потока или интенсивности.
В качестве дальнейшей обработки этих дескрипторов, применяется кластеризация. Строится конечный словарь, содержащий дескрипторы-центры кластеризации исходных данных.
Для соотнесения фрагментов видеозаписи и структуры дескрипторов, описывающих типовое движение, изображенное на фрагменте, глобально рассматривается два подхода: «мешок слов» и анализ структуры.
«Мешок слов» подразумевает сопоставление видеофрагменту распределения обнаруженных дескрипторов среди дескрипторов из словаря. Этот метод не учитывает их взаимное расположение во времени и пространстве, а лишь их количественную характеристику.
Анализ структуры включает в себя например применение скрытых моделей Маркова, со скрытыми состояниями, соответствующими фактическим фазам движения, и выходными состояниями - номером кластера, к которому относится наибольшее число имеющихся в кадре дескрипторов.
Выбор набора признаков для распознавания
В случаях выделения характерных точек возникает потребность в детекторах, способных выявлять эти характерные точки, подходов к работе которых тоже значительное количество. Детекторы помогают снизить размерность обрабатываемого пространства и пытаются исключить из рассмотрения некоторые не специфичные характеристики движений. Соответственно для поиска точек в отдельном изображении используются те же детекторы, что применяются при поиске объектов, а для поиска во всем пространстве - обобщения этих детекторов на трехмерное пространство.
При разработке детекторов, принимается во внимание основная цель выбора этих точек - обнаружение фрагментов изображения или видеозаписи, которые значительно отличаются от иных окружающих их фрагментов. Это значит, что особыми точками не могут являться пиксели, расположенные на поверхности однородной текстуры - иначе при сдвиге вдоль поверхности можно получить довольно большое количество точек, обладающих схожими характеристиками, отличить которые друг от друга представляется почти невозможной задачей.
Чаще всего выбор падает на пиксели, в которых изображение имеет локальный максимум градиента, либо локальный максимум некой другой функции отклика.
Так, в различных работах используются детекторы:
.Детектор Харриса (Harris3D).
В качестве способа оценки «особенности» точки используется «функция отклика угла», которая определяется следующими соотношениями:
В каждой точке видеозаписи рассчитывается матрица, определяющая поведение интенсивности пикселя при смещении вдоль осей координат.
где ,,- производные интенсивности изображения по соответствующей координате,
- ядро Гауссова сглаживания по трем направлениям.
Утверждается следующая зависимость свойств точки собственных значений:
─Все значения близки к нулю.
Точка на равномерной объеме, где нет изменений во времени либо границ на изображении, подобная точка не является особой
─Пара значений существенно отличаются от нуля.
Этому положению точки соответствует граница объекта.
─Все величины существенно отличаются от нуля.
Точка находится на углу объекта, который движется с течением времени.
Именно последний вариант рассматривается как особая точка, которую необходимо обнаружить и использовать для получения признаков видеофрагмента.
Функцией отклика, которая позволяет оценить собственные значения, в этом случае является величина R:
где - параметр детектора, положительное действительное число определяющее соотношение остроты границ.
При отрицательном отклике точка классифицируется как попавшая на край; при отклике, близком к нулю, точка считается попавшей в «плоскую» область. При больших положительных значениях R считается, что точка является углом, так как в ней яркость сильно меняется во всех направлениях. Детектор инвариантен к вращению и сдвигу объекта, а также к сдвигу и равномерному линейному изменению яркости.
Детектор находит достаточно большое количество точек, часть из которых потом отсеивается.
.Детектор Cuboid.
В качестве функции отклика используется величина:
гдеI - интенсивности пикселей,
g - ядро Гауссова размытия по координатам x и y,
и - одномерные фильтры Габора.
Упомянутые фильтры определяются выражениями:
где τ, ω - параметры определяющие величину размытия.
Особым точкам также соответствуют локальные максимум функции отклика.
Такая совокупность фильтров заставляет детектор реагировать на точки видео, которые совершают периодические движения во времени.
.Детектор Hessian3D.
Расчет основан на матрице гессиана.
где - вторая производная по на правлению x от размытой функции интенсивности,
- смешанная производная по направления x и y.
Особым точкам будут соответствовать точки, являющиеся одновременно локальными максимумами определителя и следа от матрицы гессиана.
Приведенные методы широко используются при распознавании движений человека, однако, при малых масштабах исследуемого объекта на входных изображениях, поиск характерных точек малоэффективен и вместо него применяется равномерное взятие точек. Положение этих точек располагается по трехмерной сетке. Расстояние между ячейками берется такое, чтобы в результате расчета дескрипторов этих точек объем покрывался несколькими дескрипторами.
В работе [4] приводится сравнение этих детекторов относительно условий, в которых проходит их работа.
При гауссовом размытии изображений, которое может соответствовать уменьшению разрешения, детектор Harris3D оказывается способным покрыть данные аналогично исходным.
При добавлении на изображение случайного шума, также получена высокая устойчивость детектора Harris3D. При этом Cuboids показал крайнюю чувствительность к шуму, воспринимая добавленные пиксели как особые точки.
Смена освещения - снижение контрастности. Harris3D и Hessian3D оба чувствительно отозвались на такое изменение кадра и оказались фактически не способны выделять особые точки.
Применение медианного фильтра к исходным изображениям существенно улучшило визуальный облик изображений, и не повлияло на работу Harris3D. Обнаруженные им особые точки сохраняли свое положение в течение всех этапов тестирования этого фильтра.
Сравнение с равномерным взятием точек не проводилось, поскольку их расположение задано фиксировано и не зависит от условий.
По результатам этого обзора, при существенных для имеющейся задачи обстоятельствах (маленький размер фактического изображения объекта, зашумленность изображения) хороший результат среди методов этого класса должен давать метод Harris3D.
Построение дескрипторов движения
Получение расположения особых точек не дает необходимой информации о движении. Необходимо построение структур, которые описывают некоторым образом содержимое видеозаписи, расположенное вокруг особой точки, позволяя сравнивать и различать эти самые точки.
.Гистограммы ориентированных градиентов в сочетании с гистограммами оптического потока.
Вокруг точки выбирается кубическая окрестность, разбитая на ячейки, размером обычно 3х3х2 ячейки. Для каждого пикселя внутри вычисляются производные по каждому направлению с применение ядер:
В каждой ячейке производится подсчет количества пикселей, обладающих одним из четырех направлений. Такая гистограмма, состоящая из 3х3х2х4 элементов - гистограмма ориентированных градиентов.
Для вычислении гистограммы оптического потока берется такая же окрестность. В каждом пикселе окрестности вычисляется значение оптического потока. Все полученные значения разбиваются по пяти направлениям (сдвиги влево, вправо, вверх, вниз и отсутствие сдвига). Получается гистограмма 3х3х2х5 - гистограмма оптического потока.
Их сочетание дает вектор размера 162 значения.
.Дескриптор Cuboid.
В кубической окрестности особой точки вычисляются градиенты и с помощью метода главных компонент выбираются первые сто компонент, принимающие на себя наибольший разброс значений и соответственно содержащие большее количество информации о соответствующих точках.
.Дескриптор HOG3D.
Является расширением двумерных гистограмм ориентированных градиентов на пространственно-временные координаты.
В каждой точке кубической окрестности вычисляются градиенты по трем направлениям. Аналогично двумерной версии дескриптора производится разбиение окрестности на ячейки и подсчет пикселей по направлениям градиентов для каждой ячейки.
В работе [5] приводится сравнение работы методов построения дескрипторов в сочетании с методами выделения особых точек. В качестве тестовых баз используются базы человеческих движений.
Таблица 1. Средняя точность работы детекторов в сочетании с дескрипторами движений, достигнутая на тестовом наборе KTH
HOG3DHOG/HOFHOGHOFCuboidsHarris3D89.0%91.8%80.9%92.1%-Cuboids90.0%88.7%82.3%88.2%89.1%Hessian84.6%88.7%77.7%88.6%-Dense85.3%86.1%79.0%88.0%-
Наилучшие результаты тестовом наборе KTH, как видно из таблицы 1, достигаются применение детектора Harris3D в сочетании с гистограммами оптического потока либо объединенными гистограммами ориентированных градиентов и оптического потока.
Таблица 2. Средняя точность работы детекторов в сочетании с дескрипторами движений, достигнутая на тестовом наборе UCF
HOG3DHOG/HOFHOGHOFCuboidsHarris3D79.7%78.1%71.4%75.4%-Cuboids82.9%77.7%72.7%76.7%76.6%Hessian79.0%79.3%66.0%75.3%-Dense85.6%81.6%77.4%82.6%-
В таблице 2 видно, что на наборе UCF лучшие результаты принадлежат дескриптору HOG3D в сочетании с детекторами Cuboids и равномерным взятием особых точек.
Набор UCF отличается от KTH тем, что на первом наборе присутствует более сложный фон, а также более естественные движения, которые не были сняты именно для использования методов, а получались из различных источников.
При использовании камер низкого качества, например в системах уличного слежения[15], ввиду недостатка данных используется достаточно узкий набор дескрипторов - положение на экране, скорость перемещения, линейные размеры. Такой набор показателей позволяет обнаруживать несанкционированный доступ в размеченные на экране зоны, фиксировать быстрые перемещения, а в случае взаимодействия нескольких лиц и прочие противоправные действия.
Классификация движений на основе построенных дескрипторов
В результате прохождения предыдущих этапов обработки, исследователь получает для каждого отдельного вида движений наборы распределенных во времени этого движения дескрипторов. Они все могут значительно между собой различаться, однако для процесса распознавания важны не фактически значения, которые принимают координаты дескрипторов, а лишь их принадлежность к определенному виду. С другой стороны, сами эти виды различны для различных видов наблюдаемых объектов и движений.
Для построения набора характерных классов используется кластеризация методом К-средних, проведенная на множестве всех найденных в тестовой выборке дескрипторов движения. Для дальнейшего определения принадлежности произвольного дескриптора к одному из классов используется выбор ближайшего соседнего с ним центра кластера. Несмотря на факт кластеризации данных, количество извлекаемых кластеров, в зависимости от обстоятельств, может доходить до тысячи.
Это позволяет получить конечный словарь, слова из которого распределены в пространстве и времени видеозаписи.
Разные методы по разному используют эту информацию. Алгоритмы, принимающие во внимание структуру движения, используют эти дескрипторы и их размещение для того, чтобы построить модель, описывающую некоторые фрагменты движения и процесс смены этих фрагментов. Для этого используются такие инструменты, как скрытые модели Маркова.
Помимо этого, большой популярностью пользуются методы, основанные на принципе «мешка слов» («bag of words»). В этом случае движение рассматривается не как последовательность смен состояний, порождающих различные дескрипторы, а как простое множество дескрипторов. То есть решение об отнесении движения к одному из классов движений принимается на основе гистограммы распределения имеющихся видов дескрипторов. Такой подход с одной стороны позволяет добиться большей инвариантности распознавания (возможности правильной работы при изменении условий), а с другой - снижает различительную силу, поскольку не различает последовательность отдельных «элементарных» движений, а только факт их наличия, что затрудняет различение, например, шаг вперед и шаг назад.
.2 Проблема «нацеливания»
В работе [5] упоминается влияние на качество распознавания проблемы нацеливания. Детекторы особых точек иногда признают таковыми точки, не относящиеся в действительности к распознаваемому объекту, а напротив - к фону, шуму либо посторонним объектам, попавшим на видеозапись. Участие таких особых точек в общей кластеризации и дальнейшей классификации сказывается на точности распознавания, поскольку вносят определенную дисперсию значений в гистограмме и могут смещать центры кластеров при построении словаря.
Поэтому автором рекомендуется использование дополнительных методов обработки данных для отсеивания несущественных точек. В частности, для этого предлагается локализовать расположение объекта на кадре.
Для выделения положения объекта на видеозаписи существует множество подходов, но поскольку на данный момент рассматриваемые условия достаточно хорошо фиксированы, рассмотрены будут лишь простейшие из них. Прежде чем перейти непосредственно к методам локализации объекта, будет дана общая информация по обработке изображений.
.3 Основы обработки изображений
Решение сложных задач распознавания объектов требует знания основных приемов и методов обработки изображений[8].
Выделяются три основных целевых направления в обработке изображений:
)Улучшение изображения для восприятия человеком.
В значительной степени относится к изображениям сделанным в видимом диапазоне цветов.
Процесс получения цифровых изображений и форма представления данных приводит к тому, что восприятие человеком изображения будет в значительной степени искажено по сравнению с восприятием реальной сцены. В данном случае обработка применяется для исправления этих искажений и приведения изображений наиболее близко к требуемому виду.
)Улучшение изображения для восприятия компьютером.
Для восприятия компьютером помимо изображений полученных в видимом диапазоне часто применяются изображения полученные в результате рентгенографии, съемок в инфракрасном диапазоне.
В этом случае обработки применяются не для соотнесения изображений с существующим образом, а для подготовки их к последующему выделению некоторой неграфической информации об изображенных объектах.
)Развлечение - создание спецэффектов на изображениях.
Аналогично первому случаю, обычно используются для изображений соответствующих видимому спектру цветов и предназначенных для восприятия человеком.
Самые распространенные искажения на изображениях, которые требуют исправления для восприятия:
─Изображение слишком темное либо слабо контрастное, при этом несмотря на имеющуюся в изображении информацию человеческое зрение не способно различить детали а иногда и общую сцену.
─Неправильные цвета изображения. Детали и объекты на изображении различимы, но их окраска не соответствует реальности. Восприятие человеком значительно затрудняется при искажении хорошо узнаваемых цветов (например оттенков кожи) либо искажении цветов на всем изображении (например получение излишне «холодного» тона изображения при естественном освещении).
─«Зашумленное» изображение. Отклонения цветов отдельных пикселей на изображении, связанные во многом с несовершенством устройств захвата. Различают шум типа «Соль и перец» (возникновение на изображении пикселей черного и белого цвета) и гауссов шум (отклонение цветов распределено по нормальному закону с невысокой амплитудой).
─«Размытое» изображение. Границы между объектами изображения нечеткие.
Эти искажения также являются проблемой для компьютерного восприятия изображений.
Для исправления таких ошибок используются различные ставшие стандартом методы и модели: коррекция контраста изображения, цветовой баланс, модель серого мира, гауссова и медианная фильтрация.
2.4 Способы выделения объектов
Первым этапом решения задачи является выделение на каждом кадре участков изображения, содержащих наблюдаемое животное.
Методы для подобного выделения можно разделить на две группы: использующие одиночное изображение и использующие последовательность изображений. К первой группе относятся методы пороговой бинаризации и выделения краев. Ко второй различные методы основанные на вычислении оптического потока (характеристика движения пикселей при переходе от одного кадра к следующему), а также моделирования и вычитания фона.
Далее будут рассмотрены некоторые из них.
Пороговая обработка
Эти методы являются одними из самых простых с точки зрения понимания и реализации. Их использование предполагает, что пиксели могут быть отнесены к объекту или к фону сравнением их значений с некоторой пороговой функцией.
Определим в соответствии с [8] пороговое преобразование. В общем случае
T = T (x, y, p (x, y), f),
где p (x, y) - локальная характеристика точки (x, y), например средняя яркость в окрестности этой точки,
f - значение пикселя (x, y).
В зависимости от фактических аргументов этой функции выделяют несколько видов преобразования:
1)T = T(f) - глобальный порог, при котором значение пороговой функции одинаково для всех пикселей;
2)T = T (x, y, f) - локальный или динамический порог;
)Т = Т (x, y, p (x, y), f) - адаптивный порог.
Изображение G (x, y) получаемое в результате определяется так:
g (x, y) =
В случае g (x, y) = 1 точка соответствует объекту, в случае g (x, y) = 0 точка относится к фону.
В качестве значения функции f (x, y) могут рассматриваться различные атрибуты пикселя. Наиболее используемыми являются яркость пикселя и его цветовой тон. Последний метод имеет определенную популярность при решении задач обнаружения лиц, поскольку позволяет легко отсекать области, цвет которых заведомо далек от обычного цвета человеческой кожи.
В этом случае может также использоваться многоуровневое пороговое преобразование:
g (x, y) =
где - значения порогов
В котором, в частности, можно определить 0 и 2 - пиксель фона, 1 - пиксель объекта.
Эффективная работа метода может ожидаться только в случае контролируемых условий, наличии контрастного фона, а также фиксированного освещения. В лабораторных условиях наблюдения за животным выполнение этих требований не вызывает осложнений.
Методы, основанные на вычитании фона
Эта группа методов основывается на построении с помощью нескольких изображений некоторой модели фона, сравнение с которой нового изображения позволяет выделить объекты[11].
В этом случае полагается постоянство положения камеры. Однако это не является гарантией неизменности фонового изображения. Выделяются следующие события, влияющие на работу модели:
─Цифровые шумы камеры. Они зависят от качества камеры и проявляются по всему изображению в виде случайных колебаний значения пикселей.
─Постепенные изменения наблюдаемой сцены, например изменение освещенности или перемещение деталей составляющих фон.
─Автоматическая настройка камеры. Перемещение объекта по сцене или изменения яркости могут вызывать эффект автоматической фокусировки или подстройки цветов. Подобная проблема отсутствует у камер с возможностью отключения этого режима.
─Тень отбрасываемая объектом. Движение объекта сопровождается движением тени, которая в случае неоднородности сцены может при этом подвергаться значительным деформациям.
Модель фона обыкновенно статистически формируется как изображение со средними значениями пикселей и дополнительными структурами содержащими вспомогательную информацию о распределении.
Рассмотрим простейший алгоритм вычитания фона
Ограниченные лабораторные условия, для которых проводится решение поставленной задачи, позволяют наложить ограничения на некоторые свойства снимаемых изображений, что позволит использовать следующий алгоритм выделения объектов на изображении. [8]
В качестве исходной модели фона подготавливается изображение, не содержащее наблюдаемые объекты, которое при строго заданном положении видеокамеры и объектов фона может рассматриваться как неизменное.
При получении нового изображения с видеозахвата производится вычисление разностей текущего изображения с фоновым. Результатом такого вычитания в точках, где на изображении присутствуют пиксели фона, станут значения шума. Шум обладает случайным распределением, и при невысокой амплитуде будет представлять на разности изображений распределенные по всему изображению отдельные точки относительно низкой яркости.
При этом разность фоновой модели с пикселями объекта даст связные области близкой, и, при достаточной контрастности фона, высокой яркости.
Таким образом, для выделения пикселей принадлежащих изображениям объектов проводится пороговое преобразование яркости, и превышение порога будет соответствовать положению точек объектов.
Иногда применения такого метода недостаточно.
В более трудных для компьютерного зрения ситуациях используются более сложные алгоритмы выделения фона, учитывающие изменение модели со временем. Среди причин таких изменений выделяются:
─Движение объектов заднего плана, их добавление и исключение.
─Плавное изменение освещения с течением времени (суточные изменения).
─Резкое изменение освещения (включение-выключение ламп).
─Периодические перемещения объектов заднего плана (например колебание ветвей деревьев в задачах наблюдения с камер слежения).
Помимо этого сложностью при решении поставленных задач является видео анализ сцены, для которой невозможно получить чистое изображение фона.
Уточнение полученных результатов
Эти три метода дают не фактическое выделение объектов на видеозаписи, а лишь создают маску - изображение того же размера что исходное, на котором одним цветом помечены пиксели определенные как пиксели объектов, а другим - пиксели фона. При этом в силу определенных обстоятельств (таких как, например, цифровые шумы) к пикселям объектов могут быть отнесены отдельные изолированные пиксели фона, и наоборот. Возникает проблема устранения таких одиночных фрагментов и получение более связных и компактных множеств пикселей.
Для решения этой задачи применяются следующие операции[9]:
.Дилатация (наращивание).
,
где I - исходное бинарное изображение,
S - примитив операции заданный как множество пар точек, входящих в него,
полученное в результате.
Рис. 2.2. Результат применения операции «наращивание» к бинарному изображению
Наращивание применяется для устранения разрывов изображения, объединения нескольких областей, которые были разделены шумом или тенями, в одну (см. рис. 2.2). Обычно применяется с квадратным или круглым примитивом, разных размеров.
.Эрозия (сужение).
Также характеризуется видом примитива операции S. При работе с бинарными изображениями, в результате этой операции в белый цвет окрашиваются те пиксели, наложение на которые примитива S содержит в исходном изображении только белые пиксели.
где I - исходное бинарное изображение,
S - примитив операции заданный как множество пар точек, входящих в него,
- изображение полученное в результате.
Эрозия применяется для устранения маленьких изолированных областей, которые предположительно получены в результате случайного шума (см. рис. 2.3).
Последовательное применение операций сужение и наращивание позволяет избавиться от шумовых точек, помеченных как пиксели объекта и при этом сохранить крупные области соответствующие реальным объектам.
Рис. 2.3. Результат применения операции «сужение» к бинарному изображению
3.Медианный фильтр.
В отличие от предыдущих двух методов не является морфологической операцией. Работа этой операции в том, что значение пикселя заменяется на медиану значений их окрестности этого пикселя.
То есть из массива отсортированных значений яркости всех пикселей окрестности выбирается значение среднего элемента.
Этот фильтр помогает эффективно избавляться от шума типа «соль и перец» (черные и белые пиксели распределенные по изображению) и от полученных в результате порогового преобразования изолированных ярких точек.
Хотя формальная реализация требует затрат на сортировку массива значений яркости, существуют алгоритмы позволяющие определить это значение без полной сортировки, а лишь частичного упорядочивания величин.
Медианная фильтрация хорошо сглаживает зашумленные области и при этом сохраняет положение границ между ними.
где A-упорядоченный массив значений в окрестности.
.4 Обнаружение фрагментов видеозаписи, содержащих движения
На видеозаписи присутствуют продолжительные фрагменты записи, на протяжении которых изучаемый объект остается неподвижным. Эти фрагменты требуют обнаружения и могут быть классифицированы подобно прочим движениям, однако в силу своей особенности допускают выделение иными, менее трудоемкими методами. Исключение подобных кадров из последующего рассмотрения позволяет значительно снизить затраты на обработку видеозаписи.
Связанные с обнаружением движения алгоритмы активно используются в режиме реального времени в охранных системах, позволяя обнаруживать и сигнализировать о вторжении на охраняемую территорию нарушителя, либо включать запись захватываемого с камеры видео только в случае присутствия в кадре движущегося объекта.
Существующие методы обнаружения движения
В работе [12] представлен метода использующий оптический поток. Оптический поток описывает относительное движение объектов и наблюдателя и позволяет определить положение объекта и скорость его перемещения. Неоднородность оптического потока дает возможность разделять кадр на сегменты, содержащие движения разных объектов.
В работе [13] обнаружение движения основано на временной разности кадров и поле оптического потока. Сначала вычисляется разность двух последовательных изображении, переведенных в серые цвета. Абсолютная разница переводится в бинарное изображение с помощью пороговой функции. Затем из последовательности бинарных изображений строится оптический поток, из которого определяется перемещение объекта.
В работе [14] обнаружение движения осуществляется с помощью сравнения кадром фона. Из видеозаписи берутся два кадра, отстоящих на пару секунд. На основе сравнениях их разности определяется изменение положения объекта.
В работе [15] представлен метод обнаружения движения в реальном времени. В нем используются временная разностная модель, оптический поток и двойная фильтрация фона, в которой применяются накопленная за долгое время информация о фоне и информация о самых последних изменениях фона. Результат подвергается морфологической обработке для улучшения качества обнаружения и исключения шумов.
Эффективность обнаружения
При оценке эффективности используются понятия ошибки первого и второго рода.
Ошибка первого рода означает, что детектор сообщил о наличии движения в фрагменте, хотя на самом деле движение отсутствует. Большое количество ошибок первого рода в данной задаче приведет к тому, что детектор пометит большую часть видеозаписи как содержащую движение, и фактически не выполнит свое назначение - не снизит объем вычислений для обработки всего файла.
Ошибка второго рода означает, что детектор не сообщил о наличии движения в фрагменте, хотя на самом деле движение присутствует. Эти ошибки приведут к пропуску рассмотрения части фрагментов, которые могут содержать характерные для анализа поведения движения.
Также для оценки используются показатели задержки обнаружения начала и конца движения[16]. Они говорят о том, что фрагмент в целом признается содержащим необходимое движение, однако алгоритм не верно определяет границы фрагмента, отсекая начальную часть движения, и при этом сохраняя указание на движение уже после завершение такового.
На эффективность обнаружения также оказывают влияние количество кадров, которые смешиваются для получения размытого изображения, и пороговое значение, которое определяет минимальное среднее отличие между изображениями при наличии искомого движения в кадре.
3.Проектирование программного средства
.1 Проектирование классов программного средства
На рисунке 3.1 изображена диаграмма классов спроектированного программного средства. Проектирование осуществлялось с расчетом на возможное расширение списка используемых методов для будущих исследований и предоставления конечному пользователю большей гибкости применения в различных условиях. Диаграмма изображена с использованием нотации UML.
Рис. 3.1. Диаграмма классов в нотации UML
Класс RecognitionBase предоставляет методы для выбора и подготовки тренировочных данных, а также после завершения обучения для указания последовательности, движение объекта на которой необходимо распознать. Для выбора тренировочных данных используется пара файлов, один из которых содержит видеозапись, а другой - описание движений, которые запечатлены на этой видеозаписи. Каждое движение записывается в одну строку в виде тройки: название движения, время начала движения на видеозаписи, время окончания движения на видеозаписи.
Класс ActionSequence представляет собой фрагмент движения с заданным именем, указанный на соответствующей видеозаписи в определенном промежутке времени. Он позволяет скрыть от остального кода факты расположения данных в разных файлах. Вместо этого, доступ к каждому фрагменту осуществляется как к отдельному экземпляру с использованием стандартных методов.
Интерфейс ActionModel задает методы, которые должен реализовывать класс, представляющий модель распознавания движений. Условное описание этих методов приведено в таблице 3.
Таблица 3. Методы интерфейса ActionModel
Имя методаВходные данныеВыходные данныеКомментарийInitTrainingКоличество классов Список названий типов движенийНетПодготавливает объект класса к обучениюTrainСписок обучающих фрагментов движений в виде объектов класса ActionSequenceНетОбучает модель для распознаванияRecognizeРаспознаваемый фрагмент движения в виде объекта класса ActionSequenceТип движенияС помощью обученной модели выдает предположение о наиболее вероятном типе движения
Класс ActionModelHMM реализует интерфейс ActionModel на основе модели распознавания с использованием скрытых моделей Маркова.
Интерфейс ObjectDetector позволяет реализовать в модели распознавания шаблон «стратегия», для выбора пользователем подходящего алгоритма предобработки кадра видеозаписи. Классы ColorObjectDetector и BackgroundObjectDetector реализуют алгоритмы выделения объекта на основе его цветовых характеристик и на основе вычитания фона соответственно.
Эти алгоритмы использую параметры, значения которых приведены в таблицах 4 и 5 сответственно.
Таблица 4. Значения параметров метода «Цветовое выделение объекта»
Имя параметраДиапазон значенийРасшифровкаMinH0-180Минимальное значение цветового тона, ниже которого пиксель считается относящимся к фонуMaxH0-180Максимальное значение цветового тона, выше которого пиксель считается относящимся к фонуSaturation0-255Минимальное значение насыщенности, ниже которого пиксель считается относящимся к фонуBrightness0-255Минимальное значение яркости, ниже которого пиксель считается относящимся к фону
Таблица 5. Значения параметров метода «Вычитание фона»
Имя параметраДиапазон значенийРасшифровкаBackgroundИзображениеИзображение зоны наблюдения в отсутствии наблюдаемого объектаThreshold0-255Значение отклонения яркости пикселя фона от яркости пикселя кадра, ниже которого пиксель считается принадлежащим к фону
.2 Возможности использования CUDA
Значительные сложности в разработке и испытании методов распознавания объектов и движений на видеозаписи вызывает высокая вычислительная сложность этих задач. При обработке минуты видеозаписи, снятой в формате стандартной четкости, имеющем разрешение изображения 720х576 пикселей и 25 кадров в секунду, потребуется работа с порядка 10 миллионами пикселей, включая множественные операции вычисления интегралов и градиентов по этому объему.
Для увеличения производительности этой операции может служить использование вычислительной мощности GPU, а также технологии CUDA.
CUDA - это архитектура параллельных вычислений от NVIDIA, позволяющая существенно увеличить вычислительную производительность, благодаря использованию GPU.
Эффективность этих средств обусловлена тем, что обработка данных в методах распознавания образов связана с множеством однотипных последовательностей операций, проводимых над некоторыми выделенными блоками всех данных. Это обстоятельство приводит к возможности применения параллельных вычислений, которые и являются основным преимуществом GPU перед CPU.
Основными плюсами технологии CUDA являются:
)С-подобный синтаксис;
)увеличение производительности векторных вычислений до 25 раз;
)поддержка мобильных платформ.
Несмотря на имеющиеся плюсы, существуют определенные затруднения, которые могут усложнить работу с CUDA, либо привести к факту ее невозможности в рамках отдельной решаемой задачи:
)ограниченное число функций и типов данных;
)необходимость транслирования данных между CPU и GPU;
)дополнительные требования к оборудованию.
4.Реализация приложения
.1 Разработка методов обнаружения объекта
Выделение объектов на основе цветовых характеристик
Рис. 4.1. Окно «Цветовое выделение объектов»
В окне «Цветовое выделение объектов» (см. рис. 4.1.) к кадрам видеозаписи могут быть применены пороговые преобразования с заданными характеристиками цветового тона, насыщенности и яркости.
Процесс цветового выделения объекта может быть представлен такой последовательностью действий:
.Преобразование полученного кадра в цветовую систему HSB.
.Пороговое преобразование по каждой цветовой характеристике.
.Устранение изолированных пикселей и малых областей с помощью операций наращивания и сужения.
.Пересечение полученной маски с исходным изображением.
Выделение объектов с помощью вычитания фона
На рисунке 4.2 изображен интерфейс окна «исключение фона».
Для выполнения операций исключения фона должно быть выбрано изображение фона при отсутствии исследуемого объекта и задан порог для отделения шума в разности от реального объекта.
Процесс выделения объекта методом исключения фона:
.Захват нового кадра с камеры либо видеозаписи
.Вычисление разности между полученным кадром и фоном
.Пороговое преобразование разности.
.Устранение изолированных пикселей с помощью медианного фильтра.
.Пересечение полученной маски с исходным изображением.
Рис. 4.2. Окно «Исключение фона»
4.2 Результат работы методов выделения объектов
а) б)
Рис. 4.3. Работа метода цветового выделения объекта:
а - исходный кадр записи; б - результат применения пороговой обработки с параметрами MinH = 0, MaxH = 180, S = 0, B = 96
На рисунках 4.3 и 4.4 приведены результаты работы метода цветового выделения объекта на примерах имеющихся видеозаписей.
На рисунке 4.4 приведены изображения одного и того же кадра с разным значением максимальной яркости, использованным в операции. Лучше значение выбрано на рисунке 4.4, г, тогда как на 4.4, д порог имеет слишком низкое значение и при нем уже исключены пиксели принадлежащие объекту исследования. При этом значения цветового тона и насыщенности оказались неэффективными для выделения объекта на имеющихся записях.
При оптимальных с точки зрения выделения исследуемого объекта параметрах операции на изображении оказываются выделенными также некоторые элементы фона, подходящие по значениям цветовых параметров.
На рисунке 4.5 изображены результаты работы метода исключения фона при различных значениях порога для шумовых значений. Лучше значение на рисунке 4.5, г.
Однако на рисунке видно, что в результате применения метода исключения фона вместе с объектом в результирующем изображении оказались помещенными также пиксели относящиеся к тени, отбрасываемой объектом. Они тоже являются динамическими по отношению к фону и отсутствуют на исходном изображении.
а)б)в)
г)д)
Рис. 4.4. Работа метода цветового выделения при MinH=0, MaxH = 180, S =0:
a - исходное изображение; б, в, г, д - результат при значении B равном соответственно 166, 106, 87, 69
а)б)
в)г)
Рис. 4.5. Применение операции исключения фона:
а - исходный кадр; б, в, г - результаты применения операции со значениями порога соответственно 6,12,21
Результат тестирования времени работы обоих методов приведен в таблице 6. Эти результаты не зависят от настройки параметров методов.
Таблица 6. Измерение времени работы методов выделения объектов
МетодСреднее время работы, мс/кадрИсключение фона4.066Цветовое выделение14.418
Таким образом, при выборе метода на основании исключительно временных затрат на обработку более предпочтительным является метод исключения фона.
На основании получаемой маски реализовано выделение конкретного объекта, результат этого выделения изображен на рисунке 4.6.
Рис. 4.6. Результат выделения объекта
Для выделенного объекта возможно определение положения и скорости центра масс, а также размеров объекта по вертикали и горизонтали, выраженных в пикселях.
.3 Распознавание движений
На рисунке 4.7 изображен интерфейс окна «Распознавание движений». В нем можно указать файлы видеозаписи и описания к ней, а также выбрать и настроить метод выделения объекта.
Поля ввода в нижнем левом углу позволяют задать начальную область интереса, в которой ожидается наличие исследуемого объекта. Окно позволяет сначала провести обучение на выбранной паре файлов, а затем провести испытание с выбором другой пары.
Рис. 4.7. Окно «Распознавание движений»
.4 Результаты работы
Был реализован метод описания движений объекта с помощью характеристик его контура - положение центра масс контура в кадре, скорость перемещения центра масс, размеры охватывающего прямоугольника.
Несмотря на кажущуюся простоту применяемых характеристик, они оказываются существенными при описании значительного количества движений объекта, совершаемых в пределах оборудованной емкости.
На рисунке 4.8 приведен кадр видеозаписи, на которой проводилось испытание. Помимо объекта в емкости помещен контейнер для кормления.
Исследовались движения следующих видов:
1.Rest. Мышь находится в покое.
2.Walk. Мышь перемещается по емкости на четырех лапах.
3.Rear. Мышь стоит на задних лапах.
4.Groom. Мышь не умывает мордочку.
5.Eat. Мышь принимает пищу слева из контейнера.
6.Hang. Мышь повисает на сетке, расположенной сверху.
Рис. 4.8. Кадр тестовой видеозаписи
7.Micromovements. Прочие движения сопровождающиеся изменениями положения тела и его частей.
Для тестовой видеозаписи было построено описание каждого кадра с помощью таких векторов. Затем на этих данных было обучено дерево решений с помощью алгоритма CART.
Результат проверки обучения на второй тестовой записи представлен на рисунке 4.9.
Рис. 4.9. Фрагмент результата классификации кадров видеозаписи
Сплошной линией на рисунке изображены действительные значения классов движений, к которым принадлежит кадр, а сплошной - определенные с помощью дерева решений. По вертикали условно изображены номера классов движений, а по горизонтали - номера кадров.
Диаграмма ошибок распознавания приведена на рисунке 4.10.
Рис. 4.10. Диаграмма ошибок распознавания
Средняя точность распознавания 38%. Существенное ухудшение качества распознавания вносит движение «Eat», которое распознается в минимальном количестве случаев. Несмотря на достаточно низкую точность в общем случае, метод позволяет отделять некоторые движения с достаточной эффективностью. Их исключение из рассмотрения позволит снизить нагрузку на специалистов, просматривающих записи.
Заключение
В настоящей выпускной квалификационной работе рассматривалось применение методов распознавания жестов животного на видеозаписи, с использованием подходов, которые широко используются при работе с движениями человека.
Получены результаты:
.Рассмотрены методы обнаружения объекта на видеозаписи, необходимые для подготовки видеоданных для последующего распознавания. Выбран удовлетворяющий нашим условиям метод.
.Разработана модель распознавания движений с возможностью обучения и использования различных алгоритмов детектирования особенностей и распознавания движений.
.Реализовано и испытано программное средство, соответствующее модели.
Использованный метод позволяет с достаточной точностью определять некоторые виды движений, что позволяет исключить из рассмотрения хотя бы часть имеющихся фрагментов. Таким образом применение подобного программного средства способно частично снизить нагрузку лежащую на исследователе.
В продолжение данной работы возможно испытание иных методов, используемых при распознавании движений человека, однако применение многих из них требует более высокого качества видеосъемки.
Список источников информации
1.Shekhar A., McCann U.D., Meaney M.J. Summary of a National Institute of Mental Health workshop: developing animal models of anxiety disorders. // Psychopharmacology. - Berlin, 2001. - C.328-339.
.Innovative solutions for animal behavior research. [Электронный ресурс] / Noldus Information technology. URL: http://www.noldus.com/files/swf/catalog/animal.html (дата обращения: 26.06.2016).
3.Guangchun Cheng, Yiwen Wan, Abdullah N. Saudagar, Kamesh Namuduri, Bill P. Buckles. Advances in Human Action Recognition: A Survey // Dept. of Computer Science and Engineering, University of North Texas. - 2015. - 30 с.
4.Julian Stöttinger, Bogdan Tudor Goras, Nicu Sebe, Allan Hanbury. Behavior and Properties of Spatio-temporal Local Features under Visual Transformations. // ACMM. - 2010. - 4 c.
.H. Wang, M.M. Ullah, A. Kläser, I. Laptev and C. Schmid. Evaluation of local spatio-temporal features for action recognition. // BMVC. - 2009. - 9 с.
.Olivier Duchenne, Ivan Laptev, Josef Sivic, Francis Bach and Jean Ponce. Automatic Annotation of Human Actions in Video. // ICCV. - 2009. - 8 c.
.Ivan Laptev. Local Spatio-Temporal Image Features for Motion Interpretation. // Department of Numerical Analysis and Computer Science. - 2004. - 2 c.
8.Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2005. - 1072 c.
.Компьютерное зрение / Шапиро Л., Стокман Дж. - М.:Бином, 2006. - 276 c.
10.Piotr Dollar Vincent Rabaud Garrison Cottrell Serge Belongie. Behavior Recognition via Sparse Spatio-Temporal Features. // VS-PETS. - 2005. - 8 с.
.Huitao Luo. Algorithms for Video Object Detection and Segmentation with Application to Content-Based Multimedia Systems. // Columbia University. - 2000. - 181 с.
.M.H. Ali, Fadhan Hafiz, A. A Shafie, Motion Detection Techniques using Optical Flow. // World Academy of Science, Engineering and Technology. - 2009. - Т.32. - С. 559-561.
.WeiShuigen, ChenZhen, DongHua, Motion Detection Based on Temporal Difference Method and Optical Flowfield. // Second International Symposium on Electronic Commerce and Security. - 2009. - С. 85-89.
.K. Suganya Devi, N. Malmurugan, M. Manikandan, Object Motion Detection in Video Frames Using Background Frame Matching. // International Journal of Computer Trends and Technology. - 2013. - Т.4. - Вып.6. - С. 1928-1931.
.Nan Lu, Jihong Wang, Q.H Wu, Li Yang, An Improved Motion Detection Method for Real-Time Surveillance // International Journal Of Computer Science. - 2008. - Т.1. - Вып.6. - С. 1-10.
16.А.В. Сорокин, С.Ю. Самсон, Ю.Г. Древс. Критерии эффективности алгоритмов обнаружения манёвров динамических объектов // Научная сессия МИФИ - 2009. Сборник научных трудов. М., Т. 5. - 2009. - 2 с.