В зависимости от кода нажатой клавиши выбирать следующее действие: выход из программы, запуск или закрытие дополнительных окон для сканирования цветового диапазона объекта.
2.4 Реализация
Реализация данной архитектуры будет производиться по методу нисходящей разработки, сначала проектируются и реализуются модули программы, начиная с модуля самого верхнего уровня - головного, далее разрабатываются модули уровнем ниже и т.д. Самым верхним уровнем в иерархии программы будет класс main.cpp. Далее следуют логически зависимые классы. Класс FaceDetector.cpp будет работать с трекингом лица. Для трекинга объекта по цвету будет создан класс ObjectColorDetector.cpp. Для отключения монитора и перемещения мыши будет создан класс SysstemCallerHelper.cpp. Логику инициализации необходимых ресурсов будет содержать в себе Initializer.cpp. Захват кадра из видео потока будет осуществлять FrameHelper.cpp.
Согласно разработанной логике программы вначале необходимо получить кадр. Этим будет заниматься метод getFrame. Далее, подготавливаем полученное изображение для трекинга объекта по цвету и распознавания лица. Этим будут заниматься методы getFrameForObjectTracking и getGrayFrame соответственно. Собственно, сама логика работы по распознаванию лиц и объектов по цвету реализована в методах detectFace и detectColorObject. Далее, для корректного трекинга объектов по цвету, необходимо вызывать цветовой сканер. Их в программе будет два: первый - scanMode для автоматического определения, второй - colorControlPanel для ручной настройки искомого цвета. Для их вызова будет использована стандартная OpenCV функция waitKey. Все это будет обернуто в бесконечный цикл, из которого можно выйти путем нажатия клавиши Esc. В результате получается следующая структура, продемонстрированная в листинге 1.
(true)
{(cap, bgrImage); //Получаем кадр из видеокамеры= getFrameForObjectTracking(bgrImage); //Обрабатываем кадр для трекинга объекта grayscaleFrame = getGrayFrame(bgrImage); //Обрабатываем полученный кадр для трекинга лица excludedFaceROI = detectFace(grayscaleFrame, bgrImage); //Поиск лица, отключение монитора detectColorObject(bgrImage, depthMap, excludedFaceROI); //Трекинг объекта= waitKey( 20 ); //Нажатие клавиши if( wk == 27 ) //ESC
{; //Выход
}if (wk == 32 )//Space
{();//Запуск автоматичесского сканирования цвета
}if (wk == 67)//C
{();//Запуск ручного скинрования цвета
}
}
Листинг 1 - Тело основного цикла программы
Единственный нюанс, не описанный выше, заключается в переменной excludedFaceROI, в нее будем помещать область, в которой находится лицо, а затем удалять ее из кадра, который будет обрабатываться для трекинга по цвету. Сделано это для того, чтобы не было накладок, которые могут возникнуть, если пользователь выберет телесный цвет своей руки.
2.5 Трекинг лица
Для начала рассмотрим возможности библиотеки обнаружить лицо человека. В OpenCV для решения задачи поиска лица на изображении используется каскадный детектор, работающий по методу Виолы - Джонса (Viola - Jones). В качестве простых классификаторов для каскада используются простые Хааровские классификаторы. Сейчас метод Виолы - Джонса является одним из самых быстрых и более-менее стабильно работающим, однако при повороте лица относительно горизонтали больше чем на 30 градусов он не находит объект. В составе библиотеки можно найти уже сгенерированные и настроенные классификаторы, которые можно использовать. Также библиотека предоставляет возможность поиска объекта по шаблону соответствия (Template matching). Шаблон соответствия - метод, используемый, чтобы найти изображение меньшего размера в большем. Поиск можно приблизительно представить следующим образом: изображение шаблона последовательно накладывается на исходное изображение и между ними вычисляется корреляция, результат которой заносится в результирующее изображение. Таким образом можно обнаружить лицо, используя шаблонное совпадение.
Трекинг лица разделяется на несколько этапов. Первый - подготовительный, получаем доступ к видео потоку. Библиотека предоставляет удобный функционал, который позволяет реализовать данную задачу всего в несколько строк. После того, как получили доступ к видео, необходимо каждый раз захватывать кадр из потока и обрабатывать его, что было представлено в листинге 1 - метод getFrame. Для распознавания объектов OpenCV требует, чтобы изображение было в градациях серого, поэтому у каждого кадра обязательно изменяем цветность, метод getGrayFrame из листинга 1. На следующем этапе необходимо загрузить классификаторы Хаара. В OpenCV есть соответствующий класс для работы с этими классификаторами, который называется CascadeClassifier. Библиотека предоставляет набор своих классификаторов. По сути, классификатор является большим xml файлом (около 35тыс строк) с набором необходимых значений. Для его загрузки используется метод load класса CascadeClassifier. Далее для поиска лиц используется вызов метода detectMultiScale все того же класса. Данный метод возвращает массив прямоугольников с найденными лицами. Для однозначного определения лица будем брать наибольший прямоугольник. Теперь есть координаты прямоугольника, описанного вокруг лица, которые можно отслеживать.
Перейдем к рассмотрению шаблонного совпадения. Для него достаточно иметь какую либо исходную картинку, в нашем случае это прямоугольник с лицом пользователя. Далее находим совпадение с помощью OpenCV функции matchTemplate, которая принимает следующие аргументы: шаблон поиска, изображение, в котором осуществляется поиск, изображение, в которое поместим результат и метод сравнения. Библиотека предоставляет шесть методов сравнения. Эти методы просто меняют формулу расчѐта корреляции. Следует обратить внимание, что для приведения результата корреляции в «видимый» формат (ведь некоторые методы могут возвращать отрицательные значения) используется нормировка изображения. В зависимости от выбранного метода корреляции, местоположение заданного шаблона на целевом изображении можно обнаружить по минимуму или максимуму значения на результирующей картинке.
Поиск лица во всем кадре ресурсоемко, поэтому логично, после того как нашли лицо, запомнить эту область. Тогда на следующей итерации цикла можно сканировать не весь кадр, а только его часть, что увеличивает производительность программы и экономит электроэнергию за счет снижения нагрузки на процессор.
Как было сказано ранее, стандартный классификатор не работает при наклоне головы более чем на 30 градусов. Отчасти решить эту проблему поможет еще один классификатор для нахождения глаз. Найдя их можно установить угол наклона головы относительно горизонта. То есть, определив координаты правого и левого глаза, можно провести прямую. Получившийся угол между этой прямой и горизонталью является углом наклона головы. Далее следует простой и очевидный шаг: для корректного детектирования лица в наклоне необходимо повернуть область лица относительно остального кадра на найденный угол в противоположном направлении.
Соединив вместе вышеизложенные идеи получаем следующий алгоритм, представленный на рисунке 1.
Для полного понимания переведем алгоритм, представленный на рисунке 1, в псевдокод в листинге 2. При этом добавим системные вызовы для отключения или включения монитора, там, где это необходимо. Очевидно, что нужно выключать монитор, если за определенное время не смогли найти ни одного лица, в противном случае посылаем сообщение системе о том, что нужно включить монитор.
Рисунок 1 - Алгоритм трекинга лица
(true)
{
получить кадр; if(найдены углы)
повернуть область кадра if(не найдены лица)
{
}
{
найти лицо во всем кадре найдены углы = false
выключить монитор если необходимо
включить монитор если необходимо находим лицо в области кадра
Находим глаза и определяем угол наклона головы if(найдены углы) находим лицо в области кадра(не нашли лицо в заданной области)
найти лицо по заранее сохраненному шаблону
}
Отобразить рамку вокруг найденного лица Выход из цикла если необходимо
}
Теперь для разработки имеется алгоритм и псевдокод, по которым можно вести разработку части программы, отвечающую за трекинг лица. Как было указано в листинге 1 этим будет заниматься метод detectFace. В листинге 3 представлена его реализация.
detectFace(Mat &grayscaleFrame, Mat &captureFrame )
{(foundAngles)(grayscaleFrame(faceROI), grayscaleFrame(faceROI), r, Size(grayscaleFrame(faceROI).cols, grayscaleFrame(faceROI).rows));
if(!detect) //Если лицо не найдено
{
{(grayscaleFrame); //Пытаемся найти лицо во всем кадре
foundAngles = false; //Снимаем флаг того, что есть углы поворота лица по глазам offMonitorIfNeed(); }
onMonitorIfNeed(); detectFaceAroundRoi(grayscaleFrame);(grayscaleFrame); //Находим глаза и определяем угол наклона головы if(foundAngles) //Если нашли угол, то пытаемся снова найти лицо, но с уже повернутой
//областью лица detectFaceAroundRoi(grayscaleFrame);(m_templateMatchingRunning)
{("try detect using template matching \n"); detectFaceTemplateMatching(grayscaleFrame); //Пытаемся найти лицо по шаблону
}
}faceRect = rectangleFace();(captureFrame, faceRect); //Обводим область лица на цветном кадре прямоугольником
return faceRect;
}
Листинг 3 - Реализация трекинга лица
Поясним некоторые моменты. Метод возвращает структуру Rect, в которой содержаться координаты верхнего левого угла, а также высота и ширина прямоугольника. В качестве параметров метод принимает две матрица изображения из видео потока. Первая grayscaleFrame - кадр в градациях серого, вторая captureFrame - цветной кадр для пользователя. Для уточнения поясним, что метод warpAffine является стандартным методом OpenCV. Этот метод реализует поворот матрицы на заданный угол.
Продемонстрируем работу алгоритма трекинга лица. На рисунке 2 показан первоначальный кадр, захваченный из видеопотока веб-камеры.
Рисунок 2 - Захваченный кадр из видеопотока
Далее кадр переводится в градации серого. По алгоритму, если зашли в цикл впервые, то необходимо осуществить поиск лица по всему кадру. На рисунке 3 представлен кадр, на котором найденное лицо обведено в черную рамку.
Рисунок 3 - Программа обнаружила лицо
Далее запоминаем координаты области, в которой будем определять лицо, а также создаем шаблон, по которому будем искать в случае, если не найдем лицо в данной области. Допустим, если потеряли лицо при повороте, то будем искать по шаблону (рисунок 4).
Рисунок 4 - Шаблон поиска
На рисунке 5 слева можно увидеть результат применения шаблона - корреляцию между шаблоном и изображением. Теперь, на основе совпадения, по координатам шаблона определяем область лица и обводим его для наглядности черной рамкой (рисунок 5 справа).
Рисунок 5 - Результат применения шаблона
Слева - корреляция между шаблоном и кадром, справа - найденное лицо.
Конец первой итерации цикла. Обновляем позицию лица в цветном кадре (рисунок 6).
Рисунок 6 - Итоговое изображение после первого цикла программы
Переходим на начало следующей итерации. Так как теперь знаем область расположения лица, то, чтобы не сканировать весь кадр, начинаем поиск в этой области (рисунок 7 справа).
Рисунок 7 - Выбор области поиска на второй итерации цикла
Слева - кадр на новой итерации, справа - поиск в заранее известной области
Как описывалось ранее, иногда возникают проблемы с распознаванием при наклоне головы, для выхода из этой ситуации было решено, что при постепенном повороте головы нужно вычислять угол между прямой, проведенной между глазами, и горизонталью. На основе этого угла и будем поворачивать изображение. Для более корректного поиска глаз сузим поиск по области лица, взяв ее верхнюю половину. Проведем для наглядности линию между найденными глазами (рисунок 8).
Рисунок 8 - Линия между найденными глазами
Если повернуть голову, то найдем угол и повернем картинку (рисунок 9).
Рисунок 9 - Поворот области на заданный угол
Теперь есть координаты области лица и углы, а на следующей итерации цикла сразу повернем нужную нам область и повторим вышеперечисленные действия. Отобразим, для наглядности, результат применения всех манипуляций (рисунок 10).
Рисунок 10 - Обработанное изображение для корректного трекинга лица
Нашли лицо - значит, теперь есть его координаты. Сопоставив эти координаты с цветным кадром, получим следующее изображение, представленное на рисунке 11.
Рисунок 11 - Изображение которое видит пользователь
Это был алгоритм работы распознавания. Для отключения монитора достаточно лишь добавить несколько строк кода, в которых будет засекаться время распознавания: допустим, если не можем найти лицо, то таймер выключения экрана не обнуляется и при достижении определенного значения этого таймера посылаем сигнал в систему, что необходимо выключить монитор. Точно такой же принцип работы включения экрана - если на протяжении нескольких секунд находим лицо, то можно включить экран.
2.6 Трекинг объекта по цвету
Вторая часть программы подразумевает, что перемещение курсора будет осуществляться через отслеживание заданного объекта. Объект будет задаваться через выбор цвета, то есть если пользователь, например, выберет желтый цвет, то будет отслеживаться перемещение объекта желтого цвета. Также необходимо дать возможность пользователю задавать цвет искомого объекта. Предусмотрим два варианта задания цвета: автоматический и ручной. В автоматическом режиме программа сама определяется цвет по заданным областям картинки. В ручном режиме у пользователя будет возможность с помощью ползунков подгонять искомый цвет. Также предусмотрим вызов еще одного окна, которое будет показывать наглядный результата подгонки цвета.
Пусть метод, который будет осуществлять логику работы с трекингом объекта и перемещением курсора, будет называться detectColorObject (листинг 1).
В этом методе будем задавать верхнюю и нижнюю границы цвета. Для этого будем обрабатывать кадр в цветовом пространстве HSV. Также исключаем область лица (excludeROI), закрашивая ее в черный цвет.
Теперь все готово для трекинга объекта, ее реализацию поместим в метод detectObj. Для наглядности в листинге 4 представлено тело метода detectColorObject.
void detectColorObject(Mat& bgrImage, Mat& depthMap, Rect& excludeROI)
{(bgrImage, Scalar(iLowH, iLowS, iLowV), Scalar(iHighH, iHighS, iHighV), depthMap); depthMap(excludeROI) = Scalar (0);
detectObj(depthMap, bgrImage.clone());
}
Листинг 4 - Тело метода отвечающего за трекинг объекта по цвету
Перейдем непосредственно к созданию трекинга объекта. Чтобы обнаружить объект по цвету в OpenCV существует функция findContours, которая находит контуры объектов. Одним из ее аргументов является кадр depthMap в цветовом диапазоне, полученном в методе inRange (листинг 4). После анализа кадра метод findContours возвращает массив найденных контуров. Для упрощения работы будем выбирать самый большой контур. У каждого контура имеется набор координат, по ним вычисляем среднюю точку. Смещение этой точки будет коррелировать со смещением курсора мыши. Собственно для смещения нужно будет вызывать системные функции. Таким образом, получилась относительно простая реализация задуманного алгоритма. Перейдем к выбору цвета. В листинге 4 в метод inRange передаются скалярные величины из переменных iLowH, iLowS, iLowV, iHighH, iHighS и iHighV. От них зависит цветовой диапазон поиска. Собственно они и будут изменяться в процессе подгонки цвета пользователем. Для их изменения были созданы методы scanMode и colorControlPanel (листинг 1). Первый метод будет изменять величины самостоятельно, а второй будет давать пользователю подгонять самому. Реализация метода scanMode представлена в листинге 5.
scanMode()
{(SCAN_NAME_WINDOW, 1);
Rect roiScan(0,0,bgrImage.cols/2, bgrImage.rows/2) ;
initHandColor(bgrImage(roiScan));
}
Листинг 5 - Реализация вспомогательного окна
В первой строчке создается новое окно, в которое помещается четверть захваченного кадра (вторая строчка создания объекта roiScan класса Rect). Далее в методе initHandColor сканируем цвет объекта, и берем усредненный. Метод colorControlPanel спроектирован аналогично за исключением того, что вместо усредненного цвета берутся данные, контролируемые пользователем с помощью ползунков.
Для наглядности продемонстрируем работу реализации алгоритма цветового трекинга объекта. На рисунке 12 продемонстрирован захваченный цветной кадр.
Рисунок 12 - Первый захваченный кадр из видеопотока
Далее этот кадр трансформируется в цветовое пространство HSV, потом в черно-белый вариант, что показано на рисунке 13.
Рисунок 13 - Кадр в черно-белом варианте
Для того чтобы начать отслеживать объект по цвету нужно этот цвет указать программе. Как уже было ранее сказано, в программе имеется два способа указать цвет. Воспользуемся автоматическим. Его можно вызвать по нажатию на клавишу «Пробел». После нажатия появляются два окна. В первом окне для запоминания цвета нужно поместить объект так, чтобы зеленые квадраты были нацелены на него (рисунок 14). В данном примере будет осуществляться трекинг желтой карточки.
Рисунок 14 - Сканирование цвета объекта
Второе окно помогает понять, что цвет выбран однозначно и нет посторонних шумов. Картинка в нем состоит только из двух цветов - черного и белого. Белый цвет говорит о том, какие объекты найдены. В случае с желтой карточкой оно будет таким, как показано на рисунке 15.
Рисунок 15 - Бинарное отображение
Далее OpenCV определяет координаты контура. Этот контур можно визуализировать, что представлено на рисунке 16. Потом, зная контур, вычисляется средняя точка и производится корреляция этих координат с координатами мыши.
Рисунок 16 - Итоговое изображение
Так происходит выбор цвета объекта и его трекинг на примере карточки желтого цвета. Но в этом примере не показано наглядно удаление области лица перед поиском контура. Продемонстрируем это на примере трекинга руки. Для начала зададим цвет (рисунок 17).
Рисунок 17 - Сканирование цвета руки
Теперь получаем следующее двоичное изображение, представленное на рисунке 18.
Как видно на рисунке 18, по выбранному цвету будет осуществляться трекинг не только руки, но и лица, тогда как трекинг лица необходим для других целей. Область лица удаляется (рисунок 19).
Рисунок 19 - Двоичное изображение с удаленной областью лица
Теперь будет отслеживаться только рука. В итоге получаем изображение как на рисунке 20.
Рисунок 20 - Результирующее изображение
Перейдем ко второму способу выбора цвета. Для вызова окон ручного подбора цвета необходимо нажать клавишу «С». Для примера снова возьмем трекинг желтой карточки, но пусть изначально цвет не подобран, что отображено некорректным контуром на рисунке 21.
Рисунок 21 - Изображение с некорректной настройкой цвета
В итоге после вызова ручного способа создадутся два окна. Первое окно с двоичным изображением (рисунок 22).
Рисунок 22 - Двоичное изображение
Второе окно будет содержать в себе ползунки с настройками каналов HSV. Для каждого из трех каналов будет задаваться нижняя и верхняя цветовая граница (рисунок 23).
Рисунок 23 - Окно с текущими настройками поиска цвета
Перемещая ползунки можно добиться поиска искомого желтого цвета. Таким образом, окно с настройками будет иметь следующий вид, представленный на рисунке 24.
Рисунок 24 - Окно с перенастроенными уровнями цвета
Понять, что верхние и нижние границы каналов HSV выставлены корректно можно по двоичному изображению (рисунок 25).
Рисунок 25 - Двоичное изображение
В итоге результирующее изображение будет таким как на рисунке 26.
Рисунок 26 - Результирующее изображение
Таким образом, был разобран механизм трекинга объекта по цвету. Корректное определение объекта позволяет программе правильно перемещать курсор мыши.
Реализация программы
Класс main.cpp
#include "mainHeader.h"
#include "FaceDetectorHeader.h"
#include "ObjectColorDetectorHeader.h"
#include "InitializerHeader.h"
#include "FrameHelperHeader.h"wk = 0;excludedFaceROI;main()
{(); //Подключаемся к любой доступной камере initControlWindows(); //Инициализация окна контроля loadCascades(); //Инициализация каскадов для трекинга лица
clockInit(); //Инициализация таймеров для отключения/включения монитора(true)
{(cap, bgrImage); //Получаем кадр из видеокамеры= getFrameForObjectTracking(bgrImage); //Обрабатываем кадр для трекинга объекта grayscaleFrame = getGrayFrame(bgrImage); //Обрабатываем полученный кадр для трекинга лица excludedFaceROI = detectFace(grayscaleFrame, bgrImage); //Поиск лица, отключение монитора detectColorObject(bgrImage, depthMap, excludedFaceROI); //Трекинг объекта= waitKey( 20 ); //Нажатие клавиши if( wk == 27 ) //ESC
{; //Выход
}if (wk == 32 )//Space
{();//Запуск автоматичесского сканирования цвета
}if (wk == 67)//C
{();//Запуск ручного скинрования цвета
}if(wk == 86)//V
{();//Закрытие окна автоматического сканирования
}
}(); return 0;
}
Класс FaceDetector.cpp
#include "FaceDetectorHeader.h"
#include "SysstemCallerHelperHeader.h"char* FRONT_CASCADE_NAME = "haarcascade_frontalface_alt_tree.xml"; const char* PROFILE_CASCADE_NAME = "haarcascade_profileface.xml";char* EYE_CASCADE_NAME = "haarcascade_eye.xml";
//HWND hwnd = nullptr;face_cascade; //Каскад для определения лица CascadeClassifier eye_cascade; //Каскад для определения глаз
CascadeClassifier faceProfile_cascade; //Каскад для определения лица в профильcaptureDevice; //Камера<Rect> faces; //Массив найденных лиц vector<Rect> eyes; //Массив найденных глаз
Mat captureFrame; //Матрица цветного кадра Mat grayscaleFrame;faceTemplate; //Матрица шаблонаm_matchingResult; //Матрица шаблона Mat r ; //Матрица поворота
Rect face; //Область лицаfaceROI; //"Область интересов" вокруг области лица Rect eyesROI; //"Область интересов" вокруг области глаз
Point m_facePosition = NULL; //Координаты центра лицаdetect = false; //Флаг - нашли лицо или нет boolean monitorIsOFF = false; //Флаг - монитор выключен boolean foundAngles = false; //Флаг - найдены углы поворта boolean logIsON = false; //Флаг - логирование включеноm_templateMatchingRunning = false; //Флаг - поиск по шаблону
//Число мс для нахождения по шаблону int64 m_templateMatchingStartTime = 0; int64 m_templateMatchingCurrentTime = 0;m_templateMatchingMaxDuration = 3; //Максимальное время поиска по шаблону double m_scale = 1; //Масштаб
float angle = 0; //Угол поворота головы
//Таймеры
const double TICK_FREQUENCY = getTickFrequency(); clock_t cl = NULL ;_t clClose = NULL;log(const char *message)
{(logIsON)(message);
}calculateROI(const Rect &inputRect, const Rect &frameSize)
{outputRect;.width = inputRect.width * 2; outputRect.height = inputRect.height * 2;.x = inputRect.x - inputRect.width / 2; outputRect.y = inputRect.y - inputRect.height / 2;(outputRect.x < frameSize.x) { outputRect.width += outputRect.x; outputRect.x = frameSize.x;
}(outputRect.y < frameSize.y) { outputRect.height += outputRect.y; outputRect.y = frameSize.y;
}
(outputRect.x + outputRect.width > frameSize.width) { outputRect.width = frameSize.width - outputRect.x;
}(outputRect.y + outputRect.height > frameSize.height) { outputRect.height = frameSize.height - outputRect.y;
}outputRect;
}centerOfRect(const Rect &rect)
{Point(rect.x + rect.width / 2, rect.y + rect.height / 2);
}biggestFace(vector<Rect> &faces)
{(!faces.empty());*biggest = &faces[0]; for (auto &face : faces) {(face.area() < biggest->area()) biggest = &face;
}*biggest;
}getFaceTemplate(const Mat &frame, Rect face)
{.x += face.width / 4; face.y += face.height / 4; face.width /= 2;.height /= 2;faceTemplate = frame(face).clone(); return faceTemplate;
}detectFaces(Mat &frame)
{("try detect in whole frame \n");_cascade.detectMultiScale(frame, faces, 1.1, 3,0,//CV_HAAR_FIND_BIGGEST_OBJECT, Size(frame.rows / 5, frame.rows / 5),(frame.rows * 2 / 3, frame.rows * 2 / 3));(faces.size()==0)
{("detect in whole frame frontal face is FAIL \n"); log("try detect in whole frame profile face \n");_cascade.detectMultiScale(frame, faces, 1.1, 3,0,//CV_HAAR_FIND_BIGGEST_OBJECT, Size(frame.rows / 5, frame.rows / 5),(frame.rows * 2 / 3, frame.rows * 2 / 3));
}(faces.size()==0)
{("detect in whole frame profile face is FAIL \n"); return;
}("detect in whole frame is SUCCESS \n"); detect = true;= biggestFace(faces); //faces[0]; faceTemplate = getFaceTemplate(frame, face);= calculateROI(face, Rect(0, 0, frame.cols, frame.rows)); m_facePosition = centerOfRect(face);
{("detect around ROI");_cascade.detectMultiScale(frame(faceROI), faces, 1.1, 3,0,// CV_HAAR_FIND_BIGGEST_OBJECT, Size(face.width * 8 / 10, face.height * 8 / 10),(face.width * 12 / 10, face.width * 12 / 10));(faces.size()==0)
{("detect in ROI frontal face is FAIL \n"); log("try detect in ROI profile face \n");_cascade.detectMultiScale(frame(faceROI), faces, 1.1, 3,0,//CV_HAAR_FIND_BIGGEST_OBJECT,(face.width * 8 / 10, face.height * 8 / 10),(face.width * 12 / 10, face.width * 12 / 10));
}(faces.size()==0)
{("detect around ROI is FAIL \n");("need try detect using matching \n"); detect = false; m_templateMatchingRunning = true;(m_templateMatchingStartTime == 0) m_templateMatchingStartTime = getTickCount();;
}("detect around ROI is SUCCESS \n"); m_templateMatchingRunning = false;_templateMatchingCurrentTime = m_templateMatchingStartTime = 0; face = biggestFace(faces); //faces[0];.x += faceROI.x; face.y += faceROI.y;= getFaceTemplate(frame, face);= calculateROI(face, Rect(0, 0, frame.cols, frame.rows)); m_facePosition = centerOfRect(face);
}detectFaceTemplateMatching(Mat &frame)
{_templateMatchingCurrentTime = getTickCount();duration = (double)(m_templateMatchingCurrentTime - m_templateMatchingStartTime)/ TICK_FREQUENCY;(duration > m_templateMatchingMaxDuration) { detect = false;_templateMatchingRunning = false;_templateMatchingStartTime = m_templateMatchingCurrentTime = 0;
}(frame(faceROI), faceTemplate, m_matchingResult, CV_TM_SQDIFF_NORMED);
//imshow("matchTemplate", faceTemplate); double min, max;minLoc, maxLoc;(m_matchingResult, &min, &max, &minLoc, &maxLoc); normalize(m_matchingResult, m_matchingResult, 0, 1, NORM_MINMAX, -1, Mat());
//imshow("m_matchingResult", m_matchingResult); minLoc.x += faceROI.x;.y += faceROI.y;= Rect(minLoc.x, minLoc.y, faceTemplate.cols, faceTemplate.rows); face = calculateROI(face, Rect(0, 0, frame.cols, frame.rows));= getFaceTemplate(frame, face);= calculateROI(face, Rect(0, 0, frame.cols, frame.rows));_facePosition = centerOfRect(face);
}detectEyes(Mat &frame)
{= calculateROI(Rect(face.x,face.y,face.width,face.height/2), Rect(0,0,frame.cols,frame.rows));
//imshow("eyesROI", frame(eyesROI)); log("try detect eyes.. \n");_cascade.detectMultiScale( frame(eyesROI), eyes, 1.1, 2, 0 |CV_HAAR_SCALE_IMAGE, Size(30, 30) );(eyes.size()==2)
{("detect eyes is SUCCESS \n");ept1 (eyesROI.x + eyes[0].x + eyes[0].width*0.5,eyesROI.y + eyes[0].y + eyes[0].width*0.5) ;ept2 (eyesROI.x + eyes[1].x + eyes[1].width*0.5,eyesROI.y + eyes[1].y + eyes[1].width*0.5) ;(ept1.x>ept2.x)
{buf = ept1; ept1 = ept2; ept2 = buf;
}distanceX = (float) (eyes[1].x ) - (float) eyes[0].x; float distanceY = (float) (eyes[1].y) - (float) eyes[0].y; angle = atan2(distanceY, distanceX) * 180 / CV_PI ;(-60<angle && angle<60 )
{("angle of rotate is");
//cout<<angle<<" \n";f pt(grayscaleFrame (faceROI).cols/2.,grayscaleFrame(faceROI).rows/2.); r = getRotationMatrix2D(pt, angle, 1.0);(grayscaleFrame(faceROI), grayscaleFrame(faceROI), r, Size(grayscaleFrame(faceROI).cols, grayscaleFrame(faceROI).rows));= true;
}
{
}
}
}
//line(captureFrame, ept1, ept2, cvScalar(0, 255, 0, 0), 1, 8, 0);(grayscaleFrame, ept1, ept2, cvScalar(0, 255, 0, 0), 1, 8, 0);("detect eyes is FAIL \n"); return;rectangleFace()
{faceRect = face;.x = (int)(faceRect.x / m_scale); faceRect.y = (int)(faceRect.y / m_scale); faceRect.width = (int)(faceRect.width / m_scale); faceRect.height = (int)(faceRect.height / m_scale); return faceRect;
}drawRectagle(Mat &frame, Rect &rectagle)
{(frame, rectagle, cvScalar(0, 255, 0, 0), 1, 8, 0);
}detectFace(Mat &grayscaleFrame, Mat &captureFrame )
{(foundAngles) //Если были найдены углы поворота изображения в области лица на предыдущем шаге цикла, то поворочиваем изображение(grayscaleFrame(faceROI), grayscaleFrame(faceROI), r, Size(grayscaleFrame(faceROI).cols, grayscaleFrame(faceROI).rows)); //Поворот области лица на всем кадре на найденную в предыдущем шаге цикла матрицу поворота(!detect) //Если лицо не найдено
{(grayscaleFrame); //Пытаемся найти лицо во всем кадре= false; //Снимаем флаг того, что есть углы поворота лица по глазам offMonitorIfNeed(); //Если на протяжении заданного времени лицо так и небыло найдено, то
выключаем монитор
}
{
включаем монитор(); //Если на протяжении заданного времени лицо стабильно находилось, то(grayscaleFrame); //Находим лицо не во всем кадре, а только в небольшой
области, где предположительно оно находится(grayscaleFrame); //Находим глаза и определяем угол наклона головы(foundAngles) //Если нашли угол, то пытаемся снова найти лицо, но с уже повернутой областью лица(grayscaleFrame);(m_templateMatchingRunning) //Флаг того что не нашли лицо в заданной области, попытаемся найти его по заранее сохраненному шаблону
{
сохраненному шаблону
}
log("try detect using template matching \n"); detectFaceTemplateMatching(grayscaleFrame); //Пытаемся найти лицо по заранее
}
//drawRectagle(grayscaleFrame, rectangleFace()); //Обводим область лица на ч/б кадре прямоугольником Rect faceRect = rectangleFace();(captureFrame, faceRect); //Обводим область лица на цветном кадре прямоугольником
//circle(captureFrame, m_facePosition, 30, Scalar(0, 255, 0)); //Либо обводим окружностью
//imshow("grayscale", grayscaleFrame); //Покажем ч/б кадр
//imshow("outputCapture", captureFrame); //Покажем цветной кадрfaceRect;
}
Класс ObjecColorDetector.cpp
#include "ObjectColorDetectorHeader.h"
#include "SysstemCallerHelperHeader.h"depthMap; VideoCapture cap; Mat bgrImage;char* CONTROL_NAME_WINDOW = "Control"; const char* SCAN_NAME_WINDOW = "Scan"; const char* DEPTH_NAME_WINDOW = "Depth";int DEFAULT_DELAY_BEFORE_DESTROY = 7000;<Rect> roi; Point upper_corner; Point lower_corner; Scalar color;border_thickness=2;iLowH = 93; int iHighH = 113; int iLowS = 239; int iHighS = 259; int iLowV = 243; int iHighV = 263;notInitControlPanel = true; boolean notInitScanModePanel = true;< char*, int*> trackBarSettings;findBiggestContour(vector<vector<Point> > contours)
{indexOfBiggestContour = -1; int sizeOfBiggestContour = 0;(int i = 0; i < contours.size(); i++){ if(contours[i].size() > sizeOfBiggestContour)
{= contours[i].size(); indexOfBiggestContour = i;
}
}indexOfBiggestContour;
}
calcRect(Point u_corner, Point l_corner, Mat src)
{_corner = u_corner; lower_corner=l_corner; color=Scalar(0,255,0); border_thickness=2;Rect(u_corner.x, u_corner.y, l_corner.x-u_corner.x,l_corner.y-u_corner.y);
}findAverage(Mat &frame, vector <Rect> roi)
{<Scalar> means (roi.size());(int i=0; i< roi.size(); i++)
{[i] = mean(frame(roi[i]));
}medium(0,0,0);(int i=0; i< means.size(); i++)
{[0] += means[i][0];[1] += means[i][1];[2] += means[i][2];
}[0] /= means.size(); medium[1] /= means.size(); medium[2] /= means.size();valueRange = 13;= (int)medium[0] - valueRange; iHighH = (int)medium[0] + valueRange;= (int)medium[1] - valueRange; iHighS = (int)medium[1] + valueRange;= (int)medium[2] - valueRange; iHighV = (int)medium[2] + valueRange;
}initHandColor(Mat &frame)
{square_len=20;
//roi.push_back(calcRect(Point(frame.cols/3, frame.rows/6),Point(frame.cols/3+square_len,frame.rows/6+square_len),frame));
//roi.push_back(calcRect(Point(frame.cols/4, frame.rows/2),Point(frame.cols/4+square_len,frame.rows/2+square_len),frame));
//roi.push_back(calcRect(Point(frame.cols/3, frame.rows/1.5),Point(frame.cols/3+square_len,frame.rows/1.5+square_len),frame));.push_back(calcRect(Point(frame.cols/2, frame.rows/2),Point(frame.cols/2+square_len,frame.rows/2+square_len),frame));.push_back(calcRect(Point(frame.cols/2.5, frame.rows/2.5),Point(frame.cols/2.5+square_len,frame.rows/2.5+square_len),frame));.push_back(calcRect(Point(frame.cols/2, frame.rows/1.5),Point(frame.cols/2+square_len,frame.rows/1.5+square_len),frame));
//roi.push_back(calcRect(Point(frame.cols/2.5, frame.rows/1.8),Point(frame.cols/2.5+square_len,frame.rows/1.8+square_len),frame));(frame, roi); for(int i=0; i<roi.size(); i++)
{(frame, roi[i], color, border_thickness);
}(SCAN_NAME_WINDOW, frame);
}detectObj(Mat& mask, Mat& bgr)
{( Mat(contours[indx]), hull[indx], false );(int i=0; i<contours[indx].size();i++)
{+= contours[indx][i].x; y += contours[indx][i].y;
}/= contours[indx].size(); y /= contours[indx].size();
//printf("x= "); cout << x; printf(" y= "); cout << y;printf("\n");
}(x ,y);(bgr, Rect((int)x-30, (int)y-30, 60, 60 ), cvScalar(0, 255, 0, 0));(bgr, hull, indx, Scalar(0,250,0), 2 , 8, vector<Vec4i>(), 0, Point()); if(!notInitControlPanel || !notInitScanModePanel)
{(DEPTH_NAME_WINDOW, mask);
}("bgr", bgr);
}detectColorObject(Mat& bgrImage, Mat& depthMap, Rect& excludeROI)
{(bgrImage, Scalar(iLowH, iLowS, iLowV), Scalar(iHighH, iHighS, iHighV), depthMap); //Color
//printf("iLowH= "); cout << iLowH; printf(" iLowS= "); cout << iLowS; printf("iLowV= "); cout <<; printf("\n");
//printf("iHighH= "); cout << iHighH; printf(" iHighS= "); cout << iHighS; printf("iHighV= "); cout
<< iHighV; printf("\n");(excludeROI) = Scalar (0); detectObj(depthMap, bgrImage.clone());
}destroyScanModeWindow()
{(SCAN_NAME_WINDOW); notInitScanModePanel = true; if(notInitControlPanel)
{(DEPTH_NAME_WINDOW);
}
}scanMode()
{(SCAN_NAME_WINDOW, 1);roiScan(0,0,bgrImage.cols/2, bgrImage.rows/2) ; initHandColor(bgrImage(roiScan)); notInitScanModePanel = false;
}initControlPanel()
{(notInitControlPanel)
{["LowH"] = &iLowH; trackBarSettings["HighH"] = &iHighH; trackBarSettings["LowS"] = &iLowS; trackBarSettings["HighS"] = &iHighS; trackBarSettings["LowV"] = &iLowV; trackBarSettings["HighV"] = &iHighV; notInitControlPanel = false;
}
}destroyControlPanelWindow()
{(!notInitControlPanel )
{(CONTROL_NAME_WINDOW); notInitControlPanel = true; if(notInitScanModePanel)
{(DEPTH_NAME_WINDOW);
}
}
}colorControlPanel()
{(notInitControlPanel)
{();(CONTROL_NAME_WINDOW, CV_WINDOW_AUTOSIZE); //create a window called "Control"++)
}
{
}(auto iterator = trackBarSettings.begin(); iterator != trackBarSettings.end();
{((*iterator).first, CONTROL_NAME_WINDOW, (*iterator).second, 255);
}();
}
Класс FrameHelper.cpp
#include "FrameHelperHeader.h"getFrame(VideoCapture &captureDevice, Mat &captureFrame)
{>>captureFrame; flip(captureFrame,captureFrame,1); return captureFrame;
}getFrameForObjectTracking(Mat &captureFrame)
{frame;(captureFrame, frame, CV_RGBA2GRAY); equalizeHist(frame, frame);frame;
}
//Получить ч/б кадрgetGrayFrame(Mat &captureFrame)
{grayFrame;(captureFrame, grayFrame, CV_RGBA2GRAY); equalizeHist(grayFrame, grayFrame);grayFrame;
}
Класс Initializer.cpp
#include "InitializerHeader.h"
#include "FaceDetectorHeader.h"
#include "ObjectColorDetectorHeader.h" HWND hwnd = nullptr;initVideo(HWND &hwnd, VideoCapture &captureDevice)
{= GetDesktopWindow(); printf("\nCheck access to camera ..."); if(!captureDevice.open(0))
{("\nNot access to camera \n"); return 0;
}(" success \n");
//namedWindow("outputCapture", 1);1;
}initControlWindows()
{
//namedWindow("depth", 1);("bgr", 1);
}connectToVideo()
{(!initVideo(hwnd, cap)) //Инициализация видео с веб камеры
{("\nNo find camera\n"); printf("\nExit with code -1 \n"); system ("pause");-1;
}
}loadCascade(CascadeClassifier &cascade,const String &name)
{
{.load(name); if(cascade.empty())
{0;
}
}(Exception e)
{(e.what());("pause");
}1;
}cascadeLoadError()
}loadCascades()
{(!loadCascade(face_cascade, FRONT_CASCADE_NAME)
&& !loadCascade(faceProfile_cascade, PROFILE_CASCADE_NAME)
&& !loadCascade(eye_cascade, EYE_CASCADE_NAME)) //Загрузка каскада Хаара
{();
}
}clockInit()
{= clock(); clClose = clock();
}
Класс SysstemCallerHelper.cpp
#include "SysstemCallerHelperHeader.h"
#include "FaceDetectorHeader.h"
#include "ObjectColorDetectorHeader.h"oldX = 0; double oldY = 0;offMonitorIfNeed()
{(!monitorIsOFF && clock()-clClose>15000)
{("monitor Off \n");(HWND_BROADCAST, WM_SYSCOMMAND, SC_MONITORPOWER, 2);= true; clClose = 0;
}= clock();
}onMonitorIfNeed()
{(monitorIsOFF && clock()-cl>500)
{("monitor On \n");(HWND_BROADCAST, WM_SYSCOMMAND, SC_MONITORPOWER, -1);= false; cl = 0;
}= clock();
}moveCursor(double x, double y)
{(!notInitControlPanel || !notInitScanModePanel)
{;
}(abs(x-oldX) < 15)
{= oldX;
}(abs(y-oldY) < 15)
{= oldY;
}(x != 0 && y != 0)
{(x ,y);
}
}
Хедер FaceDetectorHeader.cpp
#pragma once
#ifndef FACE_DETECTOR
#define FACE_DETECTOR
#include "mainHeader.h"cv::Mat grayscaleFrame; //Матрица ч/б кадра extern const char* FRONT_CASCADE_NAME ;const char* PROFILE_CASCADE_NAME ; extern const char* EYE_CASCADE_NAME;cv::CascadeClassifier face_cascade; //Каскад для определения лица extern cv::CascadeClassifier eye_cascade; //Каскад для определения глазcv::CascadeClassifier faceProfile_cascade; //Каскад для определения лица в профиль extern clock_t cl ;clock_t clClose; extern boolean monitorIsOFF; void loadCascades();log(const char *message);detectFace(Mat &grayscaleFrame, Mat &captureFrame );
#endif
Класс FrameHelperHeader.cpp
#pragma once
#ifndef FRAME_HELPER
#define FRAME_HELPER
#include "mainHeader.h"::Mat getFrame(VideoCapture &captureDevice,cv::Mat &captureFrame); cv::Mat getFrameForObjectTracking(cv::Mat &captureFrame);::Mat getGrayFrame(Mat &captureFrame);
#endif
Класс InitializerHeader.cpp
#pragma once
#ifndef INITIALIZER
#define INITIALIZER
#include "mainHeader.h" extern HWND hwnd;initVideo(HWND &hwnd, cv::VideoCapture &captureDevice); int connectToVideo();initControlWindows(); void loadCascades();clockInit();
#endif
Класс mainHeader.cpp
#pragma once
#ifndef MAIN
#define MAIN
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <ctime>
#include <cstdlib>
#include <stdio.h>
#include <cv.h>
#include <iostream>
#include <opencv2/objdetect/objdetect.hpp>
#include <windows.h>
#pragma comment(lib, "User32.lib")
#pragma comment(lib, "GDI32.lib")
#pragma comment(lib, "Advapi32.lib")namespace std; using namespace cv;
#endif
Класс ObjectColorDetectorHeader.cpp
#pragma once
#ifndef COLOR_DETECTOR
#define COLOR_DETECTOR
#endif
ЗАКЛЮЧЕНИЕ
В рамках ВКР была создана программа, работающая с пользовательским интерфейсом через алгоритмы распознавания. Данные алгоритмы реализованы при помощи библиотеки компьютерного зрения OpenCV. Используя эту библиотеку, программа с помощью распознавания заданных объектов может управлять компьютером. Такой подход к управлению является перспективной заменой некоторых нынешних интерфейсов взаимодействия пользователя и машины. На данном этапе создания программы заложена функциональность, которая позволит в перспективе экономить заряд аккумулятора и перемещать курсор мыши, например, если та перестала частично работать. В дальнейшем можно расширить функционал путем анализа координат перемещений объекта.
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1.Laganiere, R. OpenCV 2 Computer Vision Application Programming Cookbook / R. Laganiere - Birmingham: Packt Publishing Ltd, 2011. - 287 p.
2.Bradski, G. Learning OpenCV / G. Bradski, A. Kaehler - Sebastopol: O`Reilly Media, 2008. - 555 p.
.Github [Электронный ресурс] : офиц. сайт. Режим доступа: https://github.com/.
4.StackOverflow [Электронный ресурс]: офиц. сайт. Режим доступа: http://stackoverflow.com/.
5.OpenCV [Электронный ресурс]: офиц. сайт. Режим доступа: http://opencv.org/.