У нас на сайте представлено огромное количество информации, которая сможет помочь Вам в написании необходимой учебной работы. 

Но если вдруг:

Вам нужна качественная учебная работа (контрольная, реферат, курсовая, дипломная, отчет по практике, перевод, эссе, РГР, ВКР, диссертация, шпоры...) с проверкой на плагиат (с высоким % оригинальности) выполненная в самые короткие сроки, с гарантией и бесплатными доработками до самой сдачи/защиты - ОБРАЩАЙТЕСЬ!

Оглавление

Введение                                                                                                       4

1.      Постановка задачи                                                                              7

2.    Обзор                                                                                                        9

2.1.       Фокус-стекинг: алгоритмические подходы  .  .  .  .  .  .  . . .        9

2.1.1.   Pixel-based approach .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . .        9

2.1.2.         Neighbour-based approach .  .  .  .  .  .  .  .  .  .  .  .  . . .        9

2.1.3.         Transform-based approach .  .  .  .  .  .  .  .  .  .  .  .  . . .      10

2.2.       Фокус-стекинг: существующие решения   .  .  .  .  .  .  .  . . .      12

2.2.1.   Коммерческие решения . . . . . . . . . . . . . . . .      13

2.2.2.   Open-source решения   . . . . . . . . . . . . . . . . .      15

2.3.       Выбор сфокусированных изображений .  .  .  .  .  .  .  .  . . .      15

2.3.1.         Операторы фокусной меры    .  .  .  .  .  .  .  .  .  .  . . .      16

2.3.2.         Зашумленные изображения    .  .  .  .  .  .  .  .  .  .  . . .      17

2.4.  Датасет  . . . . . . . . . . . . . . . . . . . . . . . . . . . . .      18

3.    Прототип системы автоматического отбора сфокусиро- ванных кадров                                                                                    20

3.1.       Сравнение и тестирование алгоритмов  .  .  .  .  .  .  .  .  . . .      21

3.1.1.         Устойчивость алгоритмов фокус-стекинга на боль- шом стеке . . . . . . . . . . . . . . . . . . . . . . . .               21

3.1.2.         Метрика для сравнения алгоритмов выбора сфо- кусированных кадров .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . .      22

3.1.3.         Сравнение фокусных операторов  .  .  .  .  .  .  .  . . .      23

3.2.       Алгоритм отбора сфокусированных кадров  .  .  .  .  .  . . .      24

3.2.1.   Описание  . . . . . . . . . . . . . . . . . . . . . . . .      25

3.2.2.   Тестирование . . . . . . . . . . . . . . . . . . . . . .      28

3.2.3.   Оптимальные параметры алгоритма  .  .  .  .  .  .  . .      29

4.    Применение                                                                                        31

4.1.       Кроссплатформенная мобильная библиотека    .  .  .  .  . . .      31

Заключение                                                                                               32

Список литературы                                                                                33

Введение

С развитием технологий оптической микроскопии стоимость микро- скопов стала достаточно низкой для их массового использования дома и в образовательных учреждениях. Однако оптические микроскопы име- ют ряд проблем, основная из которых — отсутствие возможности рас- смотреть образец целиком. Это связано с тем, что оптические системы данных микроскопов позволяют лишь части объемного объекта нахо- диться в фокусе из-за использования линз с малой глубиной резкости. Для того чтобы получить представление об объекте целиком, необходи- мо рассматривать его поэлементно, постоянно меняя фокусное рассто- яние микроскопа. Таким образом, нет возможности без использования сторонних средств получить полное изображение образца.

Основным решением данной проблемы на текущий момент является

цифровая обработка кадров, полученных с микроскопа. Но в большин- стве случаев бюджетные микроскопы не комплектуются камерой для захватаизображения. Одним из всегда имеющихся под рукой устройств для захвата цифрового изображения и дальнейшей его обработки явля- ется смартфон. Так, Arunan Skandarajah et. al [23] показали, что разре- шений камер современных смартфонов достаточно для захвата изобра- жения с оптического микроскопа без потери данных, что подтверждает целесообразность использования смартфона для данной задачи.

Среди методов цифровой обработки изображений, повышающих ка- чество, особое место занимает фокус-стекинг — метод, который объеди- няет несколько изображений, сделанных с разными фокусными рас- стояниями. В результате получается изображение с большей глубиной резкости, чем у любого из отдельных исходных изображений (рис. 1). Одним из значимых свойств алгоритма фокус-стекинга является его устойчивость — сохранение качества получаемогоизображения при возрастании числа кадров во входном наборе изображений.

Однако существующие решения в области фокус-стекинга, такие как Zerene Stacker [26], Affinity Photo [25], Helicon Focus [11], требу- ют от пользователя самостоятельного выбора кадров. Отбор кадров

Рис. 1: Пример фокус-стекинга: первые два изображения — исходные, третье — результат фокус-стекинга

Таблица 1: Характеристики алгоритмов фокус-стекинга

разрывы — пиксели берутся с разных изображений и находятся впе- ремешку. Данная проблема продемонстрированы на рис. 3. При ито- говом слиянии изображений учитывается не только значение пикселя (например, полученное с помощью оператора Лапласа), но и значения   его соседей. Помимо ставшего классическим оператора Лапласа в ал- горитмах, основанных на использовании оператора, можно применять меру Харриса. M. S. Sigdel et. al [10] описали улучшение меры Харри-  са, позволяющее использовать ее в фокус-стекинге. Авторы предлагаюталгоритм фокус стекинга, основанный на использовании соседей пик- селя и их модификации меры Харриса. Также они приводят  краткий обзор проблем, с которыми сталкиваются различные реализации алго- ритмов фокус-стекинга, такие как:

•    контрастность и яркость в фрагменте изображения, находящемся в фокусе, может быть ниже, чем в этом же фрагменте находя- щемся вне фокуса;

•    возможность изменения освещения объектов в течение съемки на- бора кадров, так как она происходит не мгновенно.

2.1.3.    Transform-based approach

Данный подход основан на преобразованиях. Этот метод подразу- мевает преобразование изображений (обычно используются различные вейвлет-преобразования), преобразованныеизображения сравниваются

Рис. 3: Пример разрывов на границах объектов. Для полученных с помощью алгоритмов фокус-стекинга изображений приведены карты глубин. Значение пикселя на карте глубин соответствует номеру изоб- ражения в стеке, из которого пиксель в данной позиции был вставлен в результат фокус-стекинга. 1. Neighbour based approach, результат. 2. Pixel based approach, результат. 3. Neighbour based approach, карта глу- бин. 4. Pixel based approach, карта глубин.

с помощью специальной функции и критерия, а после к результату при- меняется обратное преобразование. Brigitte Forster-Heinlein et. al [5] опи- сывают алгоритм фокус-стекинга, в котором для поиска области фоку- са применяется комплексное вейвлет-преобразование. Главное преиму- щество вейвлет-преобразования в том, что, в отличие от других преоб- разований (например,преобразования Фурье), это преобразование под- ходит для поиска фрагментов различных размеров (области фокуса) без каких либо модификаций. В качестве вейвлетов в данной статье алгоритме комплексные вейвлеты Добеши [16]. Комплексное вейвлет- преобразование выполняется путем фильтрации с помощью комплекс- ных фильтров низких и высоких частот конечной длины и последую- щей понижающей дискретизации. Процесс работы метода:

1.     преобразование вектора в скаляр: многоканальные данные кон-

вертируются в одноканальные — для изображений это черно-белое преобразование;

2.     комплексное целочисленное вейвлет-преобразование;

3.     применение правила выбора (выбор наибольшего) и проверки це- лостности результата;

4.     обратное комплексное целочисленное вейвлет-преобразование;

5.     преобразование скаляра в вектор: восстановление цвета из наибо- лее близкого к результату в этой области изображения.

2.2.    Фокус-стекинг: существующие решения

Существующие решения делятся на две категории — аппаратные ре- шения и программные решения. Аппаратные решения представляют со- бой электронные микроскопы свстроенным микропроцессором и систе- мой предобработки изображений, позволяющей показывать пользовате- лю полностью сфокусированные изображения образцов. Программные решения подразумевают наличие уже отснятых кадров с оптического микроскопа и лишь реализуют различные алгоритмы фокус-стекинга. Главным недостатком аппаратных решенийявляется их высокая це-  на (более 1000$ при цене простого оптического микроскопа в 50$) и сложная настройка, т.к. такие микроскопы считаются профессиональ- ными и рассчитаны на использование учеными в специально оборудо- ванных лабораториях. В связи с тем, что данная работа подразумевает использование оптического микроскопа и смартфона, данные решения

в дальнейшем рассматриваться не будут.

Программные решения предполагают наличие ПК для обработки изображений. В данных решениях отсутствует фильтрация изображе- ний, предполагается, что пользователь сам отсеет лишние кадры (пол- ностью расфокусированные или дублирующиеся).

2.2.1.    Коммерческие решения

Большинство коммерческих решений представляют собой фоторе- дакторы, одной из опций которых является фокус-стекинг. Рассмотрим ключевые приложения на данном рынке.

•    Zerene Stacker [26] — коммерческий инструмент, имеющий два ал- горитма фокус-стекинга, включает в себя инструмент для  руч-  ного объединения сфокусированных частей фотографий в итого- вое изображение и подразумевает, что пользователь сам объеди- нит два изображения, полученных этими алгоритмами. Оба алго- ритма фокус-стекинга используют подход, основанный на соседях пикселя. Главный минус — неполная автоматизация процесса по- лучения итогового изображения.

•    Helicon Focus [11] — коммерческий инструмент, имеющий три ал- горитма фокус-стекинга, имеет ограничение на размер входного набора кадров — не более 255. Алгоритмы фокус-стекинга исполь- зуют подходы, основанные на соседях пикселя и одиночных пиксе- лях. Главные недостатки — высокая цена (115$ за самое простое издание) и наличие большого числа  посторонних  функций,  т.к.  это полноценный фоторедактор.

•    Affinity Photo [25] и Adobe Photoshop [1] — большие коммерческие фоторедакторы, не предназначенные для работы с  изображения-  ми в области микроскопии. Имеют высокую стоимость и большие требования к ПК.

Результаты тестирования описанных выше коммерческих решений на тестовом датасете представлены на рис. 4. Отдельное исследование- сравнение [6] было проведено канадцем Робертом Берданом, в нем на реальных изображениях сравниваются три инструмента: Adobe Photoshop, Zerine Stacker, Helicon Focus. Автор утверждает, что Adobe Photoshop выдает приемлемый результат, однако имеет мало настроек, в то же время Helicon Focus предоставляет дружелюбный пользовательский ин- терфейс и поддерживает raw-файлы. Главным минусом Zerene Stacker

Рис. 4: Результаты запуска коммерческих решений на тестовом датасе- те. 1. Helicon Focus, алгоритм А. 2. Helicon Focus, алгоритм В. 3. Helicon Focus, алгоритм С. 4. Affinity Photo. 5. ZereneStacker, алгоритм PMax.

6.   Zerene Stacker, алгоритм DMap.

названа его высокая цена и отсутствие поддержки формата-raw. Под- держка файлов формата raw важна, так как данный формат позволяет хранить изображения очень высокого разрешения, полученные с ис- пользованием профессиональных фотокамер.

2.2.2.   Open-source решения

•    Extended Depth of Field Plugin for ImageJ [8]. Плагин для ре- дактора изображений с открытым исходным кодом ImageJ [17]. Код плагина также выложен на Github. Содержит реализации нескольких алгоритмов фокус-стекинга, в том числе и основанных на преобразованиях: используются вещественные и комплексные вейвлет-преобразования. К сожалению, т.к. этот инструмент яв-ляется научным, он имеет довольно недружелюбный интерфейс и большое число параметров, которые пользователь должен задать перед запуском. Для правильного ввода этих данных необходимо знание устройства алгоритмов фокус-стекинга.

•    Решение от rAum1 [22]. Небольшое приложение написанное на С++ и С#. Реализует несколько вариаций pixel based approach. Вотличие от остальных решений не использует готовой библиоте- ки для работы с изображениями. Для правильной работы данное приложение требует, чтобы входной стек был упорядочен по фо- кусному расстоянию кадра.

писи необходимого числа образцов. В результате был создан датасет [14], содержащий видеозаписи для 30 образцов. Из них 15 имели сложную структуру - их нельзя рассмотреть полностью без применения фокус- стекинга. Для каждого образца были сделаны 4 видеозаписи, отличаю- щиеся скоростью движения предметного столика во время исследова- ния образца.

Рис. 7: Конвейер для получения сфокусированного изображения.

3.     Прототип  системы автоматического   от- бора сфокусированных кадров

Как было выяснено в предыдущих разделах, несмотря на наличие большого количества алгоритмов фокус-стекинга и операторов фокус- ной меры не существует готового решения для мобильных устройств в области микроскопии, способного проводить автоматический отбор сфокусированных кадров в видеозаписи и применять алгоритм фокус- стекинга к выбранным кадрам.

В данной главе будет описан прототип системы автоматического от- бора сфокусированных кадров и получения изображения, содержащего все сфокусированные элементы образца, реализованный для тестиро- вания алгоритмов фокус-стекинга и операторов фокусной меры.

Для реализации прототипа был выбран язык программирования Python, т.к. он позволяет быстро прототипировать и реализовывать эксперименты, связанные с компьютерным зрением. Также при реа- лизации прототипа использовались библиотеки OpenCV [20] (для эф- фективной работы с изображениями), SciPy [24] (для использования эффективных функций свертки), NumPy [19] (для работы с массива- ми) и Matplotlib [13] (для построения графиков во время проведения экспериментов).

Архитектура прототипа представляет собой конвейер (рис. 7), в ко- тором видео или набор кадров вначале обрабатываются с помощью ав- томатического отбора сфокусированных кадров, а затем подаются на вход алгоритму фокус-стекинга. Для проверки различных комбинаций алгоритмов фокус-стекинга и операторов фокусной меры в прототипе были реализованы следующие алгоритмы фокус-стекинга.

•    Основанный на одиночных пикселях. В качестве оператора можно

использовать оператор Лапласа или оператор Собеля. В результи- рующее изображение выбираются пиксели с максимальным зна- чением, полученном при применении оператора кизображению.

•    Основанный на соседях пикселя. В качестве оператора использу- ется оператор Харриса.

•    Основанный на преобразованиях. В качестве преобразований вы- браны вещественные и комплексные вейвлет-преобразования.

Опираясь на изученные научные статьи, для использования в прототи- пе было решено выбрать следующие операторы:

•    Laplacian Variance;

•    Tenengrad operator;

•    Vollath F4;

•    Modified Laplacian.

Данный выбор сделан с учетом того, что необходимо получить высоко- производительные операторы для обработки изображений на телефоне.

3.1.      Сравнение и тестирование алгоритмов

В данном разделе будут описаны эксперименты, проведенные для оценки качества работы существующих алгоритмов в условиях решае- мой задачи, и использованные для этого метрики.

3.1.1.     Устойчивость алгоритмов фокус-стекинга на большом стеке

При записи данных с микроскопа с помощью смартфона получается видеозапись длительностью около минуты. Это обусловлено необходи- мостью изменять фокусное расстояниемикроскопа во время съемки

для просмотра всего образца. При этом такая фокусировка микроско- па должна проводиться достаточно медленно для захвата всей доступ- ной информации об образце без размытий,возникающих из-за быстрого движения приборного столика. Для проверки эффективности исполь- зования алгоритмов фокус-стекинга на таком видео были проведены замеры производительности алгоритмов фокус-стекинга. При тестиро- вании измерялось среднее время обработки одного кадра алгоритмом и общее время работы алгоритма. В качестве видео была взята видеоза- пись длительностью 1 минута, состоящая из 1800 кадров. Результаты представлены в Таблице 2. Из них видно, что все алгоритмы кроме осно- ванного на пикселях работаютслишком долго (из-за большого времени обработки одного кадра). В то же время оставшийся алгоритм показы- вает низкое качество итогового изображения, не позволяя использовать его для получения данных об образце. Таким образом, данные алгорит- мы не способны получить качественное итоговое изображение на боль- шом стеке за требуемое время. Однако, специфика областиприменения позволяет сократить размер обрабатываемого стека, т.к. все биологи- ческие образцы, изучаемые с помощью микроскопа, обладают малой толщиной. Это позволяет получить полную информацию об образце из 3-5 правильно отобранных кадров.

Таблица 2: Время работы алгоритмов фокус-стекинга на видео (1 ми- нута, 1800 кадров).

3.1.2.    Метрика для сравнения алгоритмов выбора сфокусиро- ванных кадров

В качестве метрики для сравнения результатов работы операторов фокусной меры была выработана следующая система оценки резуль- тата. Подсчитывалось общее количество кадров в отобранном стеке,

Рис. 8: Пример оценки обработки видеофайла по разработанной метри- ке.

количество повторяющихся кадров среди них, количество кадров, не содержащих информации об образце, а также наличие каждой детали образца хотя бы на одном изображении в итоговом стеке. Оценкой ал- горитма по данной метрике является количество образцов для которых все учитываемые метрикой параметры находятся в диапазонах опти- мальных значений (1-5 кадров в стеке, отсутствие кадров-дубликатов и кадров, не содержащих информации об образце, наличие всех деталей образца в стеке). Лучшим алгоритмом по данной метрике считается алгоритм с наибольшей оценкой. Пример описания приведен на рис. 8

3.1.3.    Сравнение фокусных операторов

Для тестирования фокусных операторов был реализован наивный алгоритм отбора сфокусированных изображений - в итоговый стек по- падают 5 кадров, имеющих максимальное значение фокусного опера- тора. Для тестирования использовались все операторы фокусной меры, реализованные в рамках прототипа. Тестирование проводилось на да- тасете, описанном выше. Сводные результаты представлены в Таблице

3.    Полный результаты в виде таблицы находятся в данном документе. Лучший результат в ходе проведенного тестирования показал опера-тор Тененграда. Однако в ходе проведенного тестирования был выявлен недостаток наивного алгоритма отбора сфокусированныхизображений.

В случае наличия на изображении крупного объекта, находящегося в расфокусированном состоянии, и нескольких мелких объектов, которые находятся в фокусе, любой из протестированных операторов фокусной пропускал такое изображение, тем самым теряя часть информации об образце. Пример такого случая приведен на рис. 9. На нем видно что некоторые мелкие части образца, которые присутствуют в фокусе на одном из кадров видеозаписи, отсутствуют на итоговом изображении, т.к. кадры на которых эти детали находятся в фокусе не были отобраны алгоритмом.

Таблица 3: Сравнение операторов фокусной меры с использованием разработанной метрики.

Таким образом итоговый стек содержит не все сфокусированные части образца. Также в стеке могут присутствовать кадры-дубликаты (кадры, не имеющие отличий для человеческого глаза, однако немного различающиеся значениями пикселей), а также кадры, которые содер- жат в фокусе грязь или пыль, находящуюся на линзе микроскопа или стекле препарата, а не сам образец.

3.2.    Алгоритм отбора сфокусированных кадров

Для улучшения качества итогового стека и уменьшения его разме- ра было принято решение создать свою модификацию алгоритма отбо- ра сфокусированных кадров, которая будет описана в данном разделе. Алгоритм состоит из применения оператора фокусной меры, а также постобработки полученного стека, позволяющей сократить количество кадров в финальном стеке исущественно повысить его общее качество, оцениваемое по описанной выше метрике.

Для отбора всех элементов образца в качестве основы алгоритма

Рис. 9: Пример пропуска мелких  частей  образца  алгоритмом  отбо- ра сфокусированных кадров. а. Результат фокус-стекинга отобранного стека. б. Один из кадров видеозаписи, из которой производился отбор кадров.

был выбран подход при котором оператор фокусной меры применяется к частям изображения. В качестве такого оператора решено было взять оператор Тененграда, т.к. он получил наивысшую оценку при сравне- нии фокусных операторов.

3.2.1.    Описание

Шаги работы алгоритма представлены на рис. 10.

Алгоритм получает на вход набор кадров в порядке их следования в видеозаписи. Первым шагом алгоритма является применение опера- тора Тененграда к частям изображения. Каждое изображение делится на сетку из прямоугольников, размер сетки параметризуем. Так как часть выделенных секторов не содержит полезной информации (из-за эффекта затемнения по краям), такие сектора не должны учитывать- ся при дальнейших вычислениях. Для выделения секторов с затемне-

Рис. 12: Пример выделения сфокусированных секторов на изображе- нии.

меры, попадает в финальный стек, так как имеет сфокусированный объект в данной области. Пример работы алгоритма можно увидеть на рис. 12.

Следующим шагом алгоритма является фильтрация кадров-дубликатов.

Для ее проведения вычисляется попиксельная разность последователь- но отобранных изображений, и отсеиваются те изображения, которые почти идентичны (их попиксельная разность меньше порогового па- раметризуемого значения). Данная фильтрация работает за линейное относительно количества кадров время, так как похожие кадры всегда идут последовательно в силу того, что мы обрабатываем видеозапись, записанную при движении микроскопа в одну сторону.

Финальным шагом алгоритма является фильтрация кадров, не со- держащих сфокусированных элементов исследуемого образца. Такие кадры попадают в выборку из-за наличия в фокусе грязи на линзе мик- роскопа. В связи с тем что грязь и пыль находятся на приборном стекле или линзе микроскопа, кадры, на которых в фокусе оказываются не от- носящиеся к исследуемому образцу артефакты, находятся в видеофай- ле на удалении от кадров, содержащих в фокусе образец. Также грязь и пыль обычно занимают небольшую часть изображения. В связи с этим для их фильтрации вычисляется среднее значение оператора фокусной меры по всем секторам изображения и с помощью алгоритма поиска пиков с параметризуемой относительной высотой выбирается подпо- следовательность кадров, в которой гарантированно находятся кадры,