У нас на сайте представлено огромное количество информации, которая сможет помочь Вам в написании необходимой учебной работы. 

Но если вдруг:

Вам нужна качественная учебная работа (контрольная, реферат, курсовая, дипломная, отчет по практике, перевод, эссе, РГР, ВКР, диссертация, шпоры...) с проверкой на плагиат (с высоким % оригинальности) выполненная в самые короткие сроки, с гарантией и бесплатными доработками до самой сдачи/защиты - ОБРАЩАЙТЕСЬ!

Курсовая работа на тему: 

"Разработка алгоритма диаризации"

Оглавление

Введение                                                                                                        3

1.      Постановка задачи                                                                              4

1.1.   Описание задачи . . . . . . . . . . . . . . . . . . . . . . . .        4

1.2.   Постановка задачи    . . . . . . . . . . . . . . . . . . . . . .        5

2.      Обзор литературы и  существующих решений                           6

2.1.   Диаризация дикторов .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . .        6

2.1.1.   Детектор Речевой Активности     .  .  .  .  .  .  .  .  . . .        6

2.1.2.   Сегментация  . . . . . . . . . . . . . . . . . . . . . .        6

2.1.3.   Кластеризация . . . . . . . . . . . . . . . . . . . . .        7

2.2.   Идентификация диктора  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . .        7

2.3.   Формат аудиофайла .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . .        8

2.3.1.   Заголовок . . . . . . . . . . . . . . . . . . . . . . . .        8

2.3.2.   Блок Данных     . . . . . . . . . . . . . . . . . . . . .        9

2.4.   Существующие решения   . . . . . . . . . . . . . . . . . . .        9

2.4.1.   LIUM_SpkDiarization .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . .        9

2.4.2.   AudioSeg   . . . . . . . . . . . . . . . . . . . . . . . .      10

2.4.3.   ALIZE . . . . . . . . . . . . . . . . . . . . . . . . . .      11

2.4.4.  DiarTk   . . . . . . . . . . . . . . . . . . . . . . . . .      12

2.4.5.   Bob   . . . . . . . . . . . . . . . . . . . . . . . . . . .      12

3.      Описание предложенного решения                                              13

3.1.   Алгоритм VAD . . . . . . . . . . . . . . . . . . . . . . . . .      14

3.2.   Алгоритм диаризации . . . . . . . . . . . . . . . . . . . . .      16

4.      Результаты тестирования                                                                 19

5.      Заключение                                                                                          20

Список литературы                                                                                 21

Введение

Существует достаточно много задач, связанных с информацией, из- влекаемой из аудиосигнала. Примерами данных задач являются:

•    Распознавание речи: ”Что было сказано?”

•    Распознавание языка: ”На каком языке это было сказано?”

•    Распознавание диктора: ”Кто говорит?”

Распознавание дикторов (англ. Speaker Recognition) — это задача идентификации того, кто говорит. Задача распознавания дикторов вклю- чает в себя множество задач, которые прямо или косвенно связаны между собой. Среди них можно выделить следующие: задача верифи- кации диктора (англ. speaker verification), задача идентификации дик- тора (англ. speaker identification) и задача классификации диктора (ан- гл. speaker  classification).  Первая  задача  старается  сравнить  диктора с заявленной моделью, поэтому данную задачу можно назвать задачей взаимно-однозначного сравнения. Она используется, чтобы определить, является ли диктор тем, кем он представился. Поэтому задача верифи- кация диктора обычно изучается с точки зрения области применения биометрической идентификации. Цель задачи идентификации диктора

— узнать, кто говорит. Так речевой сегмент сравнивается с базой дан-

ных моделей дикторов, то есть выполняется сравнение «один ко мно- гим». Задача классификации диктора — задача, в которой определить к какому классу относится диктор. Примерамиклассификации являются гендерная, возрастная классификации и классификация настроения [3]. Частью каждой из этих задач является подзадача диаризации дик- торов (англ. diarization). Диаризация дикторов (или разделение дикто- ров) — это процесс разделения входного аудиосигнала на сегменты  в соответствии  с  идентификацией  личности  диктора.  Она  используется

для ответа на вопрос: ”Кто говорит и когда?” [9].

В рамках данной курсовой работы рассматривается задача диари- зации. Целью является реализация решения данной задачи в опреде- ленных условиях эксплуатации, которые будут описаны в дальнейшем.

1.       Постановка задачи

1.1.      Описание задачи

Два человека, разделенных перегородкой, разговаривают друг с дру- гом. Обоих записывают микрофоны с инфракрасным датчиком, обна- руживающим присутствие и перемещение человека (Рис. 1).

Цель работы — разработать, реализовать и протестировать алго- ритм диаризации дикторов, позволяющий уменьшить накладные расхо- ды на вычислительные ресурсы и память в ситуации, описанной выше. Для достижения цели были поставлены следующие задачи:

Диаризация дикторов (или разделение дикторов) — это процесс раз- деления входного аудиосигнала на сегменты в соответствии с иденти- фикацией личности диктора. Она используется для ответа на  вопрос: ”Кто говорит и когда?”. Задача разделения дикторов — это комбинация задач сегментации говорящего и кластеризации говорящего. Первая на- правлена на поиск точек смены динамиков в аудиосигнале. Вторая на- правлена на группирование речевых сегментов на основе характеристик говорящего [9].

2.1.1.     Детектор Речевой Активности

В системах распознавания диктора немаловажную роль играет де- тектор речевой активности (англ. Voice Activity Detection, VAD) — ал- горитм, классифицирующий исходные участки фонограммы как речь или не речь [17]. Среди всех алгоритмов детекции речевой активности наибольшей популярностью из-за своей простоты пользуются алгорит- мы, основанные на анализе кратковременной энергии сигнала (англ. short-term energy) и скорости переходов через ноль (англ. zero-crossing rate) [12, 16].

2.1.2.     Сегментация

Сегментация — это задача нахождения в аудиосигнале точек изме- нения, где произошла смена диктора [9]. Методы сегментации обычно делятся на две основные категории:

•    Метрическая: Определяет, исходят ли два акустических сегмента из одного динамика, вычисляя расстояние между двумя акусти- ческими сегментами.

•    Модельная: Модели с помощью учителя обучаются распознавать дикторов, а затем используются, для оценивания, где есть точки изменения в аудиофайле.

Сегментация на основе метрик является наиболее популярным ти- пом метода, так как никаких предварительных знаний не требуется для ее работы. [13]

•    Разделяющий: Это подход сверху-вниз (англ. top-down). В начале все сегменты хранятся в одном большом кластере. Новый дик-тор вводится рекурсивно, и кластер разбивается на все меньшие и меньшие кластеры.

Поскольку агломерационная кластеризация имеет хороший баланс между простотой структуры и производительностью, этот подход наи- более часто используется [5].

2.2.      Идентификация диктора

Следующим этапом распознавания диктора является определение того, какие кластеры соотносятся с каким диктором. Данная фаза со- стоит из двух: фазы обучения и фазы тестирования.

Фаза обучения включает в себя подготовку модели для каждого дик- тора. Основная идея обучения состоит в том, чтобы иметь набор па- раметров, которые могут представлять характеристики речи оратора. Этап обучения может быть выполнен независимо от системы распозна- вания. Если набор моделей дикторов обучен и создана база данных этих моделей, база данных может быть включена в существующие данные в систему распознавания.

Фаза тестирования берет данные от тестового диктора и сравнивает эти данные с каждой моделью в базе данных. Таким образом можно идентифицировать личность говорящего в каждом кластере [3].

2.3.      Формат аудиофайла

При записи аудиосигнала используется формат WAV, который был создан в 1991 году компаниями IBM и Microsoft [7]. Файл WAV является сферой приложения формата RIFF2 для хранения аудио в «цепочках» (англ. chunk). Формат RIFF действует как «обертка» для различных форматов кодирования звука. Зачастую формат WAV используется для хранения несжатого звука вформате линейной импульсной кодовой мо- дуляции (англ. Linear Pulse Code Modulation, LPCM). Файл WAV состо- ит из заголовка и блока данных.

2.3.1.     Заголовок

Заголовок — начало WAV файла. Он используется для предостав- ления информации о размере файла, количестве каналов, частоте дис- кретизации (англ. sample rate), количестве бит в сэмпле.

Заголовок WAV файла имеет длину 44 байта. Следующая таблица наглядно показывает структуру заголовка [4]:

2Resource Interchange File Format

2.3.2.     Блок Данных

Сразу же после заголовка начинается блок, в котором хранятся дан- ные.

В зависимости от количества каналов меняется то, как располага- ются значения амплтитуд канала/каналов. Например, если количество каналов равно единице, то значения амплитуды расположены последо- вательно. В случае, если каналов больше одного, сначала идет значение амплитуды для первого канала, затем для второго и так далее [7].

AudioSeg — инструментарий для сегментации звука и классифика- ции аудиопотоков, который написан на языке C и распространяется в виде исходных кодов [8].

AudioSeg представляет собой набор алгоритмов, помогающих созда- вать прототипы и разрабатывать приложения, использующие следую- щие возможности:

•    LIA_SpkSeg — инструменты для диаризации дикторов;

Параллельно LIA_RAL также включает в себя библиотеку SimpleSpkDetSy которая предлагает простой высокоуровневый API для разработчиков, которые хотят легко встроить проверку или идентификацию динамика

в свои приложения. Существует также Java-версия этого API, предна- значенная для разработки приложений Android [2].

2.4.4.     DiarTk

DiarTk - это набор инструментов с открытым исходным кодом на C++ для диаризации дикторов, который распространяется по лицен- зии GPL. Он распространяется в виде архива с исходным кодом, ко- торый можно скачаить с официального сайта разработчиков и кото- рый необходимо скомпилировать на вашем компьютере. При работе с аудиофайлами система использует акустические признаки, MFCC7, а также может дополнительно использовать такие признаки как TDOA8 и FDLP9 / MS10 [14].

2.4.5.     Bob

Bob - это бесплатный набор инструментов для обработки сигналов и машинного обучения, первоначально разработанный группой Biometrics в Научно-исследовательском институте Idiap,Швейцария.

Инструментарий написан на смеси Python и C ++ и предназначен как для эффективной работы, так и для сокращения времени разработ- ки. Он состоит из достаточно большого количествапакетов, в которых реализованы инструменты для обработки изображений, аудио и видео, машинного обучения и распознавания образов [6].

На сервере одновременно запущены несколько микро-сервисов (Рис. 3). В течение рабочего дня работает сервис Recorder, который отвечает за запись аудио-потока, поступающего из BOX.

∞

|x(m)| · h(m, n)

m=1

Где

h(m, n) = 1,    if n · N ≤ m ≤ (n+1) · N

0,    Otherwise

Поток данных для классификации входного сигнала на вокализо- ванные или невокализованные сегменты выполняется, как показано на блок-схеме.

Способ начинается с накопления достаточного размера сегмента для записи. После этого на данном сегменте вычисляется кратковременная энергия.

При решении задачи мы предполагаем, что в каждый микрофон говорит только один человек. При решении задачи мы знаем, как мик- рофоны расположены относительно каждого из дикторов, поэтому мы можем определить, на каком из микрофонов амплитуда диктора будет больше или меньше.

Рис. 6: Диаграмма Integrator

Исходя из этого предположения и условий эксплуатации, задачу кластеризации можно свести к задаче определения есть человек перед микрофоном или нет в VAD-алгоритме. Поэтому для данной задачи был использован модифицированный детектор речевой активности, ко- торый используется в сервисе Integrator (Рис. 6).

∞

Где

E1n =

|x(m)| · h(m, n)

m=1

h(m, n) = amplifyLeft,     if n · N ≤ m ≤ (n+1) · N

Измерения кратковременной энергии E2n этих кадров второго кана- ла вычисляются по следующей формуле:

∞

Где

E2n =

|x(m)| · h(m, n)

m=1

h(m, n) = amplifyRight,     if n · N ≤ m ≤ (n+1) · N

Кадры первого канала классифицируются как речь, если выполня- ется одно из следующих условий:

•    E1n > E2n

•    E1n > amplitudeThreshold

•    E1n ≤ E2n · minThreshold && E2n ≥ E1n · maxThreshold

Если не выполняется ни одно условие, то в кадрах первого канала нет речи.

После классификации для повышения помехоустойчивости мы де- лаем следующую проверку:

•    Если между двумя кадрами, в которых нет речи, лежит кадр, классифицированный как речь, мы меняем его классификацию и считаем, что в данном кадре нет речи.

После окончания обработки файла. На выходе мы выдаем проме- жутки времени, в течение которых на первом канале молчали.

4.       Результаты тестирования

В ходе работы над данным проектом было проведено тестирование алгоритма на данных, взятых у заказчика.

Тестирование проводилось на компьютере с 64-разрядным четырёхъ- ядерным процессом Intel® Core™ i5-3450 с базовой частотой 3.10 ГГц, вместимостью ОЗУ11 16 ГБ и SSD на 512 ГБ.

Так как длина каждой сессии различна, и так как нас интересует как измненились накладные расходы на вычислительные ресурсы и память, то нас интересуют следующие параметры:

•    Память;

Таблица 1: Результаты тестирования