У нас на сайте представлено огромное количество информации, которая сможет помочь Вам в написании необходимой учебной работы. 

Но если вдруг:

Вам нужна качественная учебная работа (контрольная, реферат, курсовая, дипломная, отчет по практике, перевод, эссе, РГР, ВКР, диссертация, шпоры...) с проверкой на плагиат (с высоким % оригинальности) выполненная в самые короткие сроки, с гарантией и бесплатными доработками до самой сдачи/защиты - ОБРАЩАЙТЕСЬ!

Курсовая работа на тему:

"Система профилирования пользователей на основе поведенческихлогов"

Оглавление

Введение                                                                                                        3

1.      Обзор                                                                                                         6

1.1. Поведенческие логи . . . . . . . . . . . . . . . . . . . . . .     8

1.2. Хранение логов . . . . . . . . . . . . . . . . . . . . . . . .    10

1.3. Обработка логов . . . . . . . . . . . . . . . . . . . . . . . .    10

1.4. Сегментирование пользователей . . . . . . . . . . . . . . .    11

2.      Описание подхода                                                                              14

3.      Реализация                                                                                           16

3.1. Сервер  . . . . . . . . . . . . . . . . . . . . . . . . . . . . .    16

3.1.1.         Хранение поведенческих логов  . . . . . . . . . . .    17

3.1.2.         Вычисление атрибутов . . . . . . . . . . . . . . . .    18

3.1.3.         Кластеризация профилей   . . . . . . . . . . . . . .    20

3.2. Клиент  . . . . . . . . . . . . . . . . . . . . . . . . . . . . .    21

4.      Тестирование                                                                                        23

Заключение                                                                                                26

Список литературы                                                                                 27

Введение

В современном мире благодаря развитию веб-технологий и распро- страненности различных устройств наблюдается стремительный рост популярности веб-сервисов. Люди имеют доступ к многочисленным ис- точникам информации и постоянно находятся в информационном пото- ке. Из-за этого веб-приложениявынуждены всеми силами бороться за удержание внимания пользователя. В частности, стоит отметить медиа веб-сервисы — те, задачей которых являетсяпредоставление доступа к информации в различном виде: текстовом, визуальном и звуковом. При этом количество информации в сети интернет стремительнорастет, и ручной отбор медиаматериалов не представляется возможным. Поэто- му главной задачей медиа веб-сервисов является подбор требуемого ма- териала для каждого пользователя. От качества решения этой задачи напрямую зависит успех сервиса. Примером, иллюстрирующим важ- ность приведеннойвыше задачи, можно привести соревнование, органи- зованное компанией Netflix в 2007 году [23]. Призовой фонд составил $1 млн, а целью являлось улучшениеточности алгоритма рекомендатель- ной системы всего на 10%. Таких результатов удалось достичь лишь на третий год проведения соревнования. Это говорит отом, что крупные компании готовы тратить большое количество ресурсов на улучшение алгоритмов подбора материалов.

Однако для того, чтобы точно подбирать материалы для пользова- телей, необходимо иметь представление о них. Для достижения этой цели важнорезделить пользователей на некоторые группы со схожими атрибутами. Классические методы  сегментирования,  применяющиеся в индустрии, наподобииэмпатических интервью [14] и маркетинговых исследований [25], практически не применимы в сфере подбора медиа- материалов из-за высокой ресурсоемкости,небольшой выборки поль- зователей и плохой масштабируемости. Кроме того, гораздо лучше че- ловека характеризует его поведение и особенновзаимодействие непо- средственно с самими медиафайлами. Информацию о шаблонах пове- дения можно получить, анализируя логи взаимодействияпользователя

с сервисом — поведенческие логи. Они представляют собой записи о совершенных определенным пользователем действиях с материалами веб-сервиса.Сами по себе они слабо структурированы и плохо понятны человеку. Возникает необходимость в системе, способной строить ти- повые интерпретируемыепрофили пользователей, основываясь на их поведении, а также относить человека к одной из уже определённых групп. Помимо этого важным аспектомявляется осознание семантики этого поведения — свойств объектов, с которыми взаимодействует поль- зователь. Это позволит делать выводы относительно базовых причин совершения человеком тех или иных поступков.

Для того, чтобы оценить значимость интерпретируемых профилей, стоит упомянуть контекст их использования. В рамках этой работы они будут строиться для пользователей веб-сервиса graphica.ai, кото- рый предлагает людям творческих профессий возможность найти ви- зуально эстетичные изображения длявдохновения. Из-за того, что по- нятия “вдохновение” и “эстетика” очень субъективны, этому сервису крайне необходимо иметь информацию о типовых профиляхпользова- телей для создания качественной рекомендательной системы и продви- жения. Описанные выше ограничения в лице трудно формализуемых понятий иявляются основной причиной интерпретируемости профи- лей: на данный момент только человек способен осознать, а следова- тельно, и сделать выводыотносительно искусства, которое распростра- няет graphica.ai. Это накладывает дополнительные ограничения на ко- личество построенных профилей: человекфизически не способен про- смотреть профиль каждого пользователя. Поэтому необходимо сегмен- тировать пользователей с помощью алгоритмовкластеризации и стро- ить интерпретируемые типовые профили для каждого пользователь- ского сегмента.

Постановка задачи

Целью данной работы является реализация системы построения ти- повых профилей пользователей веб-сервиса на основе поведенческих

логов и её интеграция существующую систему graphica.ai.

В ходе работы для достижения описанной цели были поставлены следующие задачи.

•   Провести анализ существующих решений и алгоритмов

•   Разработать систему построения типовых пользовательских про- филей и клиент для тестирования системы

Поведенческие логи представляют собой упорядоченный набор за- писей о событиях, которые возникли в результате взаимодействия поль- зователя с сервисом и зарегистрировались на егоклиенте. События можноразделить на два типа: явные и неявные. Первые содержат в себе явную оценку медиаматериалов пользователем, например выставление

рейтинга или механика “мне нравится” в социальных сетях. Вторые вы- ражают отношение пользователя лишь косвенно. Такими действиями являются посещение страниц, наведение мышью наобъект и другие. В сервисе graphica.ai на момент проведения исследования не существует механик, позволяющих получать события явного типа, поэтому решено было логировать только неявныедействия.

Классическим подходом при сборе поведенческих логов является clickstream [19] — поток всех посещенных пользователем URL страниц и формирование упорядоченной по временипоследовательности пере- ходов для каждого пользователя. Главным преимуществом такого под- хода является простота сбора логов и их дальнейшей кластеризации. Это наглядно продемонстрировано при построении рекомендательных систем [15] и аналитики в реальном времени [10]. Помимо этого суще- ствует и более продвинутый подход [1]. В нем кроме переходов поURL страницам собирается также и наличие любой активности на них, что позволяет получить информацию о продолжительности времени фоку- сировки внимания пользователя намедиаматериалах.

Что касается непосредственно самого формата логов, стоит подроб- нее рассмотреть системы веб аналитики. Яндекс.Метрика [33] позво- ляет обращаться к “счетчику” — регистраторусобытий, привязанному к HTML странице или элементу на ней. С помощью этого обращения можно получить доступ к списку всех событий, которые зафиксиро- вал счетчик. В данном контекстесписок событий представляет собой набор поведенческих логов, каждый из которых содержит множество значений [34]. Несмотря на то, что такой список атрибутов избыточен в рамках поставленной задачи, можно выделить несколько представля- ющих интерес атрибутов.

Задача обработки поведенческих логов заключается в вычислении значений атрибутов, соответствующим пользователям. Атрибуты мож- но разделить на два типа: характеризующие свойстваобъектов, с кото- рыми взаимодействовал пользователь (семантику поведения) и описы- вающие непосредственно само поведение пользователя. Вновь обратим- ся к системам веб аналитики,как самому распространенному аналогу разрабатываемой системы. Google Analytics [7] обладает широким спис- ком характеристик поведения и личности пользователя [9], однако, как ужеотмечалось ранее, не способна характеризовать семантику поведе- ния. Для сервиса graphica.ai это является существенным недостатком, так как свойства изображений, которые просматриваютпользователи, напрямую отражают интересы пользователя. А предпочтения человека играют важную роль в задачах из области маркетинга (продвижение,

налаживание контакта с аудиторией) и рекомендательных систем.

Возникает задача сопоставления изображений и их метаинформа- ции с поведенческими логами для вычисления семантических атрибу- тов. Тут стоит отметить методы сниженияразмерности и, в частно- сти, выделение признаков [24]. Например, использование ансамбля пре- добученных сверточной и сиамской нейронных сетей позволило опи- сывать изображениявектором, таким образом, предоставив возмож- ность использования изображений для уточнения семантики взаимо- действия [30].

Описывать и упрощать можно не только данные о семантике, но и сами поведенческие логи. Это достигается, например, за счет построе- ния последовательностей действий, совершаемыхпользователем за од- ну сессию, а также их сокращением до типовых шаблонов поведения за счет сравнения этих последовательностей [22]. Таким образом предла- гается снизить объем занимаемого пространства на диске при хранении логов.

1.4.      Сегментирование пользователей

Конечным результатом работы системы является множество типо- вых профилей. Типовой профиль — набор атрибутов и их значений, соответствующий сегменту пользователей со схожим поведением. Он позволяет описать группу людей набором характеристик. Например, Google Analytics [7] позволяет группировать пользователей по их гео- графическим, демографическим признакам, типу устройства, и множе- ству других характеристик. Однако в рамках данной работы наиболь- ший интерес представляет сегментация пользователей, основываясь на ихповедении.

Здесь можно выделить два подхода. Первый заключается в выявле- нии классов пользователей, например при помощи маркетинговых ис- следований [25] и использовании алгоритмов классификации для пред- сказания класса каждого конкретного пользователя. Похожий подход продемонстрирован в работе по созданию системы рекомендации блюд [18].

Авторы, собрав личные данные пользователей при помощи опроса, вы- делили группы респондентов, основываясь на их культуре, религии, состоянии здоровья и личных предпочтениях.Полученные классы ис- пользовались для определения особых текстовых запросов, характер- ных каждой группе. Это позволило определять класс каждого нового пользователя, исходя из егопоисковых запросов, и использовать про- филь класса для рекомендации определенных блюд (Рис. 4). Главным недостатком такого подхода является трудоемкость процесс выявле- нияклассовпользователей.Помимотого,сложнопровестиэксперимент для определения предпочтений людей в искусстве (предметная область graphica.ai).

Описание подхода

Разрабатываемая система собирает, хранит и анализирует поведен- ческие логи дляпостроения типовых профилей, а также предоставляет интерфейс для их получения. Рассмотрим процесс работы такой систе- мы (Рис. 5).

Рис. 5: Процесс работы системы профилирования пользователей

На клиенте сервиса регистрируются события, формируются пове- денческие логи и отправляются на сервер. Там логи проверяются на корректность и записываются в базу данных. Далее всоответствии с расписанием или по запросу сервер рассчитывает профили для каждого пользователя и типовые профили. Это происходит следующим образом. Сырые логи агрегируются до болеесложных конструкций, содержащих продолжительность события. Из них формируются атрибуты пользо- вателей (первичные профили). После этого сервер обращается к базе данных веб-сервиса graphica.ai для получения информации об объек- тах и медиаматериалах, с которыми взаимодействовали пользователи, и дополняет список атрибутов (например, величиной,характеризую- щей разнооборазность просмотренных медиаматериалов). Таким обра-

зом формируются профили для каждого пользователя. Далее происхо- дит кластеризация всех профилей для разделения на группы схожих по поведению пользователей и рассчитываются усредненные значения атрибутов для каждой группы, формируя типовые профили. Наконец, сервер также предоставляет интерфейс доступа к построенным профи- лям.

3.       Реализация

Для реализации предлагаемого подхода была разработана система, включающая серверную и клиентскую части (Рис. 6). Подробное опи- сание реализации представлено в секцияхниже.

Что касается построения профилей, по аналогии с процессом (Рис.

5)  , можно выделить несколько модулей:

1.     Хранение поведенческих логов (“Clickhouse Database” на Рис. 6)

2.     Вычисление атрибутов двух типов, приведенных ниже, и их объ- единение для построения профиля каждого пользователя(“Atributes Computer Module” на Рис. 6):

(a)    Атрибуты, характеризующие поведение пользователей

3.1.1.     Хранение поведенческих логов

Большая часть логики вычисления атрибутов содержится в множе- стве представлений и SQL запросов (“Database Interface” на Рис. 6): это позволяет по максимуму использовать производительность коло- ночной СУБД. Построение профилей для каждого пользователя можно разделить на два этапа. Сначала логи обобщаются до предопределен- ных шаблоновповедения, содержащих длительность взаимодействия. Примеры такого обощения приведены ниже.

•   Несколько событий прокрутки страницы объединяются в одно

•   Клик по изображению и любое другое последующее событие на

других страницах формируют начало и конец события просмотра изображения

•   Наведение мыши на объект и уведение мыши с объекта обобщают- ся до события наведения на протяжении определенного времени

•   События каждого пользователя разделяются на сессии (группу событий), исходя из времени прошедшего с момнента возникнове- ния последнего события на момент наступления каждого из них

Из множества таких шаблонов поведения вычисляются атрибуты, характеризующие поведение каждого пользователя. Ниже приведены примеры таких атрибутов.

•   Интенсивность прокрутки

•   Доля обратной прокрутки

•   Количество времени, проведенное в сервисе

•   Среднее время просмотра изображения

•   Количество просмотренных изображений

•   Среднее число сессий в неделю

•   Средняя продолжительность сессии

Для вычисления атрибутов, характеризующих просмотренные изоб- ражения, система обращается к базе данных веб-сервиса graphica.ai с помощью технологии GraphQL и получаетследующую информацию.

•   Название изображения

•   Дата загрузки

•   Автор

•   Список категорий, к которым относится изображение

Затем эти данные сопоставляются с множеством всех изображений, которые просматривали пользователи, для вычислений следующих ат- рибутов для каждого пользователя.

•   Наиболее любимые категории

•   Любимый автор

•   Широта интереса по категориям

•   Широта интереса по авторам

Набор атрибутов и их значений для каждого пользователя объеди- няется в один набор данных (таблицу), формируя, таким образом, мно- жество профилей для каждого пользователя. Ниже приведен пример профилей для пользователей “А”, “Б”, “В”. Количество атрибутов со- кращено с 16 до 3 для удобствадемонстрации.

Как уже упоминалось ранее, одной из целью системы профилиро- вания пользователей является построение профилей для групп поль- зователей со схожим поведением — пользовательских сегментов. Для достижения этой цели было решено кластеризовать множество профи- лей пользователей, полученное в результате работы модуля вычисления атрибутов. Приэтом конечной целью являются профили пользователь- ских сегментов, которые может интерпретировать человек — специа- лист в области маркетинга или дизайна. Помимо интерпретируемости центров кластеров, полученных в результате работы модели кластери- зации, существует ограничение связанное с оценкой качества модели.

В силу отсутствия заранее известных классов пользователей невоз- можно оценить модель с помощью внешних метрик, поскольку они ос- нованы на сравнении результата кластеризации саприори известным разделением на классы. При этом небольшое количество пользовате- лей сервиса graphica.ai приводит к неточным оценкам с использовани- ем внутренних мер: алгоритм,показывающий хорошие результаты на небольшом объеме данных может оказаться неэффективным с ростом пользовательской базы. Поэтому было принято решение полагаться на мнениеэкспертов — маркетологов и дизайнеров — для оценки качества модели. С ростом числа пользователей могут появляться новые сег- менты пользователей. Это накладывает ограничения наалгоритм кла- стеризации: он должен уметь адаптироваться к изменяющемуся числу кластеров. С этой задачей прекрасно справляется MeanShift [26]. Бла- годаря автоматическому подбору количества кластеров, он позволит показывать стабильные результаты с увеличением числа пользовате- лей [2]. Помимо этого, он способен выделять объекты, значительно от- личающиеся отосновной массы. В рамках системы профилирования это позволит выявлять пользователей с аномальным поведением. Была использована реализация этого алгоритма из инструментарияScikit- learn. С ее помощью множество профили пользователей разбивается на кластеры, после чего из центров кластеров формируются типовые про- фили пользователей. При этом сохраняется полный наборатрибутов, характеризующий каждого пользователя, а их значения вычисляются с помощью усреднения характеристик пользователей, принадлежащих одному кластеру.

3https://reactjs.org/ 4https://www.djangoproject.com/

призван воспроизвести взаимодействие пользователя с медиаматериа- лами в клиенте веб-сервиса graphica.ai, от которого и исходил запрос на создание инструмента для создания профилей.Основная задача те- стового клиента — обеспечение сбора поведенческих логов. Эта потреб- ность реализована при помощи обработки JavaScript событий и интер- фейса REST API.

Регистрируются следующие виды событий.

•   Наведение мыши на изображение

•   Уведение мыши с изображения

•   Прокрутка страницы

•   Клик по изображения

При этом собирается информация, которая формирует пользова- тельский лог.

•   Идентификатор пользователя

•   Тип объекта, с которым произошло взаимодействие

•   Идентификатор объекта

•   Вид события

•   Значение, генерируемое событием (например, степень прокрутки страницы)

•   Время возникновения события

Наконец, пользовательские логи отправляются клиентом на сервер при помощи библиотеки Axios5 и интерфейса REST API для дальней- шей обработки.

Для оценки работоспособности системы было необходимо интегри- ровать предложенное решение в веб-сервис graphica.ai. В силу сжатых сроков разработки, не удалось внедрить сбор данныхв клиент этого сервиса. Однако взаимодействие с базой данных graphica.ai для полу- чения информации об изображениях было налажено. Таким образом, получилось интегрировать систему профилирования пользователей с серверной частью веб-сервиса. Этого было достаточно, чтобы продемон- стрировать работоспособность системы. Для этой демонстрации был поставлен следующий эксперимент.

Было приглашено 17 людей, которым предложили воспользовать- ся клиентом сервиса для просмотра изображений. В качестве клиента выступал описанный в предыдущем разделетестовый клиент, который производил сбор поведенческих логов и их отправку на сервер системы профилирования. В результате работы системы 17 пользователей были разделены на 4 сегмента идля них были построены типовые профили (Рис. 7). Для каждого сегмента были дополнительно подсчитаны уров- ни внимательности, вовлеченности и опыта исходя из их атрибутов. Они приведены в таблице под Рис. 7.

Система выделила две группы (1 и 2) с крайне низкой продолжи- тельностью сессии (Рис. 8). Они разделены между собой прежде всего по количеству времени, проведенному за просмотромкаталога карти- нок: пользователь из группы 2 потратил в сервисе довольно много вре- мени, в отличие от группы 1 — те ушли очень быстро (Рис. 9). Отсюда вытекает более высокий уровеньвнимательности группы 2.

Таким образом, была разработана система построения типовых профилей пользователей, выгодно отличающаяся от существующих аналогов способностью оценить информа- цию об объектах, с которыми взаимодействовали пользова- тели. Это дало возможность характеризовать группу пользо- вателейнетолькоособенностямиихповедения,ноихаракте- ристиками изображений, которые просматривали пользова- тели. Такое решение положительно оценили члены команды graphica.ai.

Список литературы