Актуальность
В современном обществе информация является важным и крайне ценным ресурсом. Наше общество называется информационным и информация в таком обществе занимает главенствующую роль. Но ее объемы растут гораздо быстрее, чем наша способность ее обрабатывать, а также отделять необходимое и интересное от того, что нам вовсе не нужно. Количество информации в интернете настолько велико, что люди просто теряются в таких объемах и не могут получить то, что им действительно нужно. Подобное утверждение в высшей степени верно для новостных агентств и средств массовой информации, вся деятельность которых построена на продаже новостей. В мире каждый день происходит множество событий, поэтому бывает действительно сложно следить за тем, что тебя интересует.
В такой ситуации напрашивающимся решением является создание специальной системы, которая будет показывать те новости, которые могут заинтересовать пользователя. Подобная система будет предлагать новости основываясь на действиях пользователя, на тематике просмотренных новостей и его поведении во время чтения. Это позволит пользователям не тратить время на поиск необходимых новостей, а СМИ – предлагать более персонализированный контент своим клиентам.
Рекомендационными системами обладают почти все крупные сервисы, такие как Amazon, Facebook, Netflix, YouTube. В каждом из них существует своя специфика, которая напрямую зависит от типа данных, которые требуется рекомендовать. Их цель – прогнозировать те предметы, которые могут быть интересны пользователю.
Обзор существующих методов
Для создания рекомендационных систем существует несколько методов, которые в основном базируются на коллаборативной фильтрации:
Фильтрация, основанная на схожести пользователей;
Фильтрация, основанная на схожести объектов (предметов);
Фильтрация, основанная на модели;
Модель Байеса;
Регрессионная модель;
Кластерная модель;
Также достаточно распространены методы, основанные на факторизации
Неотрицательная матричная факторизация (NMF);
Сингулярное разложение (SVD);
Коллаборативная фильтрация
Коллаборативная фильтрация – это метод, позволяющий предсказать неизвестные предпочтения пользователя на основе известных оценок и/или поведения других пользователей (Segaran 2007). Работа всех видов данного метода основывается на утверждении о том, что пользователи, одинаково оценившие предметы системы, имеют склонность одинаково оценить и другие предметы системы. Также одним из допущений является тот факт, что пользователи дают оценку предмету системы по выборочной шкале, например, оценивая фильм от одной до десяти звезд на сайте imdb.com (рис. 1). Данное допущение является достаточно важным, так как не во всех системах есть возможность явно собирать оценки пользователей. В таких случаях прибегают к неявному сбору информации и оценке поведения, например, записывая просмотренные ролики на YouTube и рекомендуя связанные с ними материалы.
Рисунок 1. Пример оценки фильма на сайте imdb.com
Коллаборативная фильтрация традиционно делится на два подхода. Первым, и самый распространенным, является подход, основанный на соседстве (сходстве) пользователей. Его суть заключается в анализе предыдущих оценок или поведения пользователя, поиск других пользователей, имеющих схожую “историю” и вычисление прогноза для неизвестных оценок. [3]
В классическом случае строится матрица пользователей-предметов, значения в которой является оценками конкретного пользователя конкретного предмета. Те ячейки, в которых нет значений, являются неизвестными, то есть для данного предмета пользователь не выставил оценку, т.е. не пользовался (табл. 1).
Таблица 1
Пример матрицы пользователей-предметов
|
“Даллаский клуб покупателей”
|
“Человек-паук”
|
“Волк с Уолл-стрит”
|
“12 лет рабства”
|
“Free-to-play”
|
Коля
|
5
|
3
|
5
|
-
|
-
|
Петя
|
4
|
-
|
4
|
-
|
5
|
Ипполит
|
-
|
1
|
5
|
2
|
-
|
Для определения соседства пользователей применяются несколько различных алгоритмов, таких как:
Манхэттонское расстояние;
Евклидово расстояние;
Коэффициент корреляции Пирсона;
Манхэттонское расстояние или расстояние городских кварталов является одним из базовых метод вычисления расстояния между двумя точками (1):
где
user1, user2 – пользователи и их оценки;
n – количество предметов в матрице
Данное способ имеет недостаток в точности при малом заполнении матрицы, но также имеет простую реализацию и высокую скорость выполнения.
Евклидово расстояние имеет геометрические корни (теорема Пифагора) и вычисляется при помощи следующей формулы (2):
где
user1, user2 – пользователи и их оценки;
n – количество предметов в матрице
Как и расстояние городских кварталов, данный метод имеет проблемы при незаполненной матрицей, но прост в разработке и дешев в выполнении.
Более точный способ определения соседства основан на коэффициенте корреляции Пирсона (3):
где
user1, user2 – пользователи и их оценки;
n – количество предметов в матрице;
Значение corr(user1, user2) может быть от -1 до 1, где -1 соответствует абсолютному несовпадению пользователей, а 1 – абсолютному совпадению.
Алгоритмы, основанные на сходстве пользователей, могут быть достаточно полезны – они интуитивно понятны и просты в реализации.
|
