Лемма — первоначальная, основная форма слова. Для существительных и прилагательных, таковой является форма единственного числа, именительного падежа. Для глаголов — ответ на вопрос «что делать?».
Лемматизация — преобразование слова в словарный вид или лемму. Данный метод используется в алгоритмах поисковиков при индексировании интернет-страниц. Процесс дает возможность хранения данных страницы набором слов в индексе для удобной схематизации файлов. Это, в свою очередь, позволяет ускорить индексацию и сформировать более четкий ответ на поисковой запрос, так как сокращенную форму слова поисковик анализирует быстрей.
При лемматизации слово теряет флективные окончания и обретает основную форму. К примеру, существительное [плечами — плечо], глагол [ходили — ходить], прилагательное [смешным — смешной].
Следует понимать, что в естественном языке имеется некоторое количество слов, лемматизация которых может привести к неоднозначным результатам. К примеру, форму слова [вой] можно привести 2-м леммам: сущ. «вой» и глаг. «выть». В связи с этим лемматизация иногда бывает не точной, ведь поисковик учитывает одну из потенциальных лемм слова в определенном тексте.
Несмотря на это, лемматизация играет важную роль в индексации веб-страниц при хорошей разработке и оптимизации сайта. Высокая скорость является критерием эффективного индексирования. Она зависит от количества форм слова — чем их меньше, тем раньше закончится схематизация документа.
Бывают ситуации, в которых необходимо корректировать цель лемматизации для смены уменьшительных/усилительных форм слова: [вилочкой — вилочка], а также смены деепричастия инфинитивом: [прыгая — прыгать]. Это не входит в стандартный алгоритм лемматизации, однако, может быть достигнуто с помощью тезауруса — словарного инструмента.
Лемматизаторы — ПО, задачи которых: уменьшение числа словоформ и осуществление лемматизации. Многие из них представлены в интернете в открытом доступе, некоторые — бесплатны.
Зачастую подобные программы являются упрощенной версией аналогов, которые используют поисковики или программисты. Главная причина — невозможность купить хостинг, анализирующий большое количество данных. Ультракомпактность становится главной целью индексаторов локальных поисковиков, создаваемых программистами.
Лемматизация также служит для оценки уникальности контента. В процессе данные страницы разбиваются на шинглы и проводится анализ лемм в каждом из них. В первую очередь, лемматизация необходима для увеличения релевантности поиска. До сравнения шинглов поисковиком формы слов преобразуются лемматизатором в леммы, затем нерелевантные файлы отфильтровываются.
В нашем языке наименования словарных справок соответствуют стандартной форме существительных. Соответственно лемматизация здесь выступает второстепенным процессом морфологического анализа. Но анализ в принципе довольно сложен, необходимо наличие огромной словарной базы. В связи с этим во многих ситуациях полезны описанные выше лемматизаторы. Подобные программы намного более просты, удобны и требуют совсем немного внешних зависимостей.
Также существует смежный лемматизации процесс – стемминг. Алгоритм используется в поисковиках с целью расширения запроса и нормализации текстовой информации. Но стемминг и лемматизация – разные вещи. При первой операции от словоформ отделяются окончания, подразумевая, что в большинстве ситуаций это себя оправдает. Зачастую стемминг означает удаление производных аффиксов.