ЛИНГВИСТИЧЕСКИЕ ИНДИКАТОРЫ ДЛЯ АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ И ПОИСКА АФОРИЗМОВ

В статье рассматривается проблема автоматического обнаружения, классификации и индексирования афоризмов в текстовых корпусах. Задача анализируется на основе моделей обнаружения фрагментов текста, классификации предложений и ранжирования в рамках НЛП и интерпретируется как сложная задача типа «needle-in-the-haystack». Она основана на том, что для обнаружения афоризмов следует использовать комбинацию графико-пунктуационных, количественных, лексико-морфологических, синтаксических, семантических, прагматических и стилистических индикаторов; процесс представлен в виде четырехэтапного конвейера, состоящего из поиска кандидатов, оценки, разметки и ранжирования. Также рассматривается необходимая для узбекского языка инфраструктура предварительной обработки (нормализация, токенизация, лемматизация, POS-тегирование, синтаксический анализ зависимостей) на основе существующих лингвистических ресурсов (BBPOS, узбекский UD-корпус).