Автоматическая обработка текстов
- Введение в автоматическую обработку текстовСтандарт Unicode. Токенизация и нормализация текста. Регулярные языки, регулярные выражения и конечные автоматы.
- МорфологияКомпьютерная морфология. Лемматизация и стемминг. Конечные трансдьюсеры как модель для морфологических преобразований. Программа Mystem.
- Языковые моделиМодели на основе N-грам. Прюнинг и сжатие языковых моделей.
- Скрытые марковские моделиПрямые и обратные вероятности. Алгоритм Витерби. Пример: задача определения частей речи.
- Марковские модели максимальной энтропииГенеративные и дискриминативные модели. Логистическая регрессия. Принцип максимальной энтропии. Пример: задача распознавания именованных сущностей.
- Контекстно-свободные грамматикиИерархия формальных грамматик Хомского. Примеры. Нормальная форма Хомского для контекстно-свободных грамматик. Нисходящие и восходящие синтаксические парсеры. Алгоритмы Earley и Cocke–Younger–Kasami.
- Синтаксические деревья зависимостейДеревья зависимостей и деревья составляющих. Data-driven подходы к разметке синтаксиса. MaltParser.
- Извлечение отношенийОтношения в тексте между именованными сущностями. Поиски совпадений по образцу. Подходы, основанные на машинном обучении. Bootstrapping.
- Анализ тональности текстаПодходящие свойства текста. Наивный байесовский подход. Алгоритм Turney. Составление лексикона тональностей.
- Формальная семантикаЛогика первого порядка. Лямбда-исчисление. Предикаты в вершинах дерева синтаксического разбора.
- Извлечение коллокацийБиграммы. Распределение расстояний между словами. Взаимная информация. Отношения правдоподобий. Алгоритмы извелечения ключевых слов.
- Аннотирование и кластеризация текстовБлизость текстов по смыслу. Тематическое моделирование. «Глубокое» обучение. Модель word2vec.