Дипломная работа на тему: Разработка программного обеспечения поиска, анализа и удаления дубликатов (на примере ООО «Газпромнефть-Цифровые решения»)

План работы:

Введение 3
Глава 1. Аналитическая часть 6
1.1. Анализ предметной области 6
1.1.1. История компании ООО «Газпромнефть-Цифровые решения» 6
1.1.2. Организационная структура ООО «Газпромнефть-Цифровые решения» 6
1.1.3. Анализ программного обеспечения и деятельности отдела сервисной поддержки 7
1.1.4. Методы предобработки естественного языка 9
1.1.4.1. Токенизация 10
1.1.4.2. Стемминг 13
1.1.4.3. Лемматизация 15
1.1.4.4. CountVectorizer 16
1.1.4.5. Bag of words 17
1.1.4.6. Term frequency - inverse document frequency 18
1.1.4.7. Word2Vec 19
1.1.4.8. Doc2Vec 20
1.2. Анализ существующей организации прикладных и информационных процессов 22
1.2.1. Описание организации прикладных и информационных процессов 22
1.2.2. Решения для обработки текста 25
1.2.2.1. Microsoft Azure Machine Learning 25
1.2.2.2. ABBYY Compreno 27
1.2.3. Анализ недостатков существующей организации бизнес и информационных процессов 30
1.2.4. Формирование предложений по автоматизации бизнес-процессов 30
1.2.5. Методы исследования и преобразования текста 31
1.2.5.1. Графематический анализ 36
1.2.5.2. Морфологический анализ 37
1.2.5.3. Синтаксический анализ 39
1.2.5.4. Семантический анализ 41
1.3. Постановка задачи автоматизации прикладных процессов 43
1.3.1. Цели и задачи проекта автоматизации прикладных процессов 43
1.3.2. Спецификация входных и выходных данных 44
1.3.3. Библиотеки для обработки языка 45
1.3.3.1. Обработка естественного языка 45
1.3.3.2. Инструментарий естественного языка 46
1.3.3.3. TextBlob 47
1.3.3.4. CoreNLP 48
1.3.3.5. Gensim 48
1.3.3.6. SpaCy 49
1.3.3.7. Polyglot 50
1.3.3.8. Scikit-learn 51
1.3.3.9. Pattern 52
1.4. Календарно-ресурсное планирование проекта 52
Глава 2. Проектная часть 54
2.1. Предварительная обработка 54
2.2. Управляемый рекуррентный блок 58
2.3. Метод опорных векторов 60
2.4. Поиск дубликатов 63
2.5. Оценка эффективности 64
Заключение 71
Список литературы 73
Приложение 78