Дипломная работа на тему: Оптимизация взаимодействия пользователя при работе с URL-ссылками

План работы:

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ 4
ВВЕДЕНИЕ 5
ГЛАВА 1. ОБЗОР ИЗВЕСТНЫХ МЕТОДОВ РЕШЕНИЯ ПРОБЛЕМЫ 10
1.1. Общая характеристика предметной области 10
1.2. Вредоносные URL 12
1.2.1. Спам 12
1.2.2. Фишинг 13
1.2.3. Drive by download атаки 13
1.3. Особенности анализа URL 14
1.3.1. Черный список 15
1.3.2. Лексический анализ 15
1.3.3. Анализ на основе данных о хосте 16
1.3.4. Контент-ориентированный анализ URL 17
1.3.5. PageRank 18
1.3.6. Применение машинного обучения 19
1.3.7. Антивирусные облачные сервисы 20
1.4. Аналоги 20
1.5. Выводы по главе 21
ГЛАВА 2. ИССЛЕДОВАНИЕ И ПОСТРОЕНИЕ РЕШЕНИЯ 23
2.1. Машинное обучение 23
2.1.1. Алгоритмы классификации 23
2.1.2. ROC-анализ 28
2.1.3. Выбор фреймворка для машинного обучения 30
2.2. Вопросы оптимизации 32
2.2.1. Сокращенные ссылки 32
2.2.2. Ссылки, ведущие на скачивание файла 33
2.2.3. Метаданные 34
2.2.4. Архивация контента 35
2.2.5. Проверка работоспособности сохраняемого URL 36
2.2.6. Информация об URL 36
2.2.7. Система рекомендаций 36
2.2.8. Особенности URL 39
2.2.9. Проверка URL на безопасность 43
2.3. Веб-программирование 43
2.3.1. Фронтенд 44
2.3.2. Бэкенд 44
2.4. Архитектура информационной системы 46
2.5. Требования к серверу 48
2.6. Выводы по главе 48
ГЛАВА 3. ОПИСАНИЕ ПРАКТИЧЕСКОЙ ЧАСТИ 50
3.1. Анализ признаков URL 50
3.2. Обучение модели для определения вредоносных URL 53
3.2.1. Получение и подготовка данных 53
3.2.2. Применение обработки естественного языка 55
3.2.3. Выбор и тренировка модели 58
3.2.4. Прогнозирование 59
3.3. Обучение модели для классификации URL по категориям 61
3.3.1. Получение и подготовка данных 61
3.3.2. Применение обработки естественного языка 63
3.3.3. Выбор и тренировка модели 66
3.3.4. Прогнозирование 68
3.4. Дополнительный функционал для оптимизации работы с URL 69
3.4.1. Сохранение ссылки (архивация контента) 69
3.4.2. Декодирование ссылки 71
3.4.3. Очистка ссылки 72
3.4.4. Проверка работоспособности ссылки 72
3.4.5. Скриншот контента по ссылке 73
3.4.6. Определение расширения файла, на который ведет ссылка 73
3.4.7. Сокращение URL 74
3.5. Обзор веб-приложения на базе функционала ИАС 74
3.5.1. Short 74
3.5.2. Links 76
3.5.3. Functions 78
3.5.4. Admin 78
3.6. Выводы по главе 79
ЗАКЛЮЧЕНИЕ 80
СПИСОК ЛИТЕРАТУРЫ 81