Web-приложение 'Текстовый анализатор'

Введение

В нынешние времена бурного развития интернета все чаще и чаще возникает проблема связи между данными, расположенными в разных концах земного шара на различных платформах и в разнообразных источниках данных. И эта проблема становится острее с ростом компаний, использующих интернет и веб приложения в своем бизнесе.

Так же большие компании занимаются технологиями анализа текста с целью будущей автоматизации процессов анализа и извлечения данных. Анализ текста привлекает все большее внимание в различных областях, таких как безопасность, коммерция, наука. Анализ текста становится неотъемлемой частью новостных сайтов, так как это удобный и качественный способ получения статистики по анализируемой статье. Все чаще писатели и блогеры обращаются за помощью к подобным сервисам - это один из самых быстрых способов проанализировать текст на языковые особенности. Нельзя также же забывать про обычных пользователей, которые смогут получить больше информации о манере письма их любимых авторов.

В связи с востребованностью статистического анализа было реализовано web-приложение “Текстовый анализатор”.

Предусмотрено решение следующих задач:

.        Обзор материалов, освещающих методы статистического анализа текста.

.        Моделирование предметной области.

.        Обоснование средства реализации.

.        Проектирование архитектуры приложения.

.        Программная реализация проекта.

Выполнение задач необходимо для получения максимально точного результата.

1. Анализ предметной области

1.1    Методы анализа естественно-языкового текста

Многие люди хоть раз в жизни после прочтения книги задумывались, сколько слов либо предложений находится в прочтенном тексте. Мысленно пробегая по каждой странице книги, пытались дать ответ на данный вопрос - это и есть самый простой анализ текста.

Анализ текста - изучение текста в его неформализованном виде. Процесс изучения сводится к тем или иным видам интерпретации содержания текста.

Существует несколько видов анализа текста:

лингвистический - вид языкового анализа, направленного на выявление системы языковых средств, с помощью которых передается идейно-тематическое и эстетическое содержание литературно-художественного произведения.

филологический - метод исследования текста, нацеленный на то, чтобы показать культурологический статус текста через взаимную обусловленность формы и содержания текста и их соответствие замыслу автора.

семантический - анализ призван показать соотношение общего количества слов в тексте и значимых слов, составляющих семантическое ядро.

герменевтический - теория интерпретации и понимания текстов.

Благодаря развитию информационных технологий анализировать текст стало гораздо проще. Большое количество текстовой информации стало доступно в электронном виде, что позволяет произвести анализ текста не прилагая больших усилий. Этому способствуют большое количества web-сервисов.

1.2    Существующие приложения для анализа текста

На сегодняшний день существует достаточно много интернет приложений для анализа текста. Одним из таких приложений является Advego. Данное веб приложение проводит семантический анализ текста, что включает в себя: количество символов, количество слов, уникальных слов и так далее.

Некоторые анализаторы текста помогут определить синтаксические и морфологические ошибки, выявить эмоциональное воздействие на человека.

2. Проектирование web-приложения

2.1 Выбор программных средств по реализации web-приложения

Язык программирования C#

Язык С# был выбран в первую очередь потому, что позволяет более рационально создавать популярные на сегодня web-сервисы. Язык C# тесно интегрирован с языком XML, различными веб-технологиями. Язык C# интегрировал в себе преимущества языка Java и С++, что и обуславливает популярность данного языка среди разработчиков. При этом в объединенном языке исключены некоторые спорные директивы, макросы, отменены глобальные переменные.

Технология ASP.Net MVS 5

В качестве технологии разработки было выбрано ASP.NET и паттерн проектирования MVC 5. Преимущества его использования в следующем:

1.      Взаимодействие пользователя с MVC приложением следует естественному циклу: пользователь совершает действие, в ответ на это приложение меняет свою модель данных и предоставляет пользователю обновленный вид. А затем цикл повторяется. Это очень удобно для веб-приложений, предоставляемых в виде серии HTTP запросов и ответов.

.        Необходимость веб приложению объединять несколько технологий (например, базы данных, HTML и исполняемый код), как правило, разбивается на множество уровней или слоев. Моделей, которые вытекают из этих комбинаций, естественны для концепции MVC..NET MVC Framework реализует MVC паттерн и, тем самым, обеспечивает значительно улучшенное разделение концепций. На самом деле ASP.NET MVC реализует современный вариант MVC паттерна, который особенно хорошо подходит для веб сервисов.

А так как целью является разработка web-сервиса, то данные технологии как нельзя лучше подходят для наших целей.

Выбор СУБД(MS SQL)

Выбор конкретной СУБД в качестве сервера баз данных осуществлялся исходя из тех преимуществ, которые она имеет перед другими, а также удобства работы с ней. В данном случае был выбрана клиент-серверная СУБД MS SQL. Её архитектура изображена на рис.1.1

Рис. 1.1. Клиент-серверная архитектура MS SQL

Самая подходящая для MS SQL сфера применения - это Интернет, благодаря хорошей системе безопасности этого пакета, стабильной работе и высокому быстродействию. Для создания web-приложения была выбрана платформа ASP.NET, а MS SQL - одна из самым популярных СУБД, которая поддерживается этой платформой. В ASP.NET есть множество функций, которые позволяют удобно и эффективно работать с базами данных - и это одна из причин выбора данной СУБД.

Средства для реализации диаграмм (jQuery Chart)

jQuery - библиотека JavaScript <#"791908.files/image002.jpg">

Все статистические данные по тексту сохраняется в xml-файле. Благодаря этому полученную статистику удобнее использовать в дальнейшем. Любой пользователь может скачать xml-файл в личном кабинете. Все данные собранные по тексту помещаются в отдельные тэги, что позволяет пользователю гораздо быстрее найти нужную информацию.

Пример собранных данных в виде xml-файла выглядит следующим образом:

<Concordanse xmlns:xsi="#"791908.files/image003.jpg">

Рисунок 1. Главная страница

Рисунок 3. Личный кабинет пользователя