»
Дисциплина
Аналитические системы в банковской сфере
Выполнил:
ст-т гр. Кр-ДКЕ-701
Е.А. Изотова
Проверил:
Е.А. Тынченко
Красноярск 2011
Содержание
Введение
.Информационно-аналитические системы на базе OLAP-технологий
.Классификация OLAP-систем
.Основные преимущества OLAP-систем
Заключение
Список литературы
Введение
Часто в компаниях существует несколько информационных систем - системы складского учета, бухгалтерские системы, ERP системы для автоматизации отдельных производственных процессов, системы сбора отчетности с подразделений компании, а также множество файлов, которые разбросаны по компьютерам сотрудников.
Имея столько разрозненных источников информации, часто бывает очень сложно получить ответы на ключевые вопросы деятельности компании и увидеть общую картину. А когда нужная информация все же находится в одной из используемых систем или локальном файле, то она часто оказывается устаревшей или противоречит информации, полученной из другой системы.
Данная проблема эффективно решается с помощью информационно-аналитических систем, построенных на базе OLAP-техологий (другие названия: OLAP-система, Система бизнес-аналитики, Business Intelligence).
1. Информационно-аналитические системы на базе OLAP-технологий
OLAP (от англ. OnLine Analytical Processing - оперативная аналитическая обработка данных, также: аналитическая обработка данных в реальном времени, интерактивная аналитическая обработка данных) - подход к аналитической обработке данных, базирующийся на их многомерно- <#"justify">·Разработка каждого отчёта требует работы программиста.
·Отчёты формируются очень медленно (зачастую несколько часов), замедляя при этом работу всей информационной системы.
·Данные, получаемые от различных структурных элементов компании не унифицированы и часто противоречивы.
·OLAP-системы, самой идеологией своего построения предназначены для анализа больших объёмов информации, позволяют преодолеть ограничения традиционных информационных систем.
2. Классификация OLAP-систем
ROLAP, Relational OLAP - реляционный OLAP
В реляционных OLAP-системах структура куба данных хранится в реляционной базе данных.
Меры самого нижнего уровня остаются в реляционной витрине данных, служащей источником данных для куба. Предварительно обработанные агрегаты также хранятся в реляционной таблице.
Когда человек, принимающий решение, запрашивает значение меры для определенного набора элементов измерения, ROLAP-система проверяет, указывают ли эти элементы на агрегат или на значение самого нижнего уровня иерархии (листовое значение).
Если указан агрегат, то значение выбирается из реляционной таблицы. Если выбрано листовое значение, то значение берется из витрины данных.
Благодаря реляционным таблицам, архитектура ROLAP позволяет хранить большие объемы данных.
Поскольку в архитектуре ROLAP листовые значения берутся непосредственно из витрины данных, то возвращаемые ROLAP-системой листовые значения всегда будут соответствовать актуальному на данный момент положению дел. Другими словами, ROLAP-системы лишены запаздывания в части листовых данных.
Достоинства этого класса систем:
·возможность использования ROLAP с хранилищами данных и различными OLTP-системами;
·возможность манипулирования большими объемами данных; объем данных могут ограничивать только лежащие в основе ROLAP системы реляционных баз данных, подход ROLAP сам по себе не ограничивает объем данных;
·безопасность и администрирование обеспечивается реляционными СУБД.
Недостатки:
·получение агрегатов и листовых данных происходит медленнее, чем, например, в MOLAP и HOLAP (см. ниже);
·функциональность систем ограничивается возможностями SQL, так как аналитические запросы пользователя транслируются в SQL-операторы выборки;
·сложно пересчитывать агрегированные значения при изменениях начальных данных;
·сложно поддерживать таблицы агрегатов., Multidimensional OLAP - многомерный OLAP
В многомерных OLAP-системах структура куба хранится в многомерной базе данных. В той же базе данных хранятся предварительно обработанные агрегаты и копии листовых значений. В связи с этим все запросы к данным удовлетворяются многомерной системой баз данных, что делает MOLAP-системы исключительно быстрыми.
Для загрузки MOLAP-системы требуется дополнительное время на копирование в многомерную базу всех листовых данных. Поэтому возникают ситуации, когда листовые данные MOLAP-системы оказываются рассинхронизированными с данными в витрине данных. Таким образом, MOLAP-системы вносят запаздывание в данные нижнего уровня иерархии.
Архитектура MOLAP требует большего объема дискового пространства из-за хранения в многомерной базе копий листовых данных. Но, несмотря на это, объем дополнительного пространства обычно не слишком велик, поскольку данные в MOLAP хранятся исключительно эффективно.
Достоинства MOLAP-систем:
·все данные хранятся в многомерных структурах, что существенно повышает скорость обработки запросов;
·доступны расширенные библиотеки для сложных функций оперативного анализа;
·обработка разреженных данных выполняется лучше, чем в ROLAP.
Недостатки:
·данные куба «оторваны» от базовой таблицы; необходимы специальные инструменты для формирования кубов и их пересчёта в случае изменения базовых значений;
·сложно изменять измерения без повторной агрегации., Hybrid OLAP - гибридный OLAP
В гибридных OLAP сочетаются черты ROLAP и MOLAP, отсюда и название - гибридный. В моделях HOLAP используются преимущества и минимизируются недостатки обеих архитектур.
В HOLAP-системах структура куба и предварительно обработанные агрегаты хранятся в многомерной базе данных. Это позволяет обеспечить быстрое извлечение агрегатов из структур MOLAP. Значения нижнего уровня иерархии в HOLAP остаются в реляционной витрине данных, которая служит источником данных для куба.не требует копирования листовых данных из витрины, хотя это и ведет к увеличению времени доступа при обращении к листовым данным. Данные в витрине доступны аналитику сразу после обновления. Таким образом, HOLAP-системы не вносят запаздывания в работу с данными нижнего уровня иерархии. По сути, HOLAP жертвует скоростью доступа к листовым данным ради устранения запаздывания при работе с ними и ускорения загрузки данных. В связи с этим HOLAP проигрывает по скорости MOLAP.
К достоинствам подхода можно отнести комбинирование технологии ROLAP для разреженных данных и MOLAP для плотных областей, а к недостаткам - необходимость поддерживания MOLAP и ROLAP.
DROLAP, A Dense-Region Based Approach to OLAP - OLAP
По утверждениям авторов данного подхода, DROLAP превосходит ROLAP и MOLAP в эффективности управления пространством и обработки запросов. DROLAP заимствует преимущества ROLAP и MOLAP и комбинирует их для поддержки высокой скорости исполнения запросов и эффективности использования памяти.
Основой DROLAP системы является использование плотных областей (dense regions) в кубах данных. Для этого используется алгоритм EDEM (Efficient Dense Region Mining). Также подход DROLAP лучше управляет не только дисковым пространством, но и кластеризованными многомерными данными.
OOLAP, Object-relational OLAP
Данный подход к OLAP схож с ROLAP, но обладает своими особенностями. Например, OOLAP позволяет работать с объектными базами данных, а используемые в ROLAP связи между первичным и внешним ключами в OOLAP заменяются связями атрибут-домен.
RTOLAP, R-ROLAP или Real-time ROLAP
Иногда этот подход называют по-другому - Real-Time Analytical Processing или RAP.отличается от ROLAP, в основном, тем, что для хранения агрегатов не создаются дополнительные реляционные таблицы, а агрегаты рассчитываются в момент запроса.
Только явно введенные данные сохраняются в многомерном кубе. При выполнении запроса пользователя сервер выбирает данные либо рассчитывает значения. Все вычисления выполняются по требованию, а все данные находятся в основной памяти.
Достоинства подхода RTOLAP:
·вычисления по требованию позволяют не перегружать основную память RAM.
Недостатки:
·ограниченность хранения и обработки куба данных объемом основной памяти;
·снижение скорости обработки из-за вычислений по требованию.memory OLAP
Данная модель OLAP представлена в виде In-memory ROLAP и In-memory MOLAP и практически не отличается от Real-time ROLAP.
В подходе In-memory OLAP используются преимущества основной памяти. Обеспечивается некоторая промежуточная система баз данных, которая обрабатывает запросы. Эта промежуточная база данных хранится в памяти компьютера, что позволяет избежать задержек из-за обращений к диску., Desktop OLAPявляется одноуровневой технологией OLAP. В данной архитектуре OLAP можно скачать относительно небольшие кубы данных из центральной точки (витрины или хранилища данных) и выполнять многомерный анализ, отключившись от этого ресурса. В другом варианте пользователь может сам создать OLAP-куб, не подключаясь к серверу.
Достоинства подхода DOLAP:
·дружественный (user friendly) подход для манипулирования данными в локальном режиме;
·высокая скорость обработки запросов;
·низкая стоимость;
·удобный инструмент для пользователей, которые не могут постоянно поддерживать соединение с хранилищем данных;
·наиболее простое развертывание продуктов из всех подходов к организации OLAP.
Недостатки:
·ограниченная функциональность;
·ограничение на объем данных.OLAP
Продуктами этой области в основном являются клиенты многомерных баз данных. Это может быть просто программа просмотра (viewer) или приложение, которое улучшает обслуживание пользователей., Web-based OLAP
Архитектура WOLAP предполагает использование возможностей Web. WOLAP-системы выполняют аналитические функции, такие как агрегирование и детализация, обеспечивают высокую производительность в сочетании со всеми преимуществами, которые дает Web-приложение.
При использовании таких систем значительно облегчается задача установки, конфигурирования и развертывания. Web-приложение выполняется на сервере, и поэтому на клиентской машине нужны только браузер и подключение к Intranet/Internet. Подобная стратегия развертывания особенно удобна для администраторов хранилищ данных, которым часто приходится работать с широким контингентом удаленных пользователей, что очень не просто при использовании традиционной клиент/серверной архитектуры.
К достоинствам подхода WOLAP можно отнести следующее:
·обучение OLAP сводится к минимуму за счет использования хорошо знакомых Internet-функций и методов навигации;
·обеспечивавется поддержка OLAP, независимая от платформы;
·развертывание программного обеспечения обходится крайне дешево.
Реализация решений WOLAP основывается на технологиях HTML, Java, ActiveX, а также их комбинациях.
Развитие прикладных информационных систем, появление новых типов данных заставляют поставщиков разрабатывать новые подходы к оперативной аналитической обработке данных. Далее представлены тематические модели OLAP., Spatial OLAP
Пространственная аналитическая обработка предназначена для изучения пространственных данных. В этой области объединяются понятия из существенно различающихся сфер знаний географических информационных систем и OLAP. Модель SOLAP разработана для интерактивного и быстрого анализа больших объемов данных, хранящихся в пространственных базах данных., Semantic OLAP
Модель SeOLAP ориентирована на семантические методы поиска и извлечения данных и знаний. Область SeOLAP пока разработана недостаточно, хотя в последние годы это направление явно привлекает внимание исследователей.
Семантический OLAP нацелен на решение таких проблем. как семантическое управление для предотвращения «взрыва данных», преодоление «семантических разрывов OLAP» и т.д. Модель SeOLAP подходит для семантического управления данными, а также аналитической обработки данных Semantic Web (Семантический веб).OLAP
Функциональность модели Mobile OLAP рассматривается относительно беспроводных сетей или мобильных устройств. Реализации Mobile OLAP позволяют работать с OLAP-данными и приложениями удаленно через мобильные устройства.
Рассматривая интерфейсы OLAP, вводят понятие Java OLAP или Java OLAP (JOLAP) API.- Java OLAP
С одной стороны, JOLAP - спецификация, предназначенная для создания и поддержания OLAP данных и метаданных на корпоративной платформе Java. С другой стороны, можно говорить о сервере JOLAP, например, Mondrian open source Java OLAP server 1.0.
3. Основные преимущества OLAP-систем
Ключевое требование, предъявляемое к OLAP-системам - скорость, позволяющая использовать их в процессе интерактивной работы аналитика с информацией.
Преимущества OLAP-систем следующие:
·Предметная ориентированность
Означает, что в кубах собрана информация по различным аспектам деятельности организации: закупкам, продажам и т.п. Это отличает базы OLAP от оперативных БД, где данные организованы в соответствии с различными процессами, такими, как, например, оформление и выписка документов, оформление заказов и др.
·Многопользовательский режим работы
Клиент-серверная архитектура OLAP-продуктов обеспечивает одновременный доступ большого числа пользователей. При этом анализ производится одинаково быстро по всем аспектам информации независимо от размера и сложности структуры БД.
·Прямой доступ к данным
Позволяет пользователю видеть сразу всю информацию, не отфильтрованную отчетами. То есть, если пользователь видит документ, например, со странной датой исполнения (например, накладная, датированная 5200 годом), то это означает, что такой документ реально существует в исходной (оперативной) базе
·Сосредоточение необходимых данных в одном месте
Это положение отражает ту особенность, что вся аналитика, например, факта продажи (контрагент, менеджер, дата, вид сделки и прочее) хранится в том же кубе и доступ к ней не требует дополнительного обращения к каким-то внешним источникам (справочникам и т.п.)
·Удобные средства доступа
Просмотра и анализа деловой информации. Пользователь получает интуитивно понятную модель данных, организуя их в виде многомерных кубов. Это позволяет ему проводить как сравнительный анализ показателей, так анализ различных сценариев по принципу "что-если", построенных на основе прогнозных и статистических данных компании.
·Удобная навигация по данным
Как правило, с использование мышки.
·Разнообразные инструменты для обработки данных
Встроенные функции агрегации, ранжирования, сортировок, вычисления, правило Парето (80/20) и т.д.
·Визуализация информации
От того насколько удобно для восприятия пользователя будут представлены срезы, зависит качество анализа информации
·On-line функционирование
Обеспечивают выявление ассоциаций, закономерностей, трендов, проведение классификации, обобщения или детализации, составление прогнозов, т. е. предоставляет инструмент для управления предприятием в реальном времени
·Простота освоения и использования сводных таблиц
Мало найдется пользователей, которые не работали бы с Excel. Excel - как один из вариантов OLAP-клиента очень прост в использовании. Сводные таблицы Excel легко воспринимаются. И требуют незначительных навыков в работе с ними.
·Неизменность данных
Позволяют формировать и в дальнейшем использовать для анализа массивы заранее обработанных данных (предвычисленные индексы), потому что OLAP-системы работают не с оперативными базами данных, а со стратегическими архивами, отличающимися низкой частотой обновления, интегрированностью, хронологичностью и предметной ориентированностью. Именно неизменность данных и позволяет вычислять их промежуточное представление, ускоряющее анализ гигантских объемов информации
·Хорошая оперативность
В отличие от классических методов поиска запросы формируются не на основе жестко заданных (или требующих для модификации вмешательства программиста и, следовательно, времени) форм, а с помощью гибких нерегламентированных подходов
·Быстрая детализация итоговых данных
Просматривая сводные таблицы, пользователь видит сначала итоговые значения показателей (например, за период или по группе), и в случае необходимости может их легко детализировать (например, по 2005 году, по первому кварталу).
·Высокая скорость формирования отчетов
Скорость выполнения OLAP - в десятки раз отличается от обычных. Дело в том, что в OLAP-кубах расчет необходимых данных происходит заранее, и при формировании отчета пользователь ждет только вывода данных. Любой сложности OLAP - отчеты строятся не более 5-10 секунд.
·Высокая точность отчетов
Многие сталкивались с «не состыковкой» данных: по вине дефекта учетной программы или из-за того, что учет велся параллельно в нескольких учетных системах. Например, когда не совпадают итоговые значения в разных разрезах. В OLAP-отчетов таких ситуаций не возникает. Поэтому всем данным OLAP-отчета можно доверять.
·Возможность самостоятельного формирования нужных отчетов
В отличие от традиционных программ, которые выводят таблицу строго определенной формы и содержания, OLAP-технологии дают пользователю сформировать тот отчет, который ему необходим в данный момент. Пользователь может развернуть данные по произвольной аналитике, посмотреть их более или менее подробно (например, разложить по дням данные за месяц или же посмотреть те же цифры поквартально), вывести или же убрать какие-то показатели, сформировать иерархические заголовки таблицы и многое другое.
·Возможность сведения данных из разных баз
Если в компании несколько подразделений с разной структурой БД и разными учетными программами, то OLAP-отчетность позволяет свести данные, консолидировать их.
·Отсутствие привлечения программистов
На текущие задачи. Для того чтобы пользоваться OLAP-отчетностью, необходимо сформулировать один раз требования к ней. После этого специалист создаст механизмы наполнения ХД. На основании данных пользователь может сам создавать необходимые отчеты. Один отчет может заменять несколько отчетов простой системы. Легкость оперирования данными в OLAP-отчетах позволяет сохранить деньги на создании многих обычных отчетов. Не требуется оплачивать обучение, потому как пользоваться Excel могут практически все.
Заключение
информационный аналитический технология управление
1. Консультативный форум CIT FORUM <http://citforum.ru/> (на 8.12.2011 г.)
. Сайт Википедия <http://ru.wikipedia.org/> (на 8.12.2011 г.)
. Справочный сайт по информационным технологиям <http://www.itstan.ru/> (на 8.12.2011 г.)
. Справочный сайт по информационно-аналитическим системам <http://kaidev.ru/> (на 8.12.2011 г.)
. Сайт, предоставляющий услуги консультации по выбору ИТ-систем <http://www.tadviser.ru/> (на 8.12.2011 г.)