Архитектуры хранилищ данных

В настоящее время хранилища данных – такой же необходимый атрибут ит-архитектуры практически любой современной организации, как обслуживание компьютеров или работа электронной почты . Хранилища призваны обеспечить надежное хранение жизненно важной информации компании на протяжении всей ее жизнедеятельности. Но поскольку любой несанкционированный доступ в подобное хранилище может повлечь за собой серьезные финансовые потери, к тому же, форматы надежного долгосрочного хранения плохо соответствуют требованиям быстрого своевременного информационного обслуживания, применяются так называемые витрины данных, содержащие требуемые подмножества данных из хранилища. При этом четкой единой прописанной архитектуры хранилищ данных и витрин не существует, часто в компаниях присутствуют дублирующие ХД или же, наоборот, многослойные витрины при единственном функционирующем хранилище. Однако существуют несколько наиболее эффективных (и, как следствие, наиболее часто встречающихся) архитектур ХД.

Уровни архитектуры ХД

Несмотря на то, что в зависимости от вида архитектуры ХД, в ней могут отсутствовать те или иные элементы, в любой из них можно выделить шесть уровней.

На первом уровне представлены источники данных, которыми могут являться унаследованные и транзакционные системы, разрозненные файлы различных форматов, архивы и любые другие источники структурированной информации. Второй уровень представляет собой систему извлечения, преобразования и загрузки информации, основная задача которой – извлечь информацию из различных систем, представить их в неком согласованном виде и произвести их загрузку в хранилище. Такой функционал предполагает высокую пропускную способность программно-аппаратного комплекса и его высокую вычислительную производительность.

Следующий уровень призван должным образом обеспечить высоконадежное хранение информации, защищенное от любого несанкционированного доступа. На этом же уровне располагаются оперативный склад информации (обеспечивает максимально оперативный доступ к данным) и зона временного хранения (требуются в случаях реализации специфических бизнес-процессов). Четвертый уровень посвящен распределению данных. Системы этого уровня проводят выборку, реструктуризацию, а также доставку данных, извлеченных из единого ХД (в этом их отличие от систем второго уровня, на котором данные извлекаются из множества разрозненных внешних источников).

Пятый уровень – это уровень предоставления данных. Здесь происходит отделений функций хранения от функций обслуживания разнообразных задач.

На шестом уровне, посвященном бизнес-приложениям, представлены сценарные расчеты и статистический анализ, многомерный анаиз, средства планирования и т.д.

Виртуальные ХД

Идея виртуализации хранилищ данных не нова, но, как давно известно, все новое – это хорошо забытое старое. Стремление создать виртуальные хранилища основывается на следующих основных идеях:

1. Снижение расходов. Исчезает необходимость финансовых затрат на покупку дорогостоящего оборудования для организации ХД. Нет необходимости содержать собственный высококвалифицированный ит-персонал для обслуживания хранилища или отдавать этот функционал на ит-аутсорсинг. Не нужны специально оборудованные серверные помещения с дорогостоящими системами охлаждения и пожаротушения. Затраты на ит-услуги минимальны.
2. Возможность максимально оперативно получать информацию. Поскольку нет необходимости в посредниках, все данные могут быть доставлены к конечным пользователям максимально быстро.
3. Возможность самостоятельной разработки конфигурации в соответствии с нуждами компании и ее отдельных сотрудников.

Рекомендованная архитектура корпоративного хранилища данных

Архитектура любого корпоративного ХД должна выполнять определенный функционал, соответствовать определенным требованиям и решать определенные задачи. Поскольку у каждой компании свои специфические потребности и пожелания в этой сфере, не существует универсального решения для корпоративного ХД, однако можно сформулировать некие универсальные принципы в отношении хранилищ данных.

Во-первых, это принцип обеспечения высокого качества данных, проявляющее в полной, точной и воспроизводимой информации, доставленной в срок в нужное место.

Во-вторых, это принцип надежности и защищенности хранения данных, поскольку ценность информации в хранилище может быть сопоставима со стоимостью самой компании на рынке.

В-третьих, должна обеспечивать доступность данных для сотрудников в соответствии с их уровнем доступа и в объеме, достаточном для исполнения ими служебных обязанностей.

В-четвертых, должен соблюдаться принцип единого смыслового пространства.

И, наконец, в-пятых, должны быть по максимуму устранены конфликты в кодировках информации в различных источниках.