Версия для печати
Преображение рынка СУБД для хранилищ данных
22 марта 2013 В прошлом году на рынке СУБД для построения хранилищ данных (Data Warehouse Database Management System) произошли серьезные изменения. Причем закономерные, связанные главным образом с феноменом больших данных, отмечают аналитики Gartner.Все больше компаний заинтересовано в создании информационных платформ для принятия решений. Эксперты подчеркивают, что за рассматриваемый период исключительно много организаций впервые прибегло к хранилищам данных, тем самым увеличив спрос на профессиональные услуги и вызвав заметные изменения в расстановке сил поставщиков. Как результат, рост этого сегмента корпоративного ПО в прошлом году (по прогнозу) должен достигнуть отметки 10%, и это притом, что сложную экономическую обстановку в мире никто не отменял.
Логический шаг в сторону больших данных
Главной тенденцией рынка СУБД для построения хранилищ данных уже второй год подряд выступает концепция логических хранилищ (иначе — гибридных). Она была предложена в 2011 г. вице-президентом по исследованиям Gartner Марком Бейером (Mark A. Beyer) после почти двухлетнего наблюдения за этим явлением. Концепция логических хранилищ данных охватывает репозитории, технологии интеграции/виртуализации данных, распределенные методы обработки, с помощью которых рядовые пользователи могут получать доступ к извлеченным из разных источников консолидированным данным без потребности в обращении к ИТ-специалистам или разработчикам.
«Ключевой становится возможность объединения данных из двух и более источников и предоставления доступа к ним через единую точку входа, — утверждает Марк Бейер. — Как результат, обеспечивается легкий, широкий доступ к данным, позволяющий делать процесс принятия решений более глубоким и быстрым». Такие поставщики, как Teradata, IBM, Oracle и др. уже предложили расширенные табличные механизмы, позволяющие брать в работу неструктурированные данные, находящиеся вне БД. В числе этих внешних источников — Hadoop-кластеры и NoSQL-решения.
Согласно Gartner, от 6 до 8% современных практиков уже реализовали комбинации технологий обработки больших данных, традиционных хранилищ и методов интеграции. Что интересно, на протяжении последних 20 лет менее 20% организаций были склонны к применению новейших архитектур за 5-7 лет до их широкого распространения. Приход логических хранилищ данных — и связанных с ними наборов практик для построения хранилищ данных и использования аналитических систем — рушит это правило. Аналитики отмечают, что новая архитектура существенно повлияла на видение заказчиков, многие из которых назвали ее предпочтительной для своих будущих проектов. Все идет к тому, что в будущем большие данные станут привычным явлением, а логические хранилища данных будут выступать лучшей практикой для работы с ними.
Следующей по степени выраженности тенденцией, связанной с большими данными, является начало применения HCatalog для управления метаданными. Подсистема управления хранением HCatalog, предложенная Yahoo/Hortonworks и сегодня развивающаяся как самостоятельный проект, представляет собой репозиторий метаданных для совместного использования компонентами платформы Hadoop (хранилищем данных Hive, набором аналитических инструментов Pig и вычислительными механизмами Hadoop MapReduce). Компании ParAccel и Teradata интегрировали свои решения с HCatalog для связи платформы Hadoop с корпоративными хранилищами данных (вместо создания коннекторов и процедур импорта). Это хорошее свидетельство расширения поддержки HCatalog, и, по мнению экспертов, в перспективе данный процесс будет лишь усиливаться.
Растет сфера применения СУБД с in-memory-технологиями. Сегодня на рынке представлено все их разнообразие: c механизмами хранения по столбцам, по строкам или двойным; с эксклюзивным хранением в основной памяти или в гибридных конфигурациях с дисковыми накопителями. Аналитики называют их наличие настоятельной потребностью для конкурентоспособности поставщиков на рынке хранилищ данных, и упрекают IBM, пионера данной концепции (ko.com.ua/71073), за выход из общего строя. Между тем, эксперты Gartner отмечают и изрядную долю шумихи, поднятой вокруг in-memory, причем главным образом компанией SAP.
Наблюдается популяризация языка статической обработки данных R. В настоящий момент его поддержка обеспечена такими поставщиками, как Exasol, Oracle и SAP. Oracle предлагает коннектор для работы с R, передающий информацию между средой данного языка и СУБД в виде запросов PL/SQL. В то время как Exasol и SAP интегрировали R в свои среды разработки и выполнения запросов. Предполагается, что R в нынешнем году получит еще большее распространение — в сферах хранилищ данных, бизнес-аналитики и больших данных.
Еще одна тенденция, подчеркнутая в документе, состоит в появлении различных вариантов приобретения систем управления хранилищами данных. Опции, предлагаемые сегодня поставщиками, включают: лицензии на традиционно развертываемое ПО, референсные архитектуры (решения с пошаговыми инструкциями по выбору оборудования, процедуре установки и настройки), аппаратно-программные комплексы, облачные решения типа Platform-as-a-Service), полноценные управляемые услуги (когда вендор предоставляет платформу, занимается мониторингом и администрированием инфраструктуры хранилища).
В случае традиционных внедрений поставщики при ценообразовании продуктов могут учитывать количество серверов, процессорных ядер и единиц данных (как правило, терабайт). Иногда они даже позволяют потребителям самим выбирать модель, которая им больше подходит.
Многие игроки рынка предлагают сразу несколько различных вариантов получения платформ для построения хранилищ данных, и авторы исследования указывают, что чем их больше, тем лучше. Если при этом они еще и допускают безболезненный переход заказчиков от одного подхода к развертыванию ПО к другому и смену моделей ценообразования, то увеличивают свои шансы на успех. Те же, кто ограничивается только одним подходом, рискуют выпадать из рассмотрения потенциальными клиентами.
Особо отмечаются поставщики, располагающие специфичными для отраслей моделями данных, это HP и Oracle, а также Microsoft (за счет поддержки партнерских организаций). Аналитики высоко оценивают важность этой характеристики в предложениях разработчиков СУБД, так как она позволяет быстро «подхватить» лучшие практики и ускорить процесс построения хранилища данных.
Лидерами становятся...
По итогам прошлого года в зону рыночных лидеров попало шесть компаний: EMC, Microsoft, SAP, Oracle, IBM и Teradata. Последняя — настоящий старожил «хранилищного бизнеса» (свыше 30 лет на рынке), у нее развитое продуктовое портфолио, широкое присутствие в вертикальных рынках, и свыше 1200 клиентов, отличающихся масштабом и географией. В 2011 г. Teradata поглотила компанию Aster, получив в свое распоряжение аналитическую платформу AsterData, обладающую поддержкой MapReduce и технологиями анализа неструктурированных и разноструктурированных данных. В прошлом году она предложила возможность использования SQL-запросов для извлечения данных, хранимых в распределенной файловой системе Hadoop (HDFS). Технология получила название Aster SQL-H, она реализована в виде специализированного аппаратно-программного комплекса Teradata Aster MapReduce Appliance.
Видение потребностей рынка у Oracle менее полное, чем у Teradata, зато с точки зрения возможностей продвижения продуктов обошла ее, а заодно и остальных игроков рынка. «Многие организации, для которых хранилища данных — нечто новое, отдают предпочтение системам от Oracle, поскольку считают, что компания предлагает незамысловатые специализированные устройства, в то время как у Teradata и IBM решения слишком развитые и, следовательно, более сложные для понимания, — отмечает Марк Бейер. — А ведь платформа Exadata прогрессивна в той же мере, что и другие... Маркетинг имеет слабую связь с действительностью».
По итогам прошлого года серьезно укрепила позиции SAP, главным образом за счет роста реализации SAP Sybase IQ, плотно вошедшей в канал продаж. Напомним, что данный продукт — первая СУБД с колоночным хранением данных, у которой на данный момент насчитывается свыше 2000 пользователей по всему миру. В 2011 г. вместе с релизом 15.4 система получила поддержку больших данных, возможность создания раздельно управляемых хранилищ и обработки виртуальных рабочих единиц. Конечно, свою лепту в успех немецкой компании внесла и активно развиваемая ею in-memory СУБД HANA. Благодаря агрессивной (и справедливости ради скажем — шумной) стратегии SAP удалось увеличить клиентскую базу HANA с 500 в июне до 1000 предприятий в конце прошлого года.
Бросается в глаза серьезное продвижение Microsoft в зоне лидеров. В 2011 г. Microsoft предложила аппаратно-программный комплекс SQL Server Parallel Data Warehouse (PDW) c архитектурой массово-параллельной обработки данных (Massively Parallel Processing, MPP). И хотя его старт был довольно медленным, за последние 18 месяцев его клиентская база выросла до значительных 100 клиентов. Продукт получил уже три обновления и выход его второй версии не за горами. В ней PDW получит новый компонент PolyBase, благодаря которому MPP-движок системы сможет взаимодействовать с узлами HDFS. Таким образом, будет воплощена реальная параллельная обработка SQL-запросов на данных Hadoop.
Также в отчете добрым словом упоминаются xVelocity, in-memory-технология поколоночного анализа данных, сквозная поддержка которой добавлена в ПО SQL Server 2012, SQL Server Analysis Services и PowerPivot; появление табличного режима работы SQL Server Analysis Services; и StreamInsight, перспективный движок класса Complex Event Processing, удовлетворяющий скоростным требованиям обработки больших объемов данных.
Наконец, следующий крупный релиз SQL Server Enterprise будет оснащен in-memory OLTP-движком (кодовое название проекта Hekaton). Если добавить к этому разнообразие вариантов получения в распоряжение данной СУБД: лицензии на ПО, решения референсных архитектур (SQL Server 2012 Fast Track Reference Architecture), готовые аппаратно-программные комплексы, облачный сервис на базе платформ Microsoft и Amazon.com (в конфигурациях Infrastructure-as-a-Service и Platform-as-a-Service), перспективы у Редмондского гиганта однозначно радужные, отмечают аналитики.
Источник: ko.com.ua
Логический шаг в сторону больших данных
Главной тенденцией рынка СУБД для построения хранилищ данных уже второй год подряд выступает концепция логических хранилищ (иначе — гибридных). Она была предложена в 2011 г. вице-президентом по исследованиям Gartner Марком Бейером (Mark A. Beyer) после почти двухлетнего наблюдения за этим явлением. Концепция логических хранилищ данных охватывает репозитории, технологии интеграции/виртуализации данных, распределенные методы обработки, с помощью которых рядовые пользователи могут получать доступ к извлеченным из разных источников консолидированным данным без потребности в обращении к ИТ-специалистам или разработчикам.
«Ключевой становится возможность объединения данных из двух и более источников и предоставления доступа к ним через единую точку входа, — утверждает Марк Бейер. — Как результат, обеспечивается легкий, широкий доступ к данным, позволяющий делать процесс принятия решений более глубоким и быстрым». Такие поставщики, как Teradata, IBM, Oracle и др. уже предложили расширенные табличные механизмы, позволяющие брать в работу неструктурированные данные, находящиеся вне БД. В числе этих внешних источников — Hadoop-кластеры и NoSQL-решения.
Согласно Gartner, от 6 до 8% современных практиков уже реализовали комбинации технологий обработки больших данных, традиционных хранилищ и методов интеграции. Что интересно, на протяжении последних 20 лет менее 20% организаций были склонны к применению новейших архитектур за 5-7 лет до их широкого распространения. Приход логических хранилищ данных — и связанных с ними наборов практик для построения хранилищ данных и использования аналитических систем — рушит это правило. Аналитики отмечают, что новая архитектура существенно повлияла на видение заказчиков, многие из которых назвали ее предпочтительной для своих будущих проектов. Все идет к тому, что в будущем большие данные станут привычным явлением, а логические хранилища данных будут выступать лучшей практикой для работы с ними.
Следующей по степени выраженности тенденцией, связанной с большими данными, является начало применения HCatalog для управления метаданными. Подсистема управления хранением HCatalog, предложенная Yahoo/Hortonworks и сегодня развивающаяся как самостоятельный проект, представляет собой репозиторий метаданных для совместного использования компонентами платформы Hadoop (хранилищем данных Hive, набором аналитических инструментов Pig и вычислительными механизмами Hadoop MapReduce). Компании ParAccel и Teradata интегрировали свои решения с HCatalog для связи платформы Hadoop с корпоративными хранилищами данных (вместо создания коннекторов и процедур импорта). Это хорошее свидетельство расширения поддержки HCatalog, и, по мнению экспертов, в перспективе данный процесс будет лишь усиливаться.
Растет сфера применения СУБД с in-memory-технологиями. Сегодня на рынке представлено все их разнообразие: c механизмами хранения по столбцам, по строкам или двойным; с эксклюзивным хранением в основной памяти или в гибридных конфигурациях с дисковыми накопителями. Аналитики называют их наличие настоятельной потребностью для конкурентоспособности поставщиков на рынке хранилищ данных, и упрекают IBM, пионера данной концепции (ko.com.ua/71073), за выход из общего строя. Между тем, эксперты Gartner отмечают и изрядную долю шумихи, поднятой вокруг in-memory, причем главным образом компанией SAP.
Наблюдается популяризация языка статической обработки данных R. В настоящий момент его поддержка обеспечена такими поставщиками, как Exasol, Oracle и SAP. Oracle предлагает коннектор для работы с R, передающий информацию между средой данного языка и СУБД в виде запросов PL/SQL. В то время как Exasol и SAP интегрировали R в свои среды разработки и выполнения запросов. Предполагается, что R в нынешнем году получит еще большее распространение — в сферах хранилищ данных, бизнес-аналитики и больших данных.
Еще одна тенденция, подчеркнутая в документе, состоит в появлении различных вариантов приобретения систем управления хранилищами данных. Опции, предлагаемые сегодня поставщиками, включают: лицензии на традиционно развертываемое ПО, референсные архитектуры (решения с пошаговыми инструкциями по выбору оборудования, процедуре установки и настройки), аппаратно-программные комплексы, облачные решения типа Platform-as-a-Service), полноценные управляемые услуги (когда вендор предоставляет платформу, занимается мониторингом и администрированием инфраструктуры хранилища).
В случае традиционных внедрений поставщики при ценообразовании продуктов могут учитывать количество серверов, процессорных ядер и единиц данных (как правило, терабайт). Иногда они даже позволяют потребителям самим выбирать модель, которая им больше подходит.
Многие игроки рынка предлагают сразу несколько различных вариантов получения платформ для построения хранилищ данных, и авторы исследования указывают, что чем их больше, тем лучше. Если при этом они еще и допускают безболезненный переход заказчиков от одного подхода к развертыванию ПО к другому и смену моделей ценообразования, то увеличивают свои шансы на успех. Те же, кто ограничивается только одним подходом, рискуют выпадать из рассмотрения потенциальными клиентами.
Особо отмечаются поставщики, располагающие специфичными для отраслей моделями данных, это HP и Oracle, а также Microsoft (за счет поддержки партнерских организаций). Аналитики высоко оценивают важность этой характеристики в предложениях разработчиков СУБД, так как она позволяет быстро «подхватить» лучшие практики и ускорить процесс построения хранилища данных.
Лидерами становятся...
По итогам прошлого года в зону рыночных лидеров попало шесть компаний: EMC, Microsoft, SAP, Oracle, IBM и Teradata. Последняя — настоящий старожил «хранилищного бизнеса» (свыше 30 лет на рынке), у нее развитое продуктовое портфолио, широкое присутствие в вертикальных рынках, и свыше 1200 клиентов, отличающихся масштабом и географией. В 2011 г. Teradata поглотила компанию Aster, получив в свое распоряжение аналитическую платформу AsterData, обладающую поддержкой MapReduce и технологиями анализа неструктурированных и разноструктурированных данных. В прошлом году она предложила возможность использования SQL-запросов для извлечения данных, хранимых в распределенной файловой системе Hadoop (HDFS). Технология получила название Aster SQL-H, она реализована в виде специализированного аппаратно-программного комплекса Teradata Aster MapReduce Appliance.
Видение потребностей рынка у Oracle менее полное, чем у Teradata, зато с точки зрения возможностей продвижения продуктов обошла ее, а заодно и остальных игроков рынка. «Многие организации, для которых хранилища данных — нечто новое, отдают предпочтение системам от Oracle, поскольку считают, что компания предлагает незамысловатые специализированные устройства, в то время как у Teradata и IBM решения слишком развитые и, следовательно, более сложные для понимания, — отмечает Марк Бейер. — А ведь платформа Exadata прогрессивна в той же мере, что и другие... Маркетинг имеет слабую связь с действительностью».
По итогам прошлого года серьезно укрепила позиции SAP, главным образом за счет роста реализации SAP Sybase IQ, плотно вошедшей в канал продаж. Напомним, что данный продукт — первая СУБД с колоночным хранением данных, у которой на данный момент насчитывается свыше 2000 пользователей по всему миру. В 2011 г. вместе с релизом 15.4 система получила поддержку больших данных, возможность создания раздельно управляемых хранилищ и обработки виртуальных рабочих единиц. Конечно, свою лепту в успех немецкой компании внесла и активно развиваемая ею in-memory СУБД HANA. Благодаря агрессивной (и справедливости ради скажем — шумной) стратегии SAP удалось увеличить клиентскую базу HANA с 500 в июне до 1000 предприятий в конце прошлого года.
Бросается в глаза серьезное продвижение Microsoft в зоне лидеров. В 2011 г. Microsoft предложила аппаратно-программный комплекс SQL Server Parallel Data Warehouse (PDW) c архитектурой массово-параллельной обработки данных (Massively Parallel Processing, MPP). И хотя его старт был довольно медленным, за последние 18 месяцев его клиентская база выросла до значительных 100 клиентов. Продукт получил уже три обновления и выход его второй версии не за горами. В ней PDW получит новый компонент PolyBase, благодаря которому MPP-движок системы сможет взаимодействовать с узлами HDFS. Таким образом, будет воплощена реальная параллельная обработка SQL-запросов на данных Hadoop.
Также в отчете добрым словом упоминаются xVelocity, in-memory-технология поколоночного анализа данных, сквозная поддержка которой добавлена в ПО SQL Server 2012, SQL Server Analysis Services и PowerPivot; появление табличного режима работы SQL Server Analysis Services; и StreamInsight, перспективный движок класса Complex Event Processing, удовлетворяющий скоростным требованиям обработки больших объемов данных.
Наконец, следующий крупный релиз SQL Server Enterprise будет оснащен in-memory OLTP-движком (кодовое название проекта Hekaton). Если добавить к этому разнообразие вариантов получения в распоряжение данной СУБД: лицензии на ПО, решения референсных архитектур (SQL Server 2012 Fast Track Reference Architecture), готовые аппаратно-программные комплексы, облачный сервис на базе платформ Microsoft и Amazon.com (в конфигурациях Infrastructure-as-a-Service и Platform-as-a-Service), перспективы у Редмондского гиганта однозначно радужные, отмечают аналитики.
Источник: ko.com.ua
Дополнительно
Magic Quadrant for Data Warehouse Database Management Systems (January, 2013)Отчет компании Gartner на английском языке