Вернуться на главную страницу выпуска>>
На вопросы отвечает Алексей Арустамов, директор BaseGroup Labs.
- В чем принципиальное отличие концепции Big Data от традиционного подхода BI? Можно ли говорить о сформировавшейся концепции или пока Big Data – это больше маркетинговый термин?
- Под BI чаще всего подразумевают консолидацию, отчетность, визуализацию, что является крайне узким взглядом на аналитику вообще. Целью анализа является не только просмотр данных, но и возможность моделировать ситуацию, прогнозировать, оптимизировать.
Если говорить о сравнении BI, ограниченного визуализацией, и Big Data, то разница большая, т.к. данных много и просмотреть их физически невозможно. Если же иметь полноценную аналитику с применением Data Mining, то разница не существенная. Дело в том, что данных всегда было много. Data Mining потому-то и возник, что нельзя большие объемы данных охватить одним взглядом. Значит нужно переходить в какому-то другому способу работы с ними, а единственный известный науке способ – построение моделей.
Раньше "много" – это было мегабайты данных, потом гига, теперь тера… И уже не один десяток лет точно так же задумывались над способами обработки объемов данных, которые трудно переварить. Методы борьбы были такие же как сейчас: наращивание аппаратной мощности, параллельные и распределенные вычисления, использование эвристик для минимизации бесполезных расчетов и прочее. Думаю, что Big Data это больше маркетинговый термин, что тоже, наверно, неплохо. Проблему, которая уже была, назвали, теперь можно о ней трубить и рассказать, как ее можно решить. Пока проблема не названа и не раскручена, вроде как, и не понятно зачем ее надо решать. Все компании уже десятки лет пользуются хостингом, например, сайтов, теперь то же самое называется облачным сервисом. В результате получили огромный выигрыш, ради которого маркетинговые термины и создаются, теперь в бюджетах компаний есть строка «на облачные сервисы». Так что, все нормально.
- Где вообще заканчивается просто объем данных и начинается Big Data? Исходя из чего компании можно определить потребность в Big Data?
- Хороший вопрос! Задайте его тем, кто много говорит о Big Data. Сейчас никто не может толком объяснить: «большие данные» - это сколько? Все объяснения крутятся вокруг качественных и довольно размытых характеристик, что большие Big Data – это когда сложно обработать имеющимися средствами. Я не могу дать внятное объяснение, что нужно понимать под термином Big Data. В моем понимании, если производительности текущих систем не хватает, значит нынешний объем данных для текущей задачи и является большим. Многие упускают из виду способ обработки данных. Считается, что все зависит только от объема данных, но это не так. Если речь идет о простом подсчете итогов, то терабайты данных – это не так уж и много, можно рассчитывать «на лету». А вот попробуйте построить сложную модель, например, прогноз спроса с учетом влияния сотни факторов или построить модель оптимизации производства, тут даже обработка миллионов записей может занять очень много времени.
- Можно ли говорить о сформировавшемся рынке решений Big Data?
- Думаю, что рынок подобных решений был давно. Любая аналитическая платформа изначально претендует на то, чтобы обрабатывать большие объемы данных. Просто растет производительность систем, собираются программно-аппаратные комплексы. Со временем количество переходит в качество. Одно ясно, что на сегодня это очень дорогие решения. Рынок есть, но очень узкий.
- В какую сторону движется рынок – универсальных или специализированных решений Big Data?
- Рынок Big Data ничем не отличается от любого другого рынка. Найдется место и для универсальных, и для специализированных систем.
- С какими системами необходимо интегрировать решение Big Data, и в чем основные сложности такой интеграции?
- В идеале с любыми, где требуется принятие решений на основе анализа больших объемов данных. Очень много данных генерируют датчики, сайты, биллинговые системы, кассовые аппараты. Наиболее очевидные области, где требуется такая обработка - это взаимодействие с клиентами, оптимизация цепочек поставок, риски, в общем, все то, где сейчас используется Data Mining. Так что надо интегрировать с CRM, ERP-системами, интернет-магазинами, порталами… В общем, потенциально со всеми системами сбора данных компании.
- По каким сценариям в ближайшие годы будут развиваться рынки Big Data в западных странах и в России?
- Как я говорил ранее, я не вижу никаких существенных отличий рынка Big Data от любого другого. Будет как везде. От больших ожиданий и уникальных, дорогих проектов через разочарования к типовым проектам за вменяемые суммы.
***
BaseGroup Labs – профессиональный поставщик программных продуктов и решений в области анализа данных. Мы специализируемся на разработке систем для глубокого анализа данных, охватывающих вопросы сбора, консолидации, очистки данных, построения моделей и визуализации.
Подробная информация www.basegroup.ru