IBM направляет 3500 специалистов на развитие Apache Spark
Корпорация IBM объявила, что направит 3500 исследователей работать над Apache Spark, который является проектом с открытым кодом, предназначенным для обработки “больших данных”. Для усиления компоненты машинного обучения компания передаст в свободное пользование свою технологию SystemML. Саму систему Apache Spark специалисты IBM провозглашают операционной системой для аналитики.
Сервис Apache Spark (sparc.apache.org) ставит целью превзойти популярную технологию MapReduce по скорости в десятки раз. На сайте демонстрируется 100-кратное превосходство над MapReduce при вычислении логистической регрессии на кластерах с использованием только оперативной памяти, и 10-кратное при использовании жестких дисков. В проекте участвует более 400 разработчиков из 50 компаний.
IBM намерена обучить еще тысячи специалистов из компаний-клиентов разрабатывать решения для обработки «больших данных», с прицелом на данные, поступающие от m2m (т. е. измеренные в реальном времени миллионами устройств, наподобие счетчиков горячей и холодной воды) на платформе Apache Spark. При этом компания будет взаимодействовать с Databrics – коммерческой структурой, уже внедряющей Apache Spark.
Смотреть все статьи по теме "Большие данные (Big data)"
Источник: Пресс-служба IBM