Конвергенция науки о данных и разработки ПО
Извлечение ценности из данных представляет собой масштабную инициативу, реализация которой требует полной поддержки и сотрудничества на уровне команд. Для решения этой задачи компании в массовом порядке привлекают квалифицированных специалистов по работе с данными. Согласно отчету IBM, в связи с ежегодным ростом спроса на специалистов по обработке информации, разработчиков и инженеров данных к 2020 году количество вакансий в этой области достигнет 700 тысяч.
Однако одной лишь статистики рынка труда недостаточно для полного понимания того, что происходит в компаниях, которые используют подход, основанный на данных. В результате увеличения объема данных существующая структура должностей в разных отраслях промышленности уже изменилась и продолжает меняться. Специалисты по обработке информации и разработчики ПО работают друг с другом более тесно, чем когда-либо, что еще раз подтверждает тот факт, что взаимопроникновение сфер производства программного обеспечения и анализа данных все больше увеличивается.
Специалистам по обработке информации не требуется быть абсолютными экспертами в области программирования благодаря новым инструментам по работе с данными на основе облачных технологий. Использование облака в качестве общей платформы обеспечивает предоставление нужной информации нужным людям в нужное время, исключая неэффективные рабочие процессы, предполагающие большое количество участников и ручных операций.
Использование облачных сервисов с целью создания удобной и продуктивной платформы для совместной работы означает, что специалисты по обработке и анализу массивов информации могут сосредоточиться на своих ключевых навыках для получения ценной аналитической информации и полезных знаний на основе данных. Эти новые инструменты позволяют специалистам по обработке и анализу данных взглянуть на свою роль, как на работу, которую они выполняют параллельно со своими коллегами-разработчиками, так же, как и они, предоставляя ценные бизнес-возможности конечным пользователям, стремящимся использовать преимущества растущего объема данных.
Слияние техники и технологии
Техника
Специалисты по обработке информации и разработчики отвечают за разные части одного и того же рабочего процесса. Если первые изучают данные с целью получения ценной аналитической информации, то вторые используют эту информацию для автоматизации рабочего процесса и создания приложений. При этом и те, и другие работают над достижением общей цели, которая заключается в создании хорошо спроектированных приложений и эффективнее всего может быть достигнута посредством хорошо организованного и тесного сотрудничества.
Механика процесса создания приложений включает элементы экспериментирования. Например, при разработке приложения специалисты по обработке информации имеют дело с сырыми данными и занимаются построением аналитических моделей для получения инсайтов на основе данных. Эта аналитическая информация затем передается команде разработчиков, которая преобразует полученные модели данных в функционал для конечного пользователя, используя наиболее подходящий для данного приложения язык программирования. Получается непрерывный процесс, ориентированный на создание максимально практичного приложения.
Однако более тесное взаимодействие между участниками процесса является критически важным фактором для того, чтобы полностью использовать потенциал большого объема доступных сегодня данных и сделать процесс создания приложения как можно более эффективным. Такое взаимодействие может быть достигнуто за счет использования быстрых и гибких методов работы, а также облачной платформы для объединения рабочего пространства специалистов по обработке информации и разработчиков в рамках проекта. Благодаря этому рабочие данные и предварительные результаты становятся доступны обеим сторонам процесса. Это ускоряет обмен обратной связью и обеспечивает совместное участие в проекте на протяжении всего процесса его разработки. Вторым ключевым фактором является коммуникация. Несмотря на важность использования инструментов эффективного обмена информацией, необходимо посредством новых каналов коммуникации обеспечить более регулярный обмен информацией и обратной связью.
При этом по-прежнему остается открытым вопрос о том, как в действительности специалистам по обработке информации и разработчикам систематизировать сложные данные, используя облачные сервисы, чтобы конечные пользователи бизнес- и личных приложений получали точные данные как можно быстрее.
Технологии
Одним из открытых инструментов, способствующих более быстрой доставке данных посредством взаимодействия в облачных средах, является Jupyter notebook. Используя специальные «блокноты», пользователи могут в одном месте записывать и обмениваться кодами на разных языках программирования, таких как Python, R, Scala и Node.js. Информацию можно загружать и сохранять, используя любую облачную базу данных, проверять и обрабатывать для дальнейшего применения при прогнозировании с помощью моделей машинного обучения. Результаты можно публиковать напрямую из блокнота, прибегая к визуализации данных и программных интерфейсов приложения (API). Данная технология позволяет участникам проекта работать с наборами данных параллельно, что экономит время по сравнению с традиционной петлей обратной связи, когда приходится переводить код на разные языки программирования и постоянно передавать друг другу полученные результаты.PixieDust – это общедоступный и эффективный компонент, который можно добавить к блокнотам для ускорения процесса изучения данных. PixieDust позволяет специалистам по обработке информации, а также разработчикам быстро осуществлять визуализацию данных без какого-либо кода и публиковать их в виде отдельного веб-приложения. Это значит, что данные становятся доступны даже конечным пользователям, не являющимися техническими специалистами. Визуальное представление данных, в отличие от кодов и чисел, позволяет с легкостью выявлять возможности для бизнеса.
Использование данных для принятия бизнес-решений
Объединение навыков специалистов по обработке информации и разработчиков, а также использование более высокотехнологичных инструментов, таких как Jupyter notebooks и PixieDust, расширяют возможности для инноваций. Например, в области метеорологических данных.
Метеорологические данные можно объединить и проанализировать совместно со многими другими наборами данных, полученными из различных источников, для принятия обоснованных бизнес-решений. Например, погодные условия оказывают влияние на дорожную ситуацию, и метеорологические данные можно использовать для создания системы, прогнозирующей вероятность возникновения пробок на дорогах и дорожно-транспортных происшествий.
Метеорологические данные прошлых периодов можно соотнести с данными об интенсивности движения, дорожно-транспортных происшествиях и качестве дорожного покрытия для разработки прогнозирующей модели машинного обучения. Такая модель может публиковаться в виде API и использоваться совместно с данными метеорологического прогноза с целью создания приложения по безопасности дорожного движения, которое позволит соответствующим службам оценить возможности повышения безопасности на дорогах.
Творческий и инновационный потенциал становится очевидным, когда мы упрощаем способы получения ценной аналитической информации и совместно определяем области его использования, изучая ценность данных как для пользователей, так и для бизнеса.
Инновации как результат сотрудничества
Облачные решения продолжают активно развиваться, и вместе с ними появляются широкие возможности для изучения большего объема данных и более быстрого получения преимуществ в результате их обработки. Потенциал таких решений способствует установлению более тесной связи между функционалом специалистов по обработке информации и разработчиков, которые изначально работали достаточно обособленно друг от друга, прежде всего, по причине использования разных инструментов и языков программирования. Однако этой проблемы больше не существует, благодаря наличию инструментов, которые можно с легкостью использовать для оптимизации и повышения гибкости рабочих процессов. С их помощью специалисты по обработке информации и разработчики получили в свое распоряжение ресурсы и возможности для более быстрого создания инновационных продуктов, направленных на решение конкретных задач.
Смотреть все статьи по теме "Большие данные (Big data)"
Опубликовано 19.01.2018