Для сбора различных параметров функционирования своих автомобилей и производственных предприятий немецкий автопроизводитель использует целый ряд технологий больших данных с открытым кодом. Чтобы заложить основы для сбора растущего объема данных новейших моделей автомобилей, а также параметров функционирования своих производственных предприятий, компания Audi внедряет у себя ряд новых технологий с открытым кодом. Выступая перед полным залом на конференции Dataworks в Берлине, два главных архитектора данных Audi Матиас Грауниц и Карстен Хербе рассказали о построении архитектуры хранения данных, поступающих из новых источников, и о тех уроках, которые им удалось извлечь в ходе этого процесса. С 2015 года компания Audi, являющаяся крупным клиентом Hadoop, хранит данные в Hadoop Distributed File System (HDFS). «Начав с небольшого кластера в конце 2015 года, мы вместе с клиентами изучали возможность построения и запуска системы, которая отвечала бы предъявляемым к ней бизнес-требованиям, – сообщил Грауниц. – В кластере на базе Hortonworks Data Platform (HDP) имелось четыре узла, 96 ядер и 160 Тбайт пространства хранения». Сегодня в компании развернуты производственный кластер Hadoop, имеющий 1 петабайт пространства хранения, 6 Тбайт оперативной памяти, 12 узлов и 288 ядер. Производственный кластер Kafka оснащен четырьмя узлами, 128 Гбайт оперативной памяти и 16 Тбайт памяти хранения. Все это, впрочем, отнюдь не означает, что интеграция была беспроблемной. «Внедрение Hadoop в существующую производственную среду сопровождалось определенными сложностями, – подчеркнул Хербе. – Требовалось интегрировать все это с бизнес-системами и обеспечить соблюдение мер безопасности». Схема внедрения была разбита на две части: первая касалась отверточной сборки в процессе производства, а вторая – использования данных, собираемых блоками управления автомобилем. В плане сборки «хотелось убедиться в том, что все производственные мощности функционируют хорошо, и добиться предотвращения возникновения проблем за счет своевременного технического обслуживания». Что же касается данных автомобилей, каждая новая модель Audi передает в хранилище HDFS около 25 тыс. беспроводных сигналов, которые в дальнейшем анализируются персоналом компании. Средства бизнес-анализа (в частности, Tableau) предоставляют сотрудникам основных подразделений доступ к собранной информации и помогают принимать решения при проектировании будущих моделей. «Многие бизнес-подразделения хотят извлекать из этих данных полезную информацию, поэтому нам приходится переосмысливать процесс владения и управления данными, определять модель доменов данных с четким разделением ответственности в каждом из доменов, – пояснил Грауниц. – Предоставление каждого из совместно используемых сервисов в среде с множественной арендой требует от нас управления жизненным циклом каждого из сервисов и четкого взаимодействия с проектами, использующими эти сервисы. Естественно, необходимо также вырабатывать соглашения об уровне сервиса, обеспечивать круглосуточную готовность и дифференцировать циклы разработки». Сначала технология была опробована на данных тестовых автомобилей и только после этого внедрена в новейшей модели A8. Грауниц признает, что сейчас компании не хватает облака. Все, что уже было построено, развернуто во внутренней ИТ-инфраструктуре компании и в ее частном облаке. «Нормативные требования заставляют нас приближать средства хранения к автомобилям и источникам происхождения данных, – указал он. – В настоящее время реализуется вторая инициатива, где данные сначала будут размещаться в облачной среде, а уже затем на основе гибридного подхода перемещаться на нашу территорию, поскольку все бизнес-процессы протекают непосредственно в нашей штаб-квартире и ее филиалах». Для решения этой задачи выбор Audi пал на коннектор HDFS независимого поставщика Confluent, с помощью которого данные через конвейеры Kafka перемещаются в HDFS. Что же касается каталогов метаданных, они располагаются в облаке, поскольку их местоположение не зависит от конкретного места хранения данных. Что делают с этими данными сотрудники Audi, мы пока не знаем, но будущие модели несомненно будут выстраиваться таким образом, чтобы данные можно было бы обрабатывать в ту же секунду, в которую они были зафиксированы блоками управления A8. Computerworld.ru