i Большие данные на службе у Audi

Тема в разделе "Новости Audi", создана пользователем AudiNews, 7 май 2018.

  1. AudiNews

    AudiNews Пол: Мужской Audi-Club Info

    2 мар 2011
    4.248
    А4
    Для сбора различных параметров функционирования своих автомобилей и производственных предприятий немецкий автопроизводитель использует целый ряд технологий больших данных с открытым кодом.

    Чтобы заложить основы для сбора растущего объема данных новейших моделей автомобилей, а также параметров функционирования своих производственных предприятий, компания Audi внедряет у себя ряд новых технологий с открытым кодом.


    [​IMG]

    Выступая перед полным залом на конференции Dataworks в Берлине, два главных архитектора данных Audi Матиас Грауниц и Карстен Хербе рассказали о построении архитектуры хранения данных, поступающих из новых источников, и о тех уроках, которые им удалось извлечь в ходе этого процесса.

    С 2015 года компания Audi, являющаяся крупным клиентом Hadoop, хранит данные в Hadoop Distributed File System (HDFS). «Начав с небольшого кластера в конце 2015 года, мы вместе с клиентами изучали возможность построения и запуска системы, которая отвечала бы предъявляемым к ней бизнес-требованиям, – сообщил Грауниц. – В кластере на базе Hortonworks Data Platform (HDP) имелось четыре узла, 96 ядер и 160 Тбайт пространства хранения».

    Сегодня в компании развернуты производственный кластер Hadoop, имеющий 1 петабайт пространства хранения, 6 Тбайт оперативной памяти, 12 узлов и 288 ядер. Производственный кластер Kafka оснащен четырьмя узлами, 128 Гбайт оперативной памяти и 16 Тбайт памяти хранения.

    Все это, впрочем, отнюдь не означает, что интеграция была беспроблемной. «Внедрение Hadoop в существующую производственную среду сопровождалось определенными сложностями, – подчеркнул Хербе. – Требовалось интегрировать все это с бизнес-системами и обеспечить соблюдение мер безопасности».

    Схема внедрения была разбита на две части: первая касалась отверточной сборки в процессе производства, а вторая – использования данных, собираемых блоками управления автомобилем.

    В плане сборки «хотелось убедиться в том, что все производственные мощности функционируют хорошо, и добиться предотвращения возникновения проблем за счет своевременного технического обслуживания».

    Что же касается данных автомобилей, каждая новая модель Audi передает в хранилище HDFS около 25 тыс. беспроводных сигналов, которые в дальнейшем анализируются персоналом компании.

    Средства бизнес-анализа (в частности, Tableau) предоставляют сотрудникам основных подразделений доступ к собранной информации и помогают принимать решения при проектировании будущих моделей.

    «Многие бизнес-подразделения хотят извлекать из этих данных полезную информацию, поэтому нам приходится переосмысливать процесс владения и управления данными, определять модель доменов данных с четким разделением ответственности в каждом из доменов, – пояснил Грауниц. – Предоставление каждого из совместно используемых сервисов в среде с множественной арендой требует от нас управления жизненным циклом каждого из сервисов и четкого взаимодействия с проектами, использующими эти сервисы. Естественно, необходимо также вырабатывать соглашения об уровне сервиса, обеспечивать круглосуточную готовность и дифференцировать циклы разработки».

    Сначала технология была опробована на данных тестовых автомобилей и только после этого внедрена в новейшей модели A8.

    Грауниц признает, что сейчас компании не хватает облака. Все, что уже было построено, развернуто во внутренней ИТ-инфраструктуре компании и в ее частном облаке.

    «Нормативные требования заставляют нас приближать средства хранения к автомобилям и источникам происхождения данных, – указал он. – В настоящее время реализуется вторая инициатива, где данные сначала будут размещаться в облачной среде, а уже затем на основе гибридного подхода перемещаться на нашу территорию, поскольку все бизнес-процессы протекают непосредственно в нашей штаб-квартире и ее филиалах».

    Для решения этой задачи выбор Audi пал на коннектор HDFS независимого поставщика Confluent, с помощью которого данные через конвейеры Kafka перемещаются в HDFS. Что же касается каталогов метаданных, они располагаются в облаке, поскольку их местоположение не зависит от конкретного места хранения данных.

    Что делают с этими данными сотрудники Audi, мы пока не знаем, но будущие модели несомненно будут выстраиваться таким образом, чтобы данные можно было бы обрабатывать в ту же секунду, в которую они были зафиксированы блоками управления A8.

    Computerworld.ru
     

    Вложения:

    • i_800.jpg
      i_800.jpg
      Размер файла:
      45 КБ
      Просмотров:
      3
    advert нравится это.
Загрузка...

Поделиться этой страницей