Управление данными
Донат Фетисов, начальник отдела архитектуры и разработки Severstal Digital, — о построении платформы сбора и хранения данных и реализации на ее базе сервисов, позволяющих пересматривать бизнес-процессы и извлекать дополнительную выгоду.
Многообразие типов данных, большие объемы, скорость поступления телеметрии и необходимость ее обработки в реальном времени — все это делает особо актуальной задачу управления данными для платформы Промышленного интернета (IIoT). «Северсталь» в 2018 году создала такую платформу, начав на ее базе реализовывать интеллектуальные сервисы, приносящие быстрые и очевидные эффекты. Донат Фетисов, начальник отдела архитектуры и разработки Severstal Digital и один из докладчиков форума «Управление данными — 2019», рассказывает о подходах, выбранных для построения платформы, проблемах, с которыми приходится сталкиваться, и своих взглядах на вопросы управления данными.
Что представляет собой платформа Интернета вещей применительно к потребностям крупного промышленного холдинга? Каковы ее роль и задачи?
Стоит начать с причин создания этой платформы и связанных с ней ожиданий. Около трех лет назад, после появления термина «Индустрия 4.0», у руководства компании возник вопрос, можно ли вести бизнес более технологично и что можно сделать, используя современные технологии. К этому времени уже прошла волна хайпа вокруг Big Data, начинался всплеск интереса к Data Science. У нас очень много оборудования и различных сенсоров, поэтому есть возможность стать обладателями большого количества данных, порождаемых ими. Но этого не происходило — такие данные просто не хранили. Запрос бизнеса заключался в том, чтобы реализовать платформу для сбора и хранения данных и на ее базе создавать продукты, дающие возможность пересмотреть бизнес-процессы и извлекать дополнительную выгоду. Получение дополнительного финансового эффекта и стало основным KPI нашего департамента от внедрения машинного обучения в производстве.
Поскольку начинали с задачи сбора данных, потребовалось создать хранилище, которое позволит подстраиваться под любые требования и будет достаточно недорогим. Изначально не было известно точно, с какими данными придется столкнуться: предполагались временные ряды, но думали и про видео, и про обработку изображений. Опираясь на собственный опыт, я выбрал Apache Hadoop как самое простое решение. В каких-то случаях эта платформа может быть неоптимальной, но в целом позволяет защищенно и недорого хранить большие объемы данных.
Следующим этапом стал выбор, традиционный для многих, — уходить в облако или создавать собственную инфраструктуру. Проведя оценку на горизонте нескольких лет, мы выяснили, что облако при постоянно возрастающей нагрузке обойдется дороже. Основное достоинство облака — возможность справляться с пиковыми нагрузками, а у нас при накоплении данных ожидается экспоненциальный рост. Поэтому было решено инвестировать в собственные мощности. На проектирование и закупку оборудования ушел год. В 2018 году у нас появилось хранилище, где мы можем собирать любые данные.
Далее потребовалось обеспечить работу созданных моделей на данных, возникающих в реальном времени. Все производственные процессы имеют жесткие ограничения по времени, и нельзя, как в других отраслях, проводить расчеты раз в сутки. Все должно происходить «здесь и сейчас». Поэтому в рамках второго этапа используемые технологии были дополнены еще одним компонентом — защищенной очередью на базе Apache Kafka, позволяющей хранить события и иметь их «горячий» набор.
На этих двух компонентах — Hadoop и Kafka — и были получены первые эффекты, подтвердившие верность выбранного подхода.
Ранее вы работали в компаниях из других отраслей. Каковы особенности процесса управления данными в промышленности?
Основное отличие в том, что наши данные имеют плоскую структуру. Если говорить про пирамиду производственных систем, где внизу находятся датчики и SCADA, а наверху — ERP и аналитические платформы, то мы собираем данные с самого нижнего уровня. Там нет никакой структуры, все данные приходят в сыром виде. Это позволяет избирательно с ними работать, исследуя их и выявляя взаимосвязи между показаниями датчиков, что хорошо. Но минус заключается в том, что в этих параметрах требуется разобраться, понять, что они означают, изучить их влияние на целевые показатели. Нашим исследователям данных приходится тесно работать с производственниками, регулярно выезжая на предприятия. Ни одно внедрение не происходит без участия владельца продукта, который контролирует процесс разработки функционала и его принятие со стороны производства.
Таким образом, у нас нет структуры данных, но зато наблюдаются большое разнообразие и гигантские объемы. При этом изначально невозможно предсказать, какие из данных окажутся полезными.
Есть два радикальных подхода: одни собирают и хранят все данные подряд, а другие действуют более избирательно и накапливают только те данные, в которых изначально видят ценность...
Мы являемся убежденными сторонниками первого подхода. Во-первых, мы не всегда понимаем физику процессов и у нас нет опыта в металлургии — вся команда собрана с нуля из разных отраслей. Во-вторых, один и тот же агрегат может быть полем для реализации многих проектов: например, можно начать с предсказания его отказов и закончить оптимизацией подачи сырья. Если мы не будем собирать все параметры сразу, то что-то точно потеряем.
Когда позволяет «железо», лучше собирать всё. А мы его проектировали так, чтобы оба наших инструмента — и Kafka, и Hadoop — горизонтально масштабировались, причем максимально дешево. И пока еще не было ни одного прецедента, чтобы мы выбросили какие-то данные, потому что убедились в их бесполезности. Как показывает практика, только недостаточная масштабируемость используемых платформ заставляет людей экономить и ограничивать себя.
Да, хранение обходится в определенную сумму, это капитальные расходы. Но могу сказать, что закупленное оборудование себя уже окупило, так как для построения платформы используются самые бюджетные решения.
Какие подходы при создании платформы были выбраны? Речь идет о принципиальном использовании решений из разряда Open Source?
Плюсы и минусы открытых платформ хорошо известны. Мы были изначально нацелены на финансовый результат, для этого нам требовалось как можно больше данных при минимально возможных издержках. Поэтому мы выбрали максимально производительные и дешевые решения.
Open Source позволяет на первых этапах ничего не вкладывать, а если что-то пойдет не так, подход можно изменить без особых потерь. У меня как у архитектора был карт-бланш на выбор стека используемых технологий. «Северсталь» никак не участвовала в его согласовании, и нам удалось получить то, что мы считали необходимым. Это помогло быстрее стартовать, и я до сих пор доволен сделанным выбором. Потребовалось лишь добавить некоторые специфические инструменты там, где это необходимо. Например, когда появились требования по отказоустойчивости модели, мы развернули кластер Kubernetes, который позволяет иметь модель в постоянно рабочем состоянии.
Самое сложное для нас — приобретение и накопление экспертизы. На рынке сложилась категория «технологических» компаний, имеющих определенный имидж инноваторов, и при прочих равных условиях они имеют преимущество в борьбе за таланты. Мы двинулись в этом направлении всего несколько лет назад. Поэтому мы взяли курс на взращивание собственной экспертизы: «Северсталь» довольно специфична и с точки зрения используемых систем, и с точки зрения производственных процессов. Мы делаем все, чтобы наши люди были заинтересованы в собственном развитии. Кроме того, мы собираемся строить целую экосистему сервисов, которые будут давать экономический эффект, и совсем не хотелось бы при этом зависеть от внешних компаний.
С какими ключевыми проблемами управления данными вы сталкиваетесь?
Данные возникают «на местах» — в цехах на различных производствах. Нам приходится иметь дело с «функциональными колодцами»: каждое подразделение замкнуто, и, занимаясь данными, люди думают только о своих задачах. С каждым из них приходится договариваться — например, о том, что какие-то из данных не надо удалять, о том, что настройки сенсоров нельзя изменять без согласования. Люди учатся воспринимать данные как один из активов компании. Иначе необдуманное обращение с ними может повлиять на многие процессы в компании.
Кроме того, далеко не все источники готовы к интеграции, многие агрегаты являются довольно старыми и попросту не предполагают этого. Постепенно эта проблема решается как обновлением оборудования, так и добавлением новых модулей.
Можно сказать, что обе эти проблемы характерны для любого российского металлургического предприятия. Они преодолимы, но для этого нужно время.
За любой актив кто-то должен отвечать. Кто владеет данными у вас?
У нас этот вопрос окончательно не решен. Собрав большой объем данных, мы пока не договорились об их владельцах, потому что концентрировались на бизнес-результатах. Сейчас многие контрагенты на предприятиях, поставляющие нам данные, де-юре владельцами не являются, хотя многие организационные и процедурные вопросы с ними удалось решить. Это один из шагов, который нам предстоит сделать в ближайшее время. Как только люди станут владельцами и у них появится новый функционал, они смогут обеспечить его ресурсами и задумаются, в каком виде данные могут быть полезными и кому.
Разумеется, владельцами данных должны быть люди из бизнеса. Например, Chief Data Officer — не владелец данных. Это человек, отвечающий за то, чтобы данные приносили пользу бизнесу. У нас такой должности пока не существует, можно сказать, что в какой-то степени эта роль лежит на мне. А на местах должна идти речь о «стюардах данных» (data steward) — экспертах, которые понимают, где расположены данные, и готовы их предоставить.
Каким вы видите будущее создаваемой в «Северстали» платформы данных?
Я склонен считать, что централизованное озеро данных в том виде, который все хотят иметь, — не конечная точка развития. Если проводить аналогию с архитектурой приложений, то уже сейчас используется микросервисная архитектура, а следующим обсуждаемым шагом является «бессерверная» архитектура. Примерно так же можно поступать и с данными: необязательно их собирать физически в одном месте — достаточно иметь транспортную инфраструктуру, позволяющую получать данные в режиме времени, близком к реальному. Это позволит при необходимости обращаться к данным на местах, работать с ними и без задержек запускать новые проекты. Собирать все данные в едином центре следует только тогда, когда это действительно нужно и удобно.
Мне было бы интересно создать архитектуру, существующую в виде федерации, а не единого озера данных. Озеро данных может быть логическим и распределенным по разным организациям, объединенным стандартами работы с данными и протоколами обмена.
Чему, на ваш взгляд, уделяется недостаточно внимания при обсуждении тематики Интернета вещей и больших данных?
Мы неоднократно встречались с партнерами и конкурентами по рынку, поэтому могу точно сказать, что проблемы у всех примерно одинаковы: трудность подключения к источникам данных, качество и многообразие данных. Но когда мы занимались «традиционной» автоматизацией процессов, проблемы были такими же.
Многое по-прежнему решает человеческий фактор: если сотрудники хотят сложившийся процесс дополнить интеллектуальной функцией, это получится сделать; если у людей нет мотивации, сами собой изменения не наступят. Возможно, такую культурную трансформацию и следует обсуждать подробнее: как сделать, чтобы люди, всю жизнь проработавшие на производстве с «аналоговыми» данными, приняли факт того, что их огромный опыт может быть дополнен извне. Возможности машинного обучения не противопоставляются знаниям в предметной области, а дополняют их.
О чем вы планируете рассказать на форуме и что хотели бы услышать от других?
Это мое первое участие в подобном мероприятии, и для нас важно представить «Северсталь» как компанию, способную использовать современные технологии для повышения эффективности. Я готов рассказать о своем опыте и используемых решениях — возможно, это даст пищу для размышления тем, кто только начинает подобный путь, и позволит проделать его с меньшими потерями.
От других жду рассказов о подходах, применяемых во владении данными: каким образом выстроена политика по управлению данными на производстве, как обсуждаются стандарты по генерации данных и их очистке. К сожалению, данные по-прежнему воспринимаются многими как побочный продукт производства. Возможно, когда эффекты от внедрения искусственного интеллекта и машинного обучения будут сопоставимы с результатами основной деятельности, объяснить ошибочность таких взглядов будет проще.
Источник: Вестник цифровой трансформации — Cio.ru.
