IT & Digital
Компьютерное зрение для определения дефектов, VR/AR в обучении, экзоскелеты для облегчения труда — мы используем технологии, которым необходим качественный рабочий код. У наших IT-специалистов исключительно интересные и продвинутые задачи.
2000+
сотрудников
21
город, где представлен «Северсталь-инфоком»
27,6
млрд рублей — за 5 лет инвестировано в IT и диджитал
Big data управляет заводами
Отечественное ПО для бизнеса — уже вопрос выживания
Алексей Мордашов
Более двух тысяч команд улучшали нашу нейросеть для поиска дефектов на металле
Как мы организовали соревнование на Kaggle
В «Северстали» действует единое правило — показатель возврата инвестиций должен быть не ниже 20%
«Северсталь» улучшила решение для поиска и классификации дефектов металла
«Северсталь»: искусственный интеллект с человеческими именами
Светлана Потапова, директор «Северсталь Диджитал», – об оптимизации работы Агрегата непрерывного горячего цинкования №4 на ЧерМК с помощью машинного обучения
Causal inference for a steel mill.
How to create a data science product for a steel mill
Российская промышленность хочет заменить софт Siemens и GE
Новой АСУ ТП на базе открытого кода нужно объединить частные разработки компаний
Цифровое сердце компании
Диджитал в шахтах и цехах: почему IT-специалисты идут в промышленность
Блог «Северстали» на Habr.com
AR не сразу строилась
5:25
Про цифровые инновации «Северстали»
3:37
«Северсталь» провела первый демодень индустриального центра компетенций «Металлургия»
9:11
«Слово эксперту»
Светлана Потапова, генеральный директор «Северсталь Диджитал»

Не нашли
подходящей
вакансии?

Отправьте нам своё резюме и подпишитесь
на обновление вакансий
Имя*
Введите имя, допускаются русские символы, пробел и -
Фамилия*
Введите фамилию, допускаются русские символы, пробел и -
E-mail*
E-mail должен быть в формате name@domain.com
Телефон*
Введите телефон правильно
О себе
Напишите о себе или загрузите резюме или введите ссылку на него
Резюме
Загрузите резюме или введите ссылку на него или напишите о себе
или (DOC, DOCX, PDF, не более 5 МБ)
Спасибо
за отклик!
Мы рассмотрим ваше резюме в самое ближайшее время.
Если ваш опыт отвечает требованиям к вакансии, мы обязательно с вами свяжемся!
Вакансии в IT & Digital
Все города
Все предприятия
digital
it
айти
диджитал
Middle разработчик ASP.NET Core C#
Москва (Северсталь-инфоком)
Аналитик рынка / Junior Product Manager
Москва (Северсталь-инфоком)
Специалист по информационной безопасности
Череповец (Северсталь Менеджмент)
Технический архитектор
Москва (Северсталь-инфоком)
Специалист по автоматизации
Череповец (Северсталь-инфоком)
Архитектор
Москва (Северсталь Диджитал)
Консультант второй линии технической поддержки
Воронеж (Северсталь-инфоком)
Технолог
Череповец (Северсталь-инфоком)
Старший backеnd-разработчик
Череповец (Северсталь-инфоком)
Системный аналитик
Москва (Северсталь Диджитал)
Ведущий специалист
Череповец (Северсталь-инфоком)
Специалист вендорской поддержки
Воронеж (Северсталь-инфоком)
React разработчик (JS)
Москва (Северсталь-инфоком)
Аналитик данных CV
Москва (Северсталь Диджитал)
Специалист по автоматизации приборов безопасности
Череповец (Череповецкий металлургический комбинат)
Специалист по автоматизации электропривода
Череповец (Череповецкий металлургический комбинат)
Team Lead команды Java-разработки
Москва (Северсталь-инфоком)
Консультант/Аналитик по поддержке и развитию ИТ-системы
Воронеж (Северсталь-инфоком)
Специалист по сопровождению систем защиты контейнеризации
Череповец (Северсталь-инфоком)
Специалист корпоративного удостоверяющего центра
Череповец (Северсталь-инфоком)
Архитектор программного обеспечения
Череповец (Северсталь-инфоком)
Разработчик JavaScript
Череповец (Северсталь-инфоком)
Менеджер по организации процессов проектного управления
Москва (Северсталь-инфоком)
Сервис-партнер
Москва (Северсталь-инфоком)
Системный аналитик
Череповец (Северсталь-инфоком)
Специалист (по контрольно-измерительным приборам и автоматике)
Белгород (Северсталь-инфоком)
Бизнес аналитик
Москва (Северсталь-инфоком)
Специалист
Череповец (Северсталь-инфоком)
Системный аналитик
Москва (Северсталь-инфоком)
Системный аналитик
Москва (Северсталь-инфоком)
Специалист по автоматизации технологических процессов
Череповец (Череповецкий металлургический комбинат)
ABAP разработчик
Москва (Северсталь-инфоком)
Java backend разработчик
Череповец (Северсталь-инфоком)
Java backend разработчик
Череповец (Северсталь-инфоком)
Разработчик Python
Москва (Северсталь Диджитал)
Менеджер по предиктивному анализу
Череповец (Северсталь Менеджмент)
Специалист локальной технической поддержки
Череповец (Северсталь-инфоком)
Специалист локальной технической поддержки (Дежурная служба)
Череповец (Северсталь-инфоком)
Специалист (электронный документооборот)
Череповец (Северсталь-инфоком)
Руководитель проектов
Череповец (Северсталь-инфоком)
Разработчик 1С:ЗУП
Череповец (Северсталь-инфоком)
Стажер в направление «сопровождение работы с молодыми специалистами и со студентами»
Череповец (Северсталь-инфоком)
Специалист SOC (направление информационная безопасность)
Череповец (Северсталь Менеджмент)
Старший консультант SAP BW
Москва (Северсталь-инфоком)
Разработчик .Net (C#)
Москва (Северсталь-инфоком)
Менеджер группы развития и сопровождения системы MES УС
Череповец (Северсталь-инфоком)
Senior React разработчик
Москва (Северсталь-инфоком)
Менеджер группы развития и сопровождения системы MES ЦПМ
Колпино (Северсталь-инфоком)
Системный архитектор
Москва (Северсталь-инфоком)
Специалист направления "Автоматизация процессов интегрированного планирования"
Череповец (Северсталь-инфоком)
Старший консультант SAP HCM
Москва (Северсталь-инфоком)
Специалист службы технической поддержки OpenText
Санкт-Петербург (Северсталь-инфоком)
Старший консультант SAP MM
Москва (Северсталь-инфоком)
Корпоративный архитектор (Enterprise Architect)
Москва (Северсталь-инфоком)
Middle разработчик ASP.net C#
Москва (Северсталь-инфоком)
Системный Аналитик
Москва (Северсталь-инфоком)
Специалист локальной технической поддержки
Оленегорск (Северсталь-инфоком)
Специалист (по технической поддержке)
Москва (Северсталь-инфоком)
Руководитель проекта
Москва (Северсталь-инфоком)
Сотрудник технической поддержки VIP пользователей
Москва (Северсталь-инфоком)
Аналитик данных NLP
Москва (Северсталь Диджитал)
Аналитик данных
Москва (Северсталь Диджитал)
Senior разработчик ASP.NET Core C#
Москва (Северсталь-инфоком)
Ведущий консультант (регл.учет)
Москва (Северсталь-инфоком)
Владелец модуля "Оперативное планирование" (PP/DS)
Москва (Северсталь-инфоком)
Специалист по тестированию
Москва (Северсталь-инфоком)
Руководитель проекта разработки системы интегрированного планирования
Москва (Северсталь-инфоком)
Руководитель проекта
Москва (Северсталь-инфоком)
Менеджер по бюджету
Москва (Северсталь Диджитал)
Ведущий специалист по тестированию
Москва (Северсталь-инфоком)
Ведущий специалист (информационное обеспечение)
Череповец (Северсталь Дистрибуция)
Старший специалист по тестированию
Москва (Северсталь-инфоком)
Специалист АСУ ТП
Череповец (Северсталь-инфоком)
Консультант 1С: ERP
Череповец (Северсталь-инфоком)
Ведущий системный администратор SAP Basis
Москва (Северсталь-инфоком)
Руководитель проекта
Москва (Северсталь-инфоком)
Методолог по развитию культуры кибербезопасности
Москва (Северсталь-инфоком)
Консультант SAP ECM
Москва (Северсталь-инфоком)
Консультант SAP ESS/MSS
Москва (Северсталь-инфоком)
Руководитель IT проектов
Москва (Северсталь Диджитал)
Старший консультант SAP BW
Москва (Северсталь-инфоком)
Консультант SAP LSO
Москва (Северсталь-инфоком)
Младший консультант SAP HCM
Череповец (Северсталь-инфоком)
QA Разработчик Java
Череповец (Северсталь-инфоком)
Техник АСУ ТП
Оленегорск (Северсталь-инфоком)
Аналитик данных
Санкт-Петербург (Северсталь Менеджмент)
Разработчик 1С:ERP
Череповец (Северсталь-инфоком)
Руководитель проектов по информационной безопасности
Череповец (Северсталь-инфоком)
Специалист(архитектор) по кибербезопасности АСУТП
Череповец (Северсталь Менеджмент)
Специалист по технической защите персональных данных
Череповец (Северсталь-инфоком)
Специалист по администрированию WAF
Череповец (Северсталь-инфоком)
Специалист по сопровождению систем корпоративного мониторинга информационной безопасности
Череповец (Северсталь-инфоком)
Менеджер (реализация проектов по планированию производства)
Москва (Северсталь Менеджмент)
Ведущий инженер АСУ ТП
Череповец (Северсталь Менеджмент)
Инженер по поддержке приложений
Москва (Северсталь Диджитал)
Девопс-инженер
Москва (Северсталь Диджитал)
Разработчик 1С
Москва (Северсталь-инфоком)
Разработчик Angular (middle)
Москва (Северсталь-инфоком)
Руководитель группы по защите ПДн
Череповец (Северсталь-инфоком)
Разработчик 1С
Москва (Северсталь-инфоком)
Ведущий консультант
Череповец (Северсталь-инфоком)
Ведущий специалист по тестированию
Москва (Северсталь-инфоком)
Ведущий консультант 1С:ERP
Череповец (Северсталь-инфоком)
Ведущий разработчик С++
Москва (Северсталь-инфоком)
Руководитель проектов по разработке и внедрению программного обеспечения
Костомукша (Северсталь-инфоком)
Автотестировщик Java
Череповец (Северсталь-инфоком)
Консультант/Старший консультант SAP CRM
Москва (Северсталь-инфоком)
Эксперт по виртуализации
Череповец (Северсталь-инфоком)
Консультант SAP Solution Manager
Москва (Северсталь-инфоком)
Руководитель проекта
Москва (Северсталь-инфоком)
.Net developer
Санкт-Петербург (Северсталь-инфоком)
.Net developer
Москва (Северсталь-инфоком)
Специалист по инженерной информации
Череповец (Череповецкий металлургический комбинат)
Специалист 1 категории
Череповец (Северсталь Менеджмент)
Старший консультант SAP ERP (SD, ММ, LE)
Москва (Северсталь-инфоком)
Ведущий эксперт (математик)
Череповец (Северсталь Менеджмент)
Технический архитектор
Москва (Северсталь-инфоком)
Менеджер (обработка инцидентов SAP)
Москва (Северсталь Менеджмент)
Java разработчик Middle+
Москва (Северсталь-инфоком)
Специалист SAP HCM
Воронеж (Северсталь-инфоком)
Младший консультант SAP HCM
Череповец (Северсталь-инфоком)
Системный аналитик
Москва (Северсталь-инфоком)
Владелец продукта (ML, IIoT)
Череповец (Северсталь-инфоком)
Программист- технолог
Череповец (Северсталь-инфоком)
Консультант/Аналитик по поддержке и развитию ИТ системы
Воронеж (Северсталь-инфоком)
Менеджер
Череповец (Северсталь Менеджмент)
Специалист по развитию процессов и решений в области информационной безопасности
Череповец (Северсталь Менеджмент)
Ведущий специалист по сопровождению сетевых средств защиты
Череповец (Северсталь-инфоком)
Специалист в направление кибербезопасности приложений
Череповец (Северсталь Менеджмент)
Консультант SAP TM
Москва (Северсталь-инфоком)
Архитектор
Череповец (Северсталь-инфоком)
Ведущий администратор БД
Череповец (Северсталь-инфоком)
Руководитель проекта
Москва (Северсталь-инфоком)
Разработчик VUE (JavaScript)
Москва (Северсталь-инфоком)
Ведущий эксперт (Devops)
Череповец (Северсталь Менеджмент)
Ведущий аналитик данных CV
Москва (Северсталь Диджитал)
Специалист (по автоматизации)
Череповец (Северсталь-инфоком)
Старший консультант SAP BW
Москва (Северсталь-инфоком)
Технический архитектор
Череповец (Северсталь-инфоком)
Архитектор
Череповец (Северсталь-инфоком)
Руководитель проекта
Череповец (Северсталь-инфоком)
Специалист-конструктор
Череповец (Череповецкий металлургический комбинат)
Руководитель направления системного администрирования
Вологда (Северсталь-инфоком)
Руководитель проектов по разработке и внедрению программного обеспечения
Костомукша (Северсталь-инфоком)
Разработчик Битрикс24
Ярославль (Северсталь-инфоком)
Старший консультант SAP PS
Москва (Северсталь-инфоком)
Разработчик OpenText
Санкт-Петербург (Северсталь-инфоком)
Все вакансии
Центральный ФО
Уральский ФО
Северо-Западный ФО
Южный ФО
Сибирский ФО
Дальневосточный ФО
Приволжский ФО
Предприятия

Алексей Мордашов:

отечественное ПО для бизнеса — уже вопрос выживания

Крупный российский бизнес вкладывает в создание альтернативы западному программному обеспечению миллиарды рублей и продолжит эти инвестиции как самостоятельно, так и в партнерстве с государством. Председатель совета директоров сталелитейного гиганта "Северсталь" Алексей Мордашов в интервью РИА Новости в кулуарах форума "Цифровая индустрия промышленной России" рассказал, почему разработка российского ПО для бизнеса по значимости не уступает освоению космоса и мирного атома и чем вреден сбор с предприятий за использование иностранных программ. Беседовала Мила Кузьмич.

— Выступая на сессии, вы упомянули о необходимости создания собственной компонентой базы, но признали, что этот проект будет очень капиталоемким. Какие нужны для этого ресурсы и где их брать?

— Чтобы ответить на ваш вопрос, прежде всего нужно понимать, кто и что конкретно будет разрабатывать. Мы знаем, из чего состоит существующая элементная база — она целиком импортная. Но кто, в какие сроки и с каким ресурсом сможет сделать альтернативу — пока непонятно.

Первая задача рабочей группы, которая могла бы быть создана, — определиться, что должно быть сделано и как, и сколько это будет стоить. Сейчас уже действует рабочая группа при Минпромторге, в которой сопредседателями и координаторами являются "Еврохим" и мы ("Северсталь". — Прим. ред.) и которая начала прорабатывать со стороны потребителя эти вопросы. Но комплексного понимания, что нужно сделать, кто этим займется и сколько на это потребуется ресурсов, пока совсем нет.

— Понятно только, что это должны быть огромные инвестиции. Думаете, они когда-нибудь окупятся?

— На этот вопрос нет ответа. Потому что его нет и на предыдущий ваш вопрос — сколько мы на это потратим. Это действительно гигантские инвестиции. Если посмотреть на другие страны, компании, которые создают компонентную базу (например, Тайвань, Южная Корея или США), — это сотни миллиардов долларов. Нужно ли нам тоже тратить сотни миллиардов долларов? Непонятно. Бывают ситуации, когда мы слышим про большие траты, которые делают другие. Но, погружаясь в тему, мы видим, что можно сделать это и дешевле.

Тут еще есть важный аспект, который трудно оценить экономически: мы говорим об экономическом и технологическом суверенитете, который позволит нашей стране жить и развиваться. То есть это производство самых разных систем, из которых состоит наша жизнь: от дорожного движения на улицах до систем безопасности страны. В этом смысле нам нужно рассмотреть это как национальную задачу и исходя из этого планировать ресурсы. Почти наверняка речь должна идти о национальном проекте класса освоения атомной энергии или полетов в космос. Есть ли у нас для того ресурсы — сложный вопрос.

На сегодняшний день мы пониманием, что надо уделять этому серьезное внимание и создавать какой-то коллектив, который сможет найти ответы на эти вопросы. Нужно понимать, что без решения этой проблемы непонятно, как нам жить и развиваться в нынешних условиях.

— На пленарной сессии премьер-министр Михаил Мишустин предложил ввести сбор за использование иностранного ПО и направлять деньги отечественным разработчикам. Как вы смотрите на эту идею?

— Эта идея, на мой взгляд, очень спорная. Ее логика понятна — она заключается в том, что мы все продолжаем использовать зарубежные решения в автономном режиме, то есть мы за него не платим, поэтому с нас можно этот сбор взять. Но я эту идею не разделяю.

Здесь нужно учесть ряд аспектов. Во-первых, мы лишись полноценной поддержки зарубежных провайдеров, за которую мы платили деньги. Кроме того, мы все оказались отрезанным от очень важного для нас ресурса и страдаем от этого. Мы направляем и будем направлять серьезные ресурсы на разработку собственного ПО. В этих условиях повышать на нас финансовую нагрузку было бы неправильно.

— Но деньги от сбора как раз пойдут на поддержку отечественных разработчиков. Иначе где тогда брать необходимые средства на разработки?

— Честно говоря, не понимаю, почему этот вопрос обращен ко мне. Мы как раз и инвестируем свои средства в отечественное ПО. Мы действительно получили по конкурсу средства грантов, которые дает государство на стимулирование разработки отечественного ПО, но это существенно меньше, чем тратим мы сами. Мы готовы участвовать в этом! Если говорить о расходах всей нашей отрасли, то сейчас 90% этих инвестиций покрывают сами компании. И это еще один аргумент против сбора.

— Кстати, ваши инвестиции в разработку ПО — вы рассчитываете, что они к вам вернутся и вы на этом еще заработаете?

— Рассчитываем ли мы на то, что сможем эти решения кому-то продавать? Ответ да, однозначно рассчитываем. Есть рынки для нас в СНГ и дружественных странах, будут рынки и в России. Но главный мотив для нас при разработке ПО — не зарабатывать на этом деньги. У нас просто-напросто критическая ситуация, связанная с тем, что необходимое программное обеспечение нам больше недоступно. Мы сейчас им пользуемся в автономном режиме, но мы понимаем, это не может длиться вечно: мы будем отставать, не сможем совершенствовать свои системы. Мы должны разработать альтернативу, чтобы поддержать работоспособность наших предприятий, и это главная цель. Это для нас вопрос выживания.

— Вы получили грант на разработку двух решений: "MES металлургия" и систему оптимизации планирования. Когда завершите работу над ними?

— Пилотирование "MES Металлургии" ожидается к началу 2026 года, первые базовые модули, как мы ожидаем, будут реализованы к концу 2023-го. Интегрированное планирование будет также готово к 2026 году. На разработку этих решений "Северсталь" направит более 1,6 миллиарда рублей собственных средств.

— В какие сроки в целом вы считаете реальным бизнесу завершить переход на отечественное ПО и не придется ли эти сроки откладывать?

— Это сложный процесс, который зависит от множества факторов. Кроме того, сроки разработки альтернативного программного обеспечения разные у разных компаний. Нам нужно будет в какой-то момент, через год-два, оценить прогресс, и нельзя исключать, что сроки будут как-то меняться. Но пока об этом говорить рано, сейчас нам нужно сконцентрироваться на выполнении тех обязательств, которые мы на себя взяли, и выработке дальнейших шагов.


Диджитал в шахтах и цехах: почему IT-специалисты идут в промышленность

Кто-то после института учит детей программированию, а кто-то — участвует в стройке ГОК на севере Забайкалья. Кто-то все меньше внимания уделяет фронтенду и изучает биоинформатику, а кто-то счастлив вдыхать жизнь в промышленных монстров. Это реальные истории, рассказанные нам участниками опроса, который мы устроили вместе с Хабром. Мы показали эти результаты нашим айтишникам, попросили сравнить их с собственным опытом и помочь разобраться, почему программисты выбирают работу в промышленности и какой видят её изнутри. Результат — истории под катом: как создаются VR-тренажёры для суровых металлургов, как можно прокачаться на комбинате и из каких компонентов состоит айтишное счастье. Поехали!

В опросе айтишники выбирают комфортные условия труда, адекватную оплату, возможности для обучения и задачи с очевидными результатами. Мы попросили наших айтишников сверить результаты опроса с собственным опытом и рассказать, чем может привлечь промышленный гигант, чем они занимаются и как видят работу в компании изнутри.

Какие задачи влияют на выбор работы

 Приветствую, Хабр, меня зовут Максим Паршонок, я — разработчик AR/VR-решений. Попал в Северсталь прямиком из вуза. Пока учился, мечтал об интересных и необычных задачах, о GameDev'e — в целом по результатам опроса тоже попадал в «среднее по палате» на Хабре и именно так начал работать в Северстали. Когда учился на третьем курсе, меня пригласили на мероприятие для студентов в Северсталь-инфоком. Через некоторое время позвали на собеседование и предложили как раз те задачи, о которых я мечтал: разрабатывать VR- и AR-приложения и работать с 3D-графикой. Я согласился, не раздумывая.

На работе я:

Как Бэтмен: спасаю жизни и оборудование

Наша команда занимается разработкой приложений виртуальной и дополненной реальности. Мы создаём приложения для нескольких направлений: маркетинг, промышленная безопасность и обучение промышленным технологиям; делаем обучающие приложения под ключ с нуля: человек надевает 3D-очки и учится в виртуальной реальности. Например, мы делали приложение для Яковлевского ГОК. Его задача — обучить человека быстро выбраться из шахты в случае ЧП, например, при задымлении или обвале. Такую ситуацию не смоделируешь в реальных условиях. А в случае ЧП счёт пойдёт на минуты, поэтому важно, чтобы человек мог отработать план действий с помощью обучающего приложения.

Ещё один пример из моей работы — тренажёр техники безопасности для ремонтного цеха. Суть тренажёра в том, что человек отрабатывает действия в цеху и видит последствия нарушения техники безопасности. Например, на его коллегу что-то падает. Это гораздо нагляднее, чем просто прочитать правила безопасности.Основное направление нашей работы — обучение. Это очень важно, ведь в производстве часто бывают ситуации, когда нельзя поставить человека за оборудование, чтобы обучать. Это либо слишком опасно, либо это новое оборудование, обращению с которым надо обучить до того, как его установят. Например, мы делали приложение-тренажёр для сталеплавильного производства — он предназначен для обучения персонала, задействованного в процессе разливки стали. Он позволяет обучать сотрудников правильно и безопасно выполнять основные технологическое операции.

Ещё один проект, который очень мне запомнился: компьютерная игра 3D-полигон. На предприятиях Севергрупп есть уже около 10 классов виртуальной реальности. То, что это программа для ПК без VR, позволило увеличить её аудиторию и быстро обучить много людей. С её помощью уже обучили около 500 мастеров. В программе игрок страхует грузы, выбирает нужные СИЗы, поднимает и перемещает груз с помощью крана, соблюдая технику безопасности. Нарушения приводят к поломкам оборудования или травмам на производстве. Всё очень наглядно.

Применяю игровые технологии для серьёзных задач

Мы даём людям новые способы обучения, и это эффективнее, чем простое штудирование теории. VR обеспечивает погружение в процесс: человек из учебной аудитории переносится в виртуальный цех и действует уже там. Такой подход повышает вовлечённость, он безопаснее и гораздо интереснее.
VR позволяет симулировать любые действия, которым человек не может обучиться в реальных условиях. Например, при отработке действий при аварии или пожаре работники тренируются правильно реагировать на ЧП в безопасной цифровой среде без риска для оборудования и своего здоровья. Раньше тренировки проводились в живом режиме раз в несколько месяцев. Ради них приходилось останавливать работу цехов, а теперь эти же задачи отрабатываются, с одной стороны, чаще, а с другой — не влияют на рабочий процесс.

На нашу работу иногда смотрят скептически. Например, мы делали тренажёр для для коксового машиниста: распечатали на 3D-принтере копии реальных контроллеров для перемещения машины и интегрировали Leap Motion — устройство захвата движений рук. В процессе работы к нам приходили эксперты для консультаций — и реакция была такая, будто мы в игрушки играем. Но когда мы доделали тренажёр и они увидели результат — их мнение сразу изменилось. Сказали, как жаль, что их так не учили. В такие моменты я чувствую, что моя работа значима и делает жизнь людей лучше.

Гуляю по шахте и учусь дышать под землёй

На работе мне постоянно нужно вникать во что-то новое. Когда мы делали тренажёр для Яковлевского ГОКа, нужно было спуститься в шахту. Сложно передать даже эту атмосферу. Шахта находится глубоко под землёй, там около 700 метров глубины. Чтобы спуститься, нужно пройти инструктаж и медосмотр, надеть много экипировки, научиться работать с самоспасателем. Это такая штука, благодаря которой можно около двух часов дышать под землёй в случае задымления. Спускаться в шахту нужно в специальном лифте — клети.

В самой шахте очень темно и холодно, а в некоторых местах, наоборот, жарко и душно. Ещё там огромное число коридоров — можно заблудиться. Меня удивило, что там бывают лужи и даже дождь. Там, под землёй, ездят машины и работает мощное оборудование, работают люди. Но там физически тяжело находиться. Чувствуешь облегчение, когда поднимаешься оттуда. Побывав в шахте, я понял, что работать разработчиком — это на самом деле круто и легко.

Какие возможности обязательны

Привет, Хабр! Меня зовут Александр Мошаров, я руковожу группой веб-разработки в управлении по развитию новых технологий. И я с большинством Хабра. Возможность учиться, карьерного роста и работы из дома — да, как и для прошедших опрос, для меня это ключевые возможности. На работу в Северсталь меня пригласил бывший руководитель, который сам туда ушёл незадолго до меня. Я ушёл за ним и в результате:

Могу менять направления работы

Говорят, что у меня зависимость от этой работы, и думаю, что она у всей команды. Я не хочу с ней расставаться, и вот почему: никакого легаси, проекты с использованием облачных сервисов, возможность писать фронтенд и бэкенд, эксперименты с любыми языками программирования, фреймворками и базами данных, участие в тестировании новых инфраструктурных сервисов компании, работа с «железом».

Работа в R&D подразумевает большое количество черновых проектов. Я пришёл на должность разработчика и основной нагрузки ожидал на фронтенде, но всё пошло не по плану. В итоге пришлось поднимать Hyperledger Fabric, писать смарт-контракты на Ethereum, делать чат-боты, различные парсеры и дашборды, работать с нейронными сетями и инфраструктурой интернета вещей. Это не считая большого количества API и других мелких сервисов, а также самого фронтенда. Это не масштабные проекты, но очень разнообразные и интересные. Поэтому моя текущая должность — идеальна для развития, ведь я могу перейти с неё в другие направления и прокачивать не только технические навыки.

Учусь новому

В Северстали я не просто могу, а должен учиться, — это входит в мои годовые цели. А ещё в них входит изучение новых технологий с созданием прототипов. Кроме возможности (часто необходимости) прохождения внешних курсов есть и внутренние со своими тренерами, а также портал интерактивных курсов и электронная библиотека. Если сравнить внутренние курсы с внешними, то я не увидел особой разницы в качестве и подаче материала. Разница в контексте — информацию проще усвоить на реальных, знакомых тебе примерах.

Один из самых классных внешних курсов, которые я проходил, — курс на продакт-менеджера. Нам рассказали про подходы к генерации и развитию идей и их использование в существующих продуктовых командах, показали, как определить перспективы продукта, как работать с обратной связью и реагировать на негатив. Из внутренних великолепна была обучающая программа молодых руководителей. Выражаясь в терминах ООП, я получил доступ к родительскому классу каждого из своих сотрудников с его скрытыми свойствами и методами =)

Учусь на собственных ошибках

По прошествии некоторого времени, когда я уже проникся культурой и правилами Северстали, случилось происшествие, по итогам которого я познакомился с большим количеством руководителей. Был интересный проект интеграции внутреннего чат-бота с облачными сервисами искусственного интеллекта и тикет-платформой. Одной из последних задач стояло проведение нагрузочного тестирования сервиса. Я опущу согласования и подготовку, но вы понимаете, о чем я, да?

И дело даже не в том, что я на пару минут положил тикет-систему, а в том, что я успел создать несколько сотен тикетов со статусом ошибки, которые поддержка должна вовремя закрыть, иначе негативная оценка системы, годовые цели, премия…
Мне позвонили минут через 15 после теста и спросили, что я думаю делать со своими тикетами (оказалось, их нельзя просто удалить и не так-то просто отменить). Я собрал контакты всех участников цепочки обработки заявок и обзвонил их. Это был шок для меня: никакого негатива, то есть вообще никакого. Разумеется, все тикеты мне пришлось закрывать самому и делать это руками через интерфейс.

На этом уроке я усвоил несколько важных вещей:

  • Мы с коллегами можем по-разному смотреть на задачи, поэтому их описание должно быть достаточным для исключения неверной трактовки.
  • Описание задачи может носить устный характер, только если задача будет выполняться в ближайшее время.
  • Описание процесса взаимодействия с сервисом должно быть детальным и согласованным с лицами, ответственными за этот сервис

На что айтишники проверяют работодателя

Привет, хабровчане. Я — Андрей Бойцов, java-разработчик. И я в одной обойме со всеми прошедшими опрос: для меня, с одной стороны, важны условия труда в компании, а с другой — возможности роста. Наверное, это потому, что я пришёл в Северсталь из маленького стартапа. У нас было всего 16 человек, в какой-то момент я понял, что достиг пика на этом проекте. Стало скучно, захотелось чего-то нового, а мне как раз предложили масштабные задачи, где я мог развернуться.

В Северстали я:

Решаю масштабные задачи

После стартапа мне пришлось привыкнуть к большому коллективу, к тому, что чтобы решить какой-то вопрос, может понадобиться писать имейл или звонить в другой город. На предприятии более сложная организация процессов и огромное количество людей. Но я быстро к этому привык.

От моих задач зависит работа большого числа людей. Например, сейчас я занимаюсь проектом по геймификации работы. Проект охватывает всех сотрудников компании, в нём можно прокачать свои навыки, участвуя в различных мероприятиях, играх, вебинарах. За участие в активациях сотрудники получают баллы, так называемые инфокойны, которые можно обменять на товары магазина поощрений. Ещё один мой проект — интеграция двухсистемного ведения задач. Это когда сотрудник создаёт задачу в одной системе, а она тут же появляется в другой. В итоге на мне гораздо большая ответственность, но и результаты, какими бы они ни были, тоже становятся сразу видны.

Пользуюсь корпоративными возможностями

Многие боятся крупных проектов, так как считают, что в них сложнее реализовать свою идею. На деле у нас согласовать проект или идею довольно легко, если она не затрагивает работу критичных систем, но это вполне логично. Технические идеи мы всегда обсуждаем командой. Если пришли к выводу, что это может нам быть полезным, обкатываем и пробуем.

Как и любой крупной компании, Северстали требуются специалисты со знанием актуальных и новых инструментов, и она готова обучать своих сотрудников: в прошлом году, ещё до карантина, я посетил конференцию Jocker, а в этом — побывал на ней онлайн и получил важную информацию по текущим проектам. Ещё из бонусов, которыми приятно пользоваться: бесплатный доступ к библиотеке МИФ, скидки от наших компаний-партнёров (TUI, Лента). А ещё по итогам работы компания выплачивает достаточно хороший годовой бонус.

Спрос на инновации и вау-эффект как бонус

А ещё работа в промышленной сфере — это шанс не только увидеть доменную печь, плывущий по ленте раскаленный металл и БелАЗы с колёсами в человеческий рост, но и сделать работу с ними проще, безопаснее, производительнее. Так что правы те участники опроса (а их больше половины), которые убеждены, что промышленность — перспективное направление карьеры для IT-специалиста.

Более двух тысяч команд улучшали нашу нейросеть для поиска дефектов на металле

Как мы организовали соревнование на Kaggle

В чём состояла задача

В производстве листового металла существует одна проблема — иногда на поверхности металла могут образовываться дефекты. Дефекты бывают разных типов в зависимости от причины их возникновения.

Например, механические повреждения — царапины, задиры или потёртости — возникают в основном вследствие износа металлопрокатного оборудования. Другие дефекты, такие как трещины или плёны, появляются, когда происходят отклонения от технологии при выплавке стали.

Плены и трещины на металле

Если вовремя обнаружить дефект и определить его тип, можно решить сразу две задачи: не допустить отправки бракованной продукции клиентам и своевременно устранить нарушения и неисправности на производственной линии.

Металлурги хорошо знают и умеют различать существующие типы дефектов, но есть проблема. Представьте себе полосу металла шириной два метра и длиной более километра, проносящуюся мимо вас на скорости в пару десятков метров в секунду.

Ни один человек, каким бы внимательным он ни был, не успеет увидеть все дефекты. Не говоря о том, что их надо искать на обеих сторонах полосы одновременно 24 часа 7 дней в неделю без перерывов на обед и отдых. К тому же находиться рядом с полосой во время прокатки запрещено техникой безопасности.

Один из финальных участков производственной линии с готовой продукцией

Тем не менее нужно как-то решать проблему брака и не допускать, чтобы клиентам уходила продукция с дефектами. Для решения этой задачи в «Северстали» на большинстве агрегатов, участвующих в производстве плоского проката, установлены системы компьютерного зрения.

За последнее десятилетие благодаря доступности данных, развитию вычислительных ресурсов и технологий глубокого обучения системы компьютерного зрения во многих областях сравнялись в эффективности с человеком, а кое-где и превзошли его.

Надо сразу сказать, что задача детекции дефектов металлопроката пока не в их числе. Существующие промышленные системы видеоинспекции всё ещё уступают человеку в умении распознавать дефекты, а результаты работы этих систем часто нуждаются в дополнительной ручной перепроверке.

Основных причин этому три:

  • Дефицит данных. Если датасетов с кошками или собаками в свободном доступе предостаточно, то открытый датасет с дефектами поверхности металла до недавнего времени существовал только один. Этот датасет опубликовал Северо-восточный Университет США в Бостоне. Он включает всего 1800 изображений размером 200х200 пикселей для шести классов дефектов.
  • Сложные условия эксплуатации. Большой поток данных и непрерывность производства предъявляют высокие требования к скорости работы системы компьютерного зрения, что сильно ограничивает выбор моделей.
  • Очень высокие требования к используемым системам в плане качества работы. Система должна находить все дефекты, допуская как можно меньше ложных срабатываний.

Подготовка данных

«Северсталь» совершенствует свои технологические процессы и системы контроля качества. Когда мы решили использовать современные достижения в области компьютерного зрения и улучшить существующую систему детекции дефектов, встал вопрос подготовки обучающего датасета. Качественная обучающая выборка — это, наверное, 50% успеха всего проекта, поэтому мы подошли к этому вопросу с большим вниманием.

На начальном этапе мы отобрали около пяти тысяч изображений поверхности металла. Планировалось, что аннотаторы разметят на этих изображениях семь наиболее критичных типов дефектов. Этим занялась команда из девяти специалистов по дефектам металлопроката.

Уже после первой тренировочной разметки стало понятно, что размечать дефекты — совсем не то же самое, что размечать котиков. Мы столкнулись с несколькими проблемами, которые можно проиллюстрировать следующими изображениями:

Различия в разметке. Разные люди по-разному определяют границы дефектов и их количество
Цветом показан тип, к которому аннотатор отнес данный дефект. Видно, что один и тот же дефект разные аннотаторы относят к разным типам

Оказалось, что специалисты часто расходятся во мнениях относительно границ дефекта и его типа. Более того, они не всегда согласны, присутствует ли дефект на изображении в принципе.

Что же делать в таком случае? Нам нужно было в относительно короткие сроки (два-три месяца) при сильно ограниченных человеческих ресурсах разметить большой датасет. При этом хотелось, чтобы разметка была максимально качественной, и мы были если не на 100%, то хотя бы на 80% уверены в представленных типах дефектов.

Во-первых, мы проанализировали ошибки, которые допускали аннотаторы при определении типов дефектов. Стало понятно, что среди исходных семи типов дефектов есть такие, которые люди на практике не могут достоверно различить на изображении.

Поскольку природа происхождения этих визуально похожих дефектов была так же схожей, мы приняли решение относить такие дефекты к одному типу. В результате число размечаемых типов сократилось до четырёх, что положительно сказалось на итоговой разметке ­— разметчики стали реже допускать ошибки в типах.

Во-вторых, мы использовали стандартную практику, когда несколько человек независимо размечают одно и то же изображение. Пожалуй, самый качественный результат мы могли бы получить, если бы каждую картинку размечали все члены команды. Затем можно было бы агрегировать отдельные разметки, уточнив типы и расположение дефектов.

Но в таком случае процесс сбора данных растянулся бы на очень долгий срок. В среднем на разметку тысячи картинок один человек с учётом загруженности по основной работе тратил порядка двух-трёх недель. При такой скорости мы бы разметили пять тысяч картинок в лучшем случае за четыре месяца, что было бы слишком долго.

Поэтому в итоге мы использовали следующий подход. Каждую картинку независимо размечали два аннотатора. Если оказывалось, что в получившихся разметках не совпадают типы дефектов или величина IoU (Intersection over Union) между отдельными инстансами дефектов ниже порогового значения, то такая картинка отправлялась на дополнительную разметку самому опытному из экспертов. После чего на основе трёх полученных разметок мы генерировали финальный, более точный вариант разметки.

Ещё один важный момент при подготовке обучающего датасета, который нельзя было не учитывать, — репрезентативность. Мы постарались включить в нашу выборку изображения, которые содержали все возможные текстурные особенности и типы поверхности металла, встречающиеся на производстве:

  • Металл с окалиной.
  • Изображения, на которых видно маркировку.
  • Металл с рифлением.
  • Изображения, где на поверхности металла присутствует грязь или масляные разводы.
  • Сталь разных марок.

Давайте посмотрим на некоторые из отобранных картинок. На следующих шести изображениях нет ни одного дефекта:

А вот так могут выглядеть изображения с дефектами:

Вероятно, теперь вы понимаете, насколько сложная задача стояла перед нашей командой разметки. Надо отдать им должное, благодаря их усердной работе мы смогли за три месяца подготовить датасет из более чем 12 500 изображений поверхности металла с размеченными на них дефектами. Возможно, на сегодняшний день это крупнейший подобный датасет, находящийся в открытом доступе.

Следующий шаг — baseline-модель

Лучший способ убедиться, что собранные данные позволяют решить вашу задачу, — обучить на них свою модель.

Примерно в середине работы по разметке data science-команда «Северстали» подготовила proof of concept на тех картинках, что уже были размечены. Мы обучили собственную baseline-модель детекции дефектов на основе AlbuNet-34. Двухмесячные пилотные испытания прототипа показали существенное улучшение по точности и полноте детектируемых дефектов по сравнению с исходной системой детекции.

Кроме того, испытания позволили обкатать процесс вывода модели в промышленную эксплуатацию — отладить подключение к источникам данных, проработать архитектуру ПО. Появилась уверенность в том, что мы не только в теории, но и на практике можем улучшить систему детекции дефектов. Нейросеть, запущенная в ЦОДе на сервере с парой GPU, в режиме реального времени детектировала дефекты на поверхности металла, прокатываемого в цехе, расположенном в паре километров от неё.

Итак, модель работает. Работает лучше, чем существующая система инспекции. Но можно ли её улучшить? Если да, то насколько?

Давайте устроим соревнование на Kaggle!

Тем, кто так или иначе связан с data science, не нужно объяснять, почему из всех существующих соревновательных платформ мы выбрали именно Kaggle. Для тех, кто мало знаком с этой темой, скажем, что Kaggle – это не просто сайт с соревнованиями по машинному обучению и анализу данных. Это крупнейшее сообщество, объединяющее специалистов в области data science со всего мира.

Если вы хотите понять, что вообще можно выжать из тех данных, которые у вас есть, то место лучше, чем Kaggle, сложно придумать. Над вашей задачей будут думать тысячи профессионалов. Соревнования на Kaggle устраивали такие компании и организации, как Microsoft, Facebook, CERN и другие. Российских компаний, проводивших свои соревнования по data science, совсем немного. На ум приходят «Авито», «Сбербанк» и «Яндекс». Мы подумали, что будет здорово, если «Северсталь» войдёт в их число.

Короче говоря, вопрос, где проводить соревнование, был решен быстро. Оставался ещё один: как его проводить?

Выбор формата соревнования

Kaggle предлагает много разных опций для организации соревнований. Например, так называемые code competitions, когда участники обязаны использовать только ресурсы самой платформы Kaggle для обучения своих моделей и инференса (вычисления, выполняемые моделью машинного обучения для получения предсказаний на тестовой выборке). Можно, наоборот, никак не ограничивать участников. Оба варианта имеют свои преимущества и недостатки.

Формат Code competition, ограничивая участников в вычислительных ресурсах, не позволяет слишком сильно повышать сложность моделей. Это ставит команды в равные условия и уменьшает вероятность ситуации, когда побеждает тот, у кого больше вычислительных мощностей. Также такой формат позволяет полностью скрыть от участников тестовую выборку, что исключает возможность ручной доразметки тестового сета и прочего читинга.

Однако, если команды не ограничены в вычислительных ресурсах, они могут протестировать больше гипотез, попробовать более сложные модели, использовать ансамбли нескольких глубоких нейронных сетей, что потенциально может дать более качественное решение. При этом, правда, возникают риски, связанные с нечестной игрой со стороны участников и воспроизводимостью результатов.

Мы выбрали компромиссный вариант формата, поскольку уже имели неплохой baseline и хотели, чтобы соревнование позволило нам получить модель максимально достижимого качества.

С одной стороны, участники не были ограничены в ресурсах и могли обучать свои модели на чём угодно, что потенциально стимулировало использовать «тяжёлые» модели, ансамбли и SOTA-решения (state of the art). С другой, мы всё же требовали, чтобы инференс выполнялся на ресурсах Kaggle. Это позволило скрыть от участников тестовую выборку, немного регулировать итоговую сложность моделей и гарантировало воспроизводимость результатов.

В принципе, с этим форматом соревнования всё хорошо, кроме одного момента. Да, вероятно, мы получим качественное решение, которое великолепно находит дефекты на металле. Но что если этим решением окажется ансамбль из десяти Mask-RCNN (одна из современных архитектур искусственных нейросетей) и кучей TTA (test time augmentations) , который на доступных нам вычислительных мощностях способен обрабатывать одну картинку в секунду?

Такое решение, как бы хорошо оно ни находило дефекты, невозможно будет использовать в производстве. Потому что на один рулон металла приходятся тысячи изображений, а темпы производства таковы, что на оценку качества всего рулона нет и пяти минут.

Мы с самого начала решили, что соревнование на Kaggle не должно быть просто экспериментом или HR-кампанией. Важно было извлечь максимальную пользу и получить решения, которые реально можно будет внедрить на производстве. Поэтому, чтобы стимулировать команды к созданию не только качественных, но и эффективных с точки зрения производительности решений, мы вязли на себя смелость немного отойти от привычного для Kaggle сценария и сделали соревнование двухраундовым.

Первый раунд представлял собой обычное для Kaggle соревнование, в котором команды пытались получить максимальный результат по заданной метрике. Во второй раунд допускались 50 лучших команд по результатам первого раунда. Во втором раунде задачей участников было оптимизировать свои модели и побороться за максимальную производительность.

Мы также решили, что во втором раунде участники будут вольны делать со своими моделями что угодно, даже выставить полностью новую модель, отличную от той, которую они использовали в первом раунде. Но при одном условии — результат модели на тестовой выборке во втором раунде не должен опуститься ниже топ-50. Для оценки производительности моделей во втором раунде мы выбрали средненький для такой задачи компьютер с Core i7, одной GPU 1080Ti и 64 гигабайтами оперативной памяти.

Таким образом, мы рассчитывали, что первый раунд задаст хорошую планку по качеству моделей, и мы поймем, чего потенциально можно добиться на наших данных. А второй раунд принесёт решение, которое можно будет использовать на производстве.

После того, как мы определились с форматом, помимо всяких организационных моментов оставалось в сущности только два важных технических вопроса: грамотно разбить данные на тренировочную и тестовую выборки, а также выбрать метрику для первого раунда.

Как не допустить leak в данных

Data leakage или просто leak (утечка) — одна из главных опасностей при проведении соревнований по data science. Участники всегда скрупулёзно изучают данные на предмет неочевидных закономерностей и подсказок, которые организатор не заметил на этапе подготовки датасета.

Если такие закономерности обнаруживаются, то часто по ним можно восстановить правильные ответы на тестовой выборке без обучения моделей. Это означает провал соревнования, потому что теперь каждый участник может без усилий попасть на первое место, а время потраченное командами на обучение моделей, ушло впустую. Организаторам приходится краснеть и извиняться, собирать новый датасет и перезапускать соревнование.

Так что при подготовке train- и test-сета нам нужно было, с одной стороны, сделать так, чтобы в обеих выборках было одинаковое распределение по дефектам и видам поверхностей металла, а с другой, избежать leak’а. Сделать это было не так-то просто.

Во-первых, некоторые типы дефектов были очень бедно представлены в данных. Во-вторых, хотя у нас было много изображений поверхности, полученных на рулонах металла разных марок и в разное время, дефекты на этих рулонах оказались распределены неравномерно. Из-за этого был шанс, что какие-то текстурные особенности фотографий могут подсказать участникам, какие дефекты на них следует искать.

Приняв всё это во внимание, мы совместно с командой Kaggle внимательно подошли к разбиению данных:

  • Удалили из датасета все дубликаты изображений (правда, несколько дубликатов мы в итоге всё-таки пропустили).
  • Оставшиеся картинки распределили между выборками так, чтобы в тестовой не было картинок с того же рулона, что и в тренировочной.
  • Большую часть тестовой выборки составили изображения, полученные позже по времени. При этом мы постарались сделать так, чтобы в обеих выборках все типы дефектов были одинаково представлены.

Про метрику

С выбором метрики тоже были свои нюансы. На производстве качество системы детекции дефектов оценивают в терминах «перебраковки» и «недобраковки». По смыслу две эти величины связаны с привычными precision и recall как:

Перебраковка = 1 — precision

Недобраковка = 1 — recall

Поэтому изначально для оценки качества решений мы собирались использовать кастомную метрику, комбинирующую precision и recall по всем типам дефектов. Но от этой идеи пришлось отказаться. Создание новой метрики и интеграция её в существующую инфраструктуру потребовали бы от команды Kaggle больших усилий на разработку и тестирование. Кроме того, было сложно предугадать, как может повести себя новая метрика во время соревнования.

Команда Kaggle предложила использовать одну из их стандартных метрик для картиночных соревнований ­— mAP при разных порогах по IoU. Но тут мы столкнулись с забавным багом. Хорошо, что в нашем распоряжении была baseline-модель и мы могли протестировать метрику на прочность.

Данная метрика была написана таким образом, что учитывала фон изображений как отдельный класс. Если в качестве входных данных в функцию расчёта метрики подать наивный прогноз ­— на картинках вообще нет дефектов, — метрика выдавала значение 0,7. Если подать идеальный прогно ­— правильно сегментировать все дефекты на изображениях, — значение метрики становилось равным 1.

На первый взгляд, всё нормально. Но при тестировании метрики на предиктах нашей baseline-модели, которая неплохо сегментирует дефекты, оказалось, что значение метрики равно 0,67. Получается, выгоднее не предсказывать ничего, чем пытаться обнаруживать дефекты.

Мы предположили, что такое странное поведение метрики было вызвано тем, что фон на изображении учитывался в качестве отдельного класса. Поскольку датасет был несбалансированным — много изображений без дефектов, а на картинках с дефектами сами дефекты занимают обычно малую часть изображения, — получалось, что малейшие ошибки в сегментации сильно просаживают результат.

Быстро переписать код метрики так, чтобы фон не учитывался при оценке, оказалось технически невозможно. Поэтому пришлось выбрать другую метрику — средний коэффициент Дайса. Эту метрику мы также всячески тестировали на предмет багов, подсовывая ей разные варианты предсказаний модели: предсказывали не все классы, случайным образом меняли лейблы у предсказаний, брали предсказания модели с разных этапов обучения и тому подобное.

Наконец, когда формат соревнования был определён, датасет подготовлен, а метрика выбрана и протестирована, мы были готовы к запуску конкурса. От момента, когда мы написали Kaggle первое письмо с предложением провести соревнование, до подписания контракта и старта прошло чуть больше трёх месяцев.

О результатах

Само соревнование длилось три с половиной месяца: с 26 июля по 13 ноября 2019 года. Участие приняла 2431 команда, что, на наш взгляд, довольно много и говорит о том, что конкурс оказался интересным для сообщества.

Участники быстро смогли побить результат нашей baseline-модели. Как мы и предполагали, команды, занявшие призовые места в первом раунде, использовали ансамбли из нескольких глубоких нейронных сетей.

Было интересно, чего смогут добиться победители в плане оптимизации во втором раунде, но, к сожалению, только один из призёров первого раунда, занявший пятое место, попробовал побороться за приз во втором. Причём его модель во втором раунде вылетела из топ-50 по метрике из-за чего не попала в финальный зачёт. Всего же во втором раунде приняли участие 13 команд. Подробнее почитать об итогах соревнования и найти ссылки на описания решений победителей можно здесь.

Избежать сильной головной боли при тестировании решений во втором раунде нам помог Docker — участникам предлагалось завернуть свои модели в контейнер. Мы подготовили подробную инструкцию с примером по упаковке модели в контейнер, так что всё, что оставалось сделать командам, — это заменить файлы в примере на собственные. Это минимизировало вероятность того, что присланные командами решения не запустятся или упадут с ошибкой из-за разницы в используемом программном обеспечении.

Подводя итоги, можно сказать, что мы остались очень довольны результатами. Организация и сопровождение соревнования со стороны команды Kaggle была на высоком уровне. Нам удалось избежать типичных для картиночных соревнований проблем, таких как data leakage, и достичь тех двух целей, которые ставили изначально:

  • Оценили, модель какого качества в принципе можно получить на наших данных
  • Решение победителя второго раунда смогли с минимальными доработками интегрировать в производство на заводе в Череповце

В «Северстали» действует единое правило —

показатель возврата инвестиций должен быть не ниже 20%
В «Северстали» цифровизация — это составляющая бизнеса и корпоративной культуры. Она диктует новый подход к принятию решений в процессе производства, основанный на данных. Из-за распространения технологий искусственного интеллекта в промышленности сотрудники не выбывают из производственного процесса. Работников поощряют за активное использование цифровых моделей.

Об этом в интервью cdo2day.ru рассказала директор компании «Северсталь Диджитал» Светлана Потапова.

– Каковы отличительные особенности цифровизации «Северстали»?

– В «Северстали» цифровизация – это составляющая бизнеса и корпоративной культуры. В части бизнеса все понятно: наше производство пронизано цифровыми решениями, а агрегаты оснащены всевозможными датчиками. И хотя цифровая трансформация компании стартовала в 2017 году, процесс автоматизации промышленных площадок начался задолго до этого. Без прохождения такого этапа современные решения просто невозможны. И сейчас, благодаря цифровым инструментам, «Северстали» удается повышать производительность ключевых агрегатов и следить за качеством продукции.

В части культуры цифровизация диктует новый подход к принятию решений в процессе производства, основанный на данных. Разумеется, и до этого существовали и существуют бизнес-планы, статистические расчеты и так далее. Но, например, оператор прокатного стана выбирал скорость прокатки того или иного сортамента (в металлургии – совокупность различных сортов и размеров однородных изделий или материалов. – Прим. ред.) в основном исходя из своего опыта. И когда мы с помощью моделей, обученных на исторических данных и учитывающих возможности агрегата, особенности сортамента и ряд других фичей, показываем ему, что агрегат может работать эффективнее, подход к процессу меняется.

Поначалу эксперты «Северстали» сталкивались с недоверием опытных операторов к технологиям. Сотрудникам было нелегко доверять цифровому решению, тому, что строки кода могут управлять агрегатом или подсказывать, как работать эффективнее, несмотря на многолетний опыт специалистов. Мы понимаем опасения сотрудников, поэтому вовлекаем их в процесс проработки и внедрения решения, тем самым поясняя, как работает машинное обучение, проводим тестовые пуски. Иногда устраиваем соревнования между бригадами по управлению агрегатом в автоматическом режиме от модели. Суть подобных состязаний заключается в том, что компания поощряет специалистов за активное использование цифровых моделей, что положительно сказывается на проценте использования, а также в процессе приходит осознание реальной пользы и всех возможностей ИИ.

Важный момент: сотрудники не выбывают из производственного процесса, как не становятся лишними пилоты современных самолетов. Специалисты контролируют работу модели, подключаются, если что-то пошло не так, и следят за безопасностью. При обучении моделей эксперты «Северстали» также работают в тесной связке с технологами производства: без их знаний, опыта и рекомендаций эффективного решения не получится.

– «Северсталь» в 2021 году реализовала инвестиционную программу в ИТ и цифровые решения в объеме 9,1 млрд рублей. Удалось ли компании осуществить задуманное в 2022-м? Можете ли вы подвести итоги самых важных диджитал-проектов, реализованных в 2022 году?

– В целом компании удалось реализовать все запланированные проекты как на новых агрегатах, так и на тех, где «Северсталь» уже внедряла свои решения. В качестве примера новинок могу назвать цифровое решение «Ангелина» для повышения производительности агрегата непрерывного горячего цинкования Череповецкого металлургического комбината (ЧерМК).

Агрегат, скоростью которого управляет решение на основе ИИ
Агрегат, скоростью которого управляет решение на основе ИИ

Еще одно новое решение на этот раз в области экологии – компьютерное зрение, которое контролирует наличие выбросов коксового газа и помогает устранять утечки вредных веществ. Проект оказался крайне востребован, потому что обеспечить качественный визуальный контроль дверей коксовой батареи довольно трудно, а разные виды освещения, погодные условия и влияние технологических процессов производства только осложняют задачу.

Кроме того, «Северсталь» совершенствует уже реализованные проекты. Например, в 2021 году мы внедрили цифровое решение для управления обжиговыми машинами на «Карельском окатыше», которое экономит расход мазута и снижает выбросы загрязняющих веществ в атмосферу. Сначала оно работало только на одной машине и для одного типа сырья – для неофлюсованных окатышей. Новая версия системы, запущенная в этом году, масштабирована на обжиговых машинах № 1 и 3, работает для всех типов окатышей и управляет горелками агрегатов на основе исторических данных. В основе решения – две модели машинного обучения: модель прогноза качества окатышей и модель управления горелками обжиговых машин. В результате уже во втором квартале 2022 года удельный расход мазута при производстве офлюсованных окатышей снизился на 6%. Экономия топлива за этот период составила 42 тонны.

«Северсталь» также разрабатывает решения в области безопасности. Модели на основе нейросетей, дополненных алгоритмами компьютерного зрения, анализируют видеопоток и контролируют присутствие персонала в потенциально опасной зоне, определяют наличие у работников средств индивидуальной защиты, а также следят за безопасным передвижением техники и обращением с промышленным оборудованием.

Для большинства проектов удалось снизить количество опасных действий более чем в три раза, а для некоторых из них – полностью исключить. Для передачи сигнала об опасном действии реализуется интеграция с АСУТП и информационными системами «Северстали». Например, для оповещения машиниста о наличии людей в зоне работы крана в цехе отделки металла № 2 была настроена интеграция модели компьютерного зрения с системой «3D-склад».

И еще один значимый результат нашей команды – это выход в open source нашей библиотеки Typed Blocks, которая поможет разработчикам и аналитикам данных быстрее создавать и запускать цифровые решения на основе анализа информации. Мы в команде сами ее используем во всех решениях и решили поделиться этим инструментом с сообществом.

Какую отдачу «Северсталь» планирует получить за счет реализованных проектов? Каков средний срок окупаемости самых масштабных инициатив?

– Если речь идет об оптимизационных решениях, то, конечно, эксперты «Северстали» берутся за проект, только если у него просчитываются экономическая эффективность и реальное влияние на процесс и он окупает затраты. В случае с инициативами в области безопасности, напротив, денежный фактор отходит на второй план, так как безопасное производство – наша базовая ценность. По самым масштабным инвестпроектам в «Северстали» действует единое правило: IRR (показатель возврата инвестиций) должен быть не ниже 20%, так что неокупаемых проектов мы стараемся не допускать.

Изменились ли ваши приоритеты в 2022 году?

– В 2022 году наши приоритеты гибко изменились в сторону стратегических направлений компании, а именно сокращения издержек, контроля качества продукции и повышения безопасности производства. Решения по увеличению производительности агрегатов также в фокусе, но только там, где в этом есть реальная потребность. В этом году мы уделяем большое внимание цифровизации ресурсных активов.

У «Северстали» сильные позиции в собственной ИТ-разработке. Какие проекты в 2021 году были реализованы собственными силами компании?

– Действительно, у нас и в «Северсталь Диджитал », и в «Северсталь-инфокоме» довольно сильные команды разработчиков с богатой экспертизой, возможно, в том числе и поэтому нам удалось смягчить последствия ухода зарубежных компаний с российского рынка. В части диджитала основная часть проектов реализована силами внутренней ИТ-команды совместно с экспертами со стороны производства, и мы планируем продолжать эту тенденцию.

– Будет ли решать компания вопросы импортозамещения собственными силами, в том числе по тяжелому промышленному обеспечению? Потребуется ли создание консорциума для того, чтобы заместить иностранный промышленный софт?

– В этом году по инициативе Правительства РФ и Министерства промышленности и торговли принято решение о создании индустриальных центров компетенций (ИЦК) в ключевых отраслях промышленности. «Северсталь» возглавляет такой центр в секторе «Металлургия», которое необходимо заместить, и сформулировали требования к новому актуальному ИТ-ландшафту, который предстоит разработать. Конечно, замена «тяжелых» промышленных систем и отраслевого ПО – в числе приоритетных задач, но востребованы и готовые продукты в других направлениях.

Помимо проектов, которые надо создавать с нуля, есть продукты, которые ранее разработаны компаниями для своих нужд. Предприятия планируют продавать их как внутри отрасли, так и в рамках межотраслевого взаимодействия. Например, «Северсталь» готова предложить рынку VR-тренажеры или решения в области управления ремонтами. Кроме того, мы рассматриваем возможность делиться проектами в области машинного обучения.

– Какие технологии помогут «Северстали» развивать производство в ближайшие годы?

– Я думаю, что в ближайшие годы компания будет использовать те же инструменты машинного обучения и компьютерного зрения, но в более сложном разрезе. Сейчас нас интересуют обучение моделей на синтетических сгенерированных данных и обучение компьютерного зрения на малом объеме данных, а также создание гибридных систем, включающих физическое моделирование процесса и компьютерное зрение.

Справка о «Северстали» и «Северсталь Диджитал»

ПАО «Северсталь» – вертикально интегрированная горно-металлургическая компания, создающая новые продукты и комплексные решения из стали вместе с клиентами и партнерами. Производственные активы компании сконцентрированы в России. Акции торгуются на Московской бирже (тикер CHMF). В 2021 году выручка компании составила $11,6 млрд, EBITDA достигла $6 млрд. В 2021 году было произведено 11,6 млн тонн стали.

ООО «Северсталь Диджитал» занимается разработкой и внедрением проектов в сфере data science, машинного обучения и искусственного интеллекта на производстве.

«Северсталь»:

искусственный интеллект с человеческими именами
Нам удалось перейти на качественно новый способ управления агрегатом, гарантирующий полное соблюдение технологии производства, и в то же время избежать влияния человеческого фактора

– Светлана Потапова, директор «Северсталь Диджитал» об оптимизации работы Агрегата непрерывного горячего цинкования №4 на ЧерМК с помощью машинного обучения.

На Череповецком металлургическом комбинате запущено решение на базе машинного обучения для оптимизации работы Агрегата непрерывного горячего цинкования №4 (АНГЦ-4). Решение, получившее название «Ангелина», позволило уйти от человеческого фактора и за время эксплуатации уже принесло экономический эффект более 100 млн руб. О построении решения рассказывает Светлана Потапова, директор ООО «Северсталь Диджитал» и номинант на премию Data Award.


— В прошлом году «Северсталь» стала лауреатом Data Award за оптимизацию работы листопрокатного стана 5000. Каковы итоги того проекта? Насколько были достигнуты планы?

Решение продолжает работать на стане 5000 в полном объеме. В прошлом году загрузка агрегата была в целом стабильной, и наше решение отработало в соответствии с ожиданиями – производительность выросла до 6,5% относительно года внедрения. Мы ведем дальнейшую работу по цифровизации линии стана 5000 в направлении технологии, а также по автоматическому вызову слябов из печей от моделей для сокращения пауз между прокатными группами.

— Как выбираются цели для построения очередных моделей?

Ранее для нас приоритетными были решения, которые приносят значительный экономический эффект, оцифровывают работу на конкретном важном участке производства и окупают затраты на их разработку. Сейчас они составляют не менее 50% портфеля проектов. Остальные 50% – проекты в области улучшения качества технологического процесса, а также в области повышения уровня безопасности, где денежный фактор отходит на второй план, так как безопасное производство – наша базовая ценность.

— Исходя из чего был выбран АНГЦ-4?

Агрегат непрерывного горячего цинкования №4 расположен в производстве плоского проката, которое является одним из флагманов цифровизации на ЧерМК. Там скоростью непрерывно-травильного агрегата №3 уже успешно управляет наше решение на основе искусственного интеллекта, на двух других агрегатах цинкования модели способствуют улучшению качества нанесения цинкового покрытия и экономии цинка. Поэтому этот проект – логичное продолжение начатого ранее перехода на цифровое управление ключевыми агрегатами. Они достаточно автоматизированы, что позволяет нам собирать нужный объем данных для анализа и осуществлять прямое управление от моделей. Также при принятии решения о старте разработки мы преследовали актуальную на тот момент бизнес-цель по увеличению производительности агрегата.

— В чем принципиальное отличие этого проекта, например, от прокатного стана 5000? В чем его сложность?

Прежде всего отличие состоит в самом технологическом процессе и применении концепции Data Fusion для решения задачи. Сам по себе агрегат является непрерывным, что означает необходимость оценки большого количества параметров в реальном времени, сопоставления разнородной информации и учета ограничений для принятия решения системой об оптимальном управлении агрегатом в текущий момент времени.

— Судя по всему, каждое из создаваемых решений является уникальным. Их каждый раз приходится создавать с нуля или есть какие-то общие наработки, позволяющие ускорить создание моделей?

Уникальность решений и максимизация эффектов, действительно, зависят от возможности кастомизации, учета особенностей агрегата и технологического процесса. Однако при проектировании архитектуры решения и в разработке мы активно используем типовые для нас компоненты и накопленные наработки. К примеру, в быстром запуске цифровых решений нам помогает библиотека собственной разработки Typed Blocks, которую мы выложили в открытый доступ на GitHub. В основе библиотеки лежит event-driven подход, благодаря чему решения удобно дополнять и масштабировать в зависимости от целей проекта и можно собрать приложение, как конструктор.

— В чем заключались проблемы АНГЦ-4, какие задачи требовалось решить?

Агрегат непрерывного горячего цинкования предназначен для непрерывной термохимической обработки стальной полосы для защиты от коррозии. Ранее оператор вручную управлял скоростью полосы и параметрами печи термохимического отжига. При этом для верного определения скорости оператору было необходимо контролировать несколько десятков параметров. Более того, ему приходилось прогнозировать их состояния в будущем, что довольно сложно, учитывая значительную инерционность некоторых параметров. Для повышения эффективности процесса был необходим переход от ручного к автоматическому режиму управления скоростью агрегата в технологической части и к автоматическому управлению нагревом полосы в печи термохимического отжига.

— Какие технологии использовали?

Решение построено на нашем озере данных. Сбор данных с источников осуществляется с помощью NiFi и сервисов собственной разработки на Java. В качестве шины данных используется Kafka, для долгосрочного хранения данных – Hadoop. Решение написано на языке Рython и обернуто в docker-контейнер, оркестрация организована в Kubernetes.

— Что собой представляет созданное решение, каковы его возможности?

Решение, получившее название «Ангелина», сочетает в себе модели на основе правил технологии, физического моделирования, машинного обучения, а также модели регулирования с обратной связью.

Подход к управлению скоростью основан на представлении технологического процесса как системы ограничений, которые проверяет модель перед выработкой команды управления скоростью средней части агрегата (СЧА). Посредством анализа данных было выделено более 50 параметров технологического процесса, которые учитываются в работе модели. Среди них – текущая скорость СЧА, толщина и ширина металла, марка стали, толщина цинкового покрытия, температуры атмосферы и футеровки в зонах печи, загрузка печи, содержание различных газов в атмосфере печи, температура полосы в нескольких точках агрегата, точка росы и другие показатели.

Если все показатели находятся в допустимых значениях, модель отдает команду на увеличение скорости СЧА. Шаг увеличения скорости зависит от оценки общего потенциала ускорения. Также проработаны защитные механизмы, когда модель снижает скорость полосы с целью недопущения производства несоответствующей продукции по причине выхода температуры полосы ниже минимальных значений.

— Какие сложности возникали?

При переходе на автоматическое управление скоростью мы выявили ряд недостатков в существующей системе управления нагревом, приводящих к потерям производительности. Поэтому приняли решение дополнительно разработать модель управления нагревом для поддержания заданной температуры полосы и стабильности процесса. Для этого была реализована модель управления нагревом в камере безокислительного нагрева печи термохимического обжига. Управление мощностью камеры реализовано на основе физической модели тепловых процессов, подхода Model Predictive Control (MPC) для расчета управления и подхода Moving Horizon Estimation (MHE) для идентификации параметров физической модели.

Отдельной сложной задачей была автоматизация переходов между различными сортаментами металла с разными физическими свойствами и технологическими ограничениями, а также с учетом большой инерционности печи термохимического отжига. Модель планирует оптимальные переходы и управляет переходами в соответствии с планом и учетом текущего состояния агрегата. Для планирования переходов также использовалась физическая модель тепловых процессов и модель машинного обучения на основе градиентного бустинга.

— Насколько хорошо решение воспринял персонал?

В цифровых решениях одним из важнейших шагов после внедрения является обеспечение их приживаемости. В этом процессе ключевой является обратная связь от всех операторов, использующих решение – она ускоряет адаптацию и дает возможность оперативно скорректировать нюансы, возникающие при работе с моделью. Также для диагностики работы моделей управления скоростью, нагревом и переходами используется инструмент визуализации данных Grafana. Инструмент позволил настроить дашборды под разные потребности: спидометры для отслеживания времени работы агрегата в автоматическом режиме, контроля поступления данных, визуализировать технические и бизнес-метрики, а также другие значимые параметры.

— Часто компании очеловечивают искусственный интеллект, чтобы было проще воспринимать его рекомендации, и дают решениям человеческие имена. Систему назвали «Ангелина» из-за этого?

Эта традиция пошла от «Евы» – нашей первой нейросети для классификации дефектов металлопроката, названной так с отсылкой к библейскому персонажу. Некоторые последующие модели тоже получили свои имена. Например, модель «Аделина», которая задает скорость управления НТА-3, названа так в честь математика Ады Лавлейс, известной тем, что создала описание вычислительной машины и составила первую в мире программу для этой машины. «Ангелина» так названа из-за созвучия с аббревиатурой агрегата АНГЦ-4. Количество решений неизменно растет, дать имена всем будет непросто, но некоторые приживаются и используются.

— Какие результаты достигнуты и ожидаются?

Производительность АНГЦ-4 за три месяца увеличилась на 3,4%. Ввиду сложных экономических условий в первой половине 2022 года загрузка агрегата несколько снижалась, но это не сказалось на качестве работы модели и частоте ее использования операторами. Даже с учетом сниженной загрузки экономический эффект за время эксплуатации решения составил более 100 млн руб. Автоматизированная система не только существенно ускоряет производительность агрегата, но и повышает комфорт работы операторов, передавая часть рутинных операций цифровым инструментам.

— В чем роль этого проекта для бизнеса?

Реализация подобной комплексной системы отражает передовой опыт «Северстали» в переходе от классических систем управления производством к более усовершенствованным (Advanced Process Control) с использованием инструментов искусственного интеллекта. Повышение производительности агрегата без привлечения капитальных инвестиций позволяет гибко реагировать на запросы клиентов и удовлетворить их потребности в объеме металлопроката. Нам удалось перейти на качественно новый способ управления агрегатом, гарантирующий полное соблюдение технологии производства, и в то же время избежать влияния человеческого фактора.

— А что дальше? Каковы ближайшие планы?

Мы делаем акцент на разработке комплексных цифровых систем для стабилизации технологических процессов и улучшения производственных показателей. В частности, это создание цифровых двойников, также нас интересует обучение моделей компьютерного зрения на малом объеме данных и синтетически сгенерированных данных для решения более широкого спектра задач.

AR не сразу строилась

Потратили слишком много денег и времени, но сделали выводы

«Северсталь-инфоком» занимается исследованием и внедрением прогрессивных технологий в компаниях холдинга «Севергрупп». Эксперименты не всегда оказываются успешными, но без них невозможно проверить гипотезы, а значит, найти новое решение. Главное — извлечь уроки и не бояться признать ошибку.

В этой подборке — три неоднозначных кейса. В первом случае подходящее решение так и не нашли, во втором потратили очень много денег, а в третьем — времени.

Дополненная реальность для навигации на складе

Длительность проекта: 8 месяцев (не окончен)

Команда: 9 человек

Что хотели сделать

Над внедрением технологии дополненной реальности работают в онлайн-магазине «Утконос», который вместе с «Северсталью» входит в «Севергрупп». AR-приложение должно ускорить сборку заказов на складе: алгоритм строит оптимальный маршрут и стрелками показывает сборщику, куда идти.

Для начала планировали разработать приложение, а потом адаптировать под него «умные» очки. Но до очков дело так и не дошло — возникли сложности с работой приложения, которые пока не удаётся преодолеть.

Фулфилмент-центр "Утконоса"

Поиск решения и ошибки

  • Графические метки. На входе в одну из зон комплектации разместили графическую метку для сканирования — листок формата А4 с картинкой. Картинка может быть почти любой, главное, чтобы его могла распознать камера. Например, подойдёт QR-код.

    Смартфон сканирует метку и привязывается к начальной точке маршрута. После этого можно ввести координаты места, до которого нужно добраться — приложение проложит путь. Пользователь должен смотреть на экран смартфона и следить за стрелками.

    За реализацию этой технологии взялись в первую очередь, потому что она самая простая — классический пример дополненной реальности.

    На деле всё оказалось сложнее. Стрелки смещались, маршрут сбивался, и смартфон не мог определить местонахождение пользователя. Чтобы всё работало нормально, смартфон приходилось постоянно держать прямо перед собой на вытянутой руке — это неудобно и не подходит для сборщиков.

    Выяснить причины сбоев не получилось, и приложение не пошло дальше прототипа.

  • Spatial mapping (построение облака точек). Специалисты отсканировали помещение и создали его модель. Нужно покрутить вокруг себя смартфоном — тогда программа распознает местонахождение пользователя и поведёт его по маршруту. Здесь возникла та же проблема, что и с метками, — приложение сбивается и не может понять, где находится пользователь.
  • Bluetooth-маяк. Маяки установили на складе, чтобы они отслеживали перемещения. Если кто-то проходит мимо маяка, смартфон сразу получает информацию о его нахождении. Раз у смартфона не выходит сориентироваться в помещении самостоятельно, возможно, ему нужна помощь извне.

Что получилось

Вариант с Bluetooth-маяками взяли в работу недавно, так что пока ничего. Тестирования покажут, лучше ли он, чем идеи с метками и облаком точек.

Эксперимент переехал в воронежский офис «Северсталь-инфоком» — в компании хотят использовать технологию ещё и для того, чтобы помочь новым сотрудникам сориентироваться в офисе.

Следующий вариант, с которым хотят поэкспериментировать — лампочки Philips, способные передавать данные. Они мерцают на определённой частоте и позволяют определить, где находится смартфон. Эксперимент также проводился только на нулевом уровне, для возможности высотного пикинга метки не тестировались.

Удалённая экспертиза с помощью «умных» очков

Длительность проекта: 5 месяцев

Команда: 2 человека

Что хотели сделать

Работа над этим кейсом проходила на трёх предприятиях «Севергрупп»— «Северсталь», «Свеза» и Nordgold. Думали над решением, которое позволит сотрудникам получать консультации от коллег по видеосвязи.

Тему прорабатывали с 2018 года, но этой весной из-за пандемии резко увеличилось количество запросов на удалённую экспертизу по техническому обслуживанию зарубежного оборудования. Сотрудникам часто требовалась помощь от иностранных экспертов. 

В идеале нужно было найти способ использовать дополненную реальность, чтобы эксперт мог мышкой рисовать пометки, которые сотрудник увидит сквозь «умные» очки.

Так выглядят умные очки

Поиск решения и ошибки

Специалисты выбрали несколько моделей «умных» очков для тестирования. Выяснилось, что у всех есть свои минусы, которые можно было бы спрогнозировать и сэкономить много времени и средств.

  • Epson. У этих очков нет своего интерфейса — только классический Android. Для управления используется сенсорная панель на поясном пульте, что очень неудобно при использовании на производстве.
  • Microsoft HoloLens считаются самыми передовыми, управление производится голосом и жестами. Но одного заряда батареи хватает всего на три часа, а стоимость достигает 500 тысяч рублей — очень дорого. Ещё один момент, о котором сразу не подумали, — у Microsoft HoloLens нет русификации. Те, кто не владеет английским, испытывали серьёзные неудобства при эксплуатации. И самое печальное: дорогие очки даже не получилось протестировать на производстве — у них нет российской сертификации по промышленной безопасности. О её необходимости узнали, когда уже собирались везти очки в цех.
  • RealWear. На это решение смотрели с особой надеждой — очки пыле- и влагозащищённые, можно носить с каской, есть сменный аккумулятор и голосовое управление на русском языке. Вариант казался идеальным, но пришлось от него отказаться из-за высокой стоимости — около 250 тысяч рублей за штуку.

Очки ещё нужно зарегистрировать в корпоративной сети, дать доступ на видеопоток и согласовать все эти процессы со службой безопасности — этот процесс занимает дополнительное время.

Сложно было и подобрать софт. Приложение TeamViewer Pilot и другое ПО подобного плана, в котором можно делать пометки и обмениваться файлами, успешно прошло все испытания. Но служба безопасности не пропустила — человек может посмотреть в сторону и показать что-то конфиденциальное, отследить это невозможно. Поэтому TeamViewer Pilot признали небезопасным.

Что получилось

После тестирования очков стало понятно, что можно обойтись и без них. Сейчас их вообще не используют — заменили на смартфоны.

Из ПО выбрали корпоративный Microsoft Teams, что решает проблемы конфиденциальности. Служба безопасности может проверить, что именно показал человек по видеосвязи собеседнику, посмотреть видеозаписи в архиве.

От идеи использовать очки в будущем не отказались — они помогут, если рабочему нужны свободные руки. Можно будет разговаривать с экспертом и что-то делать по его инструкциям. Поэтому на производстве продолжают следить за рынком, ждут выхода «умных» очков от Apple.

Маркировка металлических рулонов

Длительность проекта: 18 месяцев

Команда: 20 человек

Внешне все рулоны готовой стали одинаковые, но их механические и другие потребительские свойства отличаются. Для автопроизводителей, например, важна пластичность материала, сталь не должна трещать и ломаться при сгибании. А для военных производств важна повышенная прочность.

Если перепутать и отправить, например, на автомобильный завод жёсткий металл для подводных лодок, то заказчик сломает своё оборудование. А броню танка изготовят из мягкого металла. Чтобы такого не случилось, все рулоны маркируют.

Маркировка — это уникальный учётный номер, у каждого рулона свой. Даже рулоны из стали одного химического состава, прокатанные по одной технологии, могут иметь различия в механических свойствах. По уникальному номеру рулона можно узнать всё: номер партии, технологию производства, параметры качества, химический состав стали.

Что хотели сделать

После производства рулоны перемещают на склад, освобождая место для следующей партии. Если не маркировать их сразу, то легко запутаться. К тому же «Северсталь» проходит международную сертификацию — по стандартам, металл должен быть промаркирован сразу после производства.

На складе хранится четыре тысячи стальных рулонов, и сотрудники должны знать, где находится каждый.

Долгое время процесс оставался невыстроенным — люди наносили маркировку на металл вручную, записывали в журналы и отмечали там все перемещения. Часто случалось, что бумажный учёт не сходился с реальностью — в журнале за рулоном было закреплено одно место на складе, но по факту он находился в другом, уже был порезан и отправлен потребителю.

Кроме того, при ручной маркировке рабочий мог ошибиться или нанести цифры неразборчивым почерком. Притом что машинист крана, перевозящий рулоны, должен увидеть и разобрать маркировочный номер из кабины с высоты семь метров.

Поэтому нужно было придумать более современный способ маркировки и её автоматического распознавания. В 2016 году началась работа над 3D-складом, занявшая 18 месяцев.

Поиск решения и ошибки

В первую очередь протестировали бирки, которые можно просто наклеивать на рулоны. Выяснилось, что при температуре в 600 градусов — металл настолько горяч даже после охлаждения — бирки начинают пузыриться и сгорают. На рынке есть этикетки, которые выдерживают такую и даже более высокую температуру, но их не рассматривали из-за слишком высокой цены.

Затем решили использовать RFID-метки на магнитной и самоклеящейся основе. Это пластиковые метки с чипами, похожие используют в магазинах одежды, чтобы предотвратить кражу вещей.

Такой вариант не подошёл: клещи крана настолько сильно захватывают рулон, что метки в пластиковом корпусе расплющиваются. Да и стоимость оказалось очень высокой — несколько десятков долларов за штуку. Теоретически можно было повысить стоимость рулонов, чтобы окупить производство. Но только теоретически: конкуренция на рынке слишком высокая и заставляет думать о себестоимости.

Во время разработки решения не учли и ещё один фактор — машинисты кранов из кабины не могли разглядеть ни этикеток, ни меток. Это выяснилось только во время тестирования, когда работники стали жаловаться.

В конце концов решили остановиться на технологии маркировки высокотемпературной краской. Сделали маркировочную головку для оборудования подачи и циркуляции краски и стали проверять разные виды краски. Маркировку — как символьную, так и с нанесением DataMatrix-кода —тестировали с помощью готового японского робота.

Маркировочная головка — это по сути струйный принтер. Печатать нужно очень быстро — каждые полторы минуты появляется новый рулон, максимальное время на маркировку — 30 секунд. По задумке, код должны были считывать камеры и передавать данные в систему 3D-склада как атрибут входящего объекта. Но появились проблемы с качеством печати, критичные для распознавания DataMatrix. В итоге уровень считывания не превышал 30%.

Специалистам казалось, что найти подходящую краску будет несложно, но в итоге потратили на это полгода. И в итоге среди готовых отечественных красок подходящую так и не нашли.

Что получилось

Разработанная маркировочная система уступает по качеству и стабильности оборудованию европейских производителей, поэтому в другом цехе заказали итальянскую систему. Сейчас специалисты признают, что стоило сразу обратиться к иностранному производителю.

Между тем, специально для «Северстали» на ярославском заводе создали новую краску — скорректировали состав так, чтобы она не забивала оборудование и выдерживала высокие температуры.

Действующая система маркировки–распознавания маркирует металл символами. Результат для автоматического распознавания неплох — 95–98%. Маркировку теперь не нужно наносить вручную, лишь в отдельных случаях нераспознанные номера оператор выбирает из списка самостоятельно. Себестоимость маркировки составляет 30-60 копеек на тонну.

Это примеры того, что новые технологии — не панацея, они не всегда успешны с первого раза или дают точно те результаты, на которые был сделан изначальный расчёт. Не надо бояться пробовать и, что важнее, признаваться в том, что не все пробы были удачными. Истории потрясающих успехов без осечек больше не вызывают доверия у сообщества, и мы этому рады, потому что предпочитаем честно и прозрачно делиться любым опытом. Надеюсь, рассказ о наших проектах будет полезен всем, кто идёт на риск и на эксперимент, развивая свою компанию с помощью технологий.

Сергей Дунаев, генеральный директор «Северсталь Инфоком»

Causal inference for a steel mill.

How to create a data science product for a steel mill

How to create a data science product for a steel mill that combines human expertise and causal inference principles.

Our project

I want to share my experience in creating a data science products for a Severstal mill located near St. Petersburg. We produce steel rolls up to 5 meters wide at this mill. For example, you can create oil and gas pipes fr om this type of steel. As an input, you send a 20-tonne steel slab, and after 15–30 iterations steel is transformed into a sheet with expected thickness.

Here is the video you can watch to get more insights on the process:

Before our project, an operator used to choose a speed for each iteration manually, and our goal was to automate this process. Our model is working in the real-time mode right now, and we can observe that model’s speed is more than a human’s speed by 5+ %.

Why can’t you choose the maximum possible speed in each iteration? The higher the speed, the higher the electric current (I) on engines, and if a current is more than a threshold, your engine will stop working to prevent a failure. So, an operator chooses a speed considering thickness, delta (a difference in thickness before and after an iteration), and other parameters.

Data

For simplicity, we assume that we only have thickness, delta, speed, and current in our data.

Let’s have 20000 iterations in our dataset. Let’s generate thickness fr om a uniform distribution with a minimum equal to 5 and a maximum equal to 15 and generate delta fr om the same distribution but with a minimum equal to 1 and a maximum equal to 4. It means that the metal thickness before an iteration will be between 5 and 15, and this thickness will be reduced by 1–4 points in each iteration.

Suppose that an operator chooses a speed according to this rule:

df['speed'] = np.round(25 - 0.1 * df['thickness'] ** 0.9 - 4 * df['delta'] ** 1.1

Also, an operator can choose a speed higher by 1 unit with a 5 % probability or lower by 1 unit with the same probability.

So, our speed is within 4.61–21.47 range.

Let our electric current obeys this rule:

df['I'] = 3000 + 1500 * (df['thickness'] ** 0.8 + 5 * df['delta'] ** 1.4) + 2000 * df['speed']

Additionally, let’s add some noise to our current. The noise would be taken fr om a normal distribution with a standard deviation equal to 500.

So, we can split our dataset into three parts: 15000 observations in a train set, 2500 — dev, 2500 — test.

Let an electric current excess starts fr om 78647 units — it is a rare situation with a frequency of about 0.3 % in our dataset.

Everything is ready for our research =)

Direct approach

You can choose the wrong way to deal with this problem: sel ect a powerful algorithm and train it on your data. For example, you can use gradient boosting, train it, and vary a speed in a way to improve productivity and do not to exceed an electric current.

We have selected an algorithm with 12 leaves, 0.1 learning rate, and 500 trees, and our RMSE is 500±50 on all our datasets (train, dev, and test). The metric is remarkably close to the actual error (500), so we can say that our algorithm is close to the perfect one.

But this is correct only if we are working within the same distribution =)

Let’s choose a speed for each observation in our test set. We will start with maximum speed fr om our distribution and will stop if our electric current prediction is less than a critical one minus three standard deviations. As a standard deviation, we will take 600 (our 500±50 and small insurance):

def speed_choose(thickness, delta, model=bst, prelimit=limit - 600 * 3): speeds = list(range(4, 22)) speeds.reverse() for speed in speeds: df = pd.DataFrame({'speed': [speed], 'thickness': [thickness], 'delta': [delta]}) if model.predict(df) < prelimit: return speed return 4

Source: gistfile3.py on GitHub.

Our new speed is more than 30 % better than the old one! Great result!

Let’s see how our engines are working. Since we know the true dependency between speed and electric current in our virtual world, we can simulate the result of our experiment:

test = test.assign(I_new=test['I'] + (test['ml_speed'] - test['speed']) * 2000) print((test.I_new > limit).sum() / test.shape[0])

Source: gistfile4-py on GitHub.

So, we have 31.7 % of cases when our electric current is higher than critical, and it is 100 times more frequent event comparing the manual control period. How is it even possible? When we trained our algorithm, it didn’t have any information about the causation between speed and thickness with delta. Therefore, our algorithm remembered an electric current for each combination of speed, thickness, and delta. If we change speed, the model still sees old thickness and delta and thinks that everything will be fine. What can we do in this situation?

Maybe we should predict a speed?

Our goal is to speed up our mill. We know that an operator can work better or worse in similar situations. So, we can predict speed based on the best speed fr om our past!

For these types of problems, k-NN is a perfect algorithm (we can choose a speed exactly from the past by it):

mm_scaler = preprocessing.MinMaxScaler() X_train_minmax = mm_scaler.fit_transform(X_train[['thickness', 'delta']]) neigh = KNeighborsRegressor(n_neighbors=20) X_train_clean = X_train[y_train['I'] < lim it].reset_index(drop=True) X_train_clean_minmax = mm_scaler.transform(X_train_clean[['thickness', 'delta']]) neigh.fit(X_train_clean_minmax, X_train_clean[['speed']])

Source: gistfile5-py on GitHub.

With this algorithm we can achieve a 1.2 % increase in the productivity with the electric current excess rate of only 0.24%:

X_dev_minmax = mm_scaler.transform(X_dev[['thickness', 'delta']]) kn = neigh.kneighbors(X_dev_minmax, return_distance=False) dev = dev.assign(ml_speed=[X_train_clean.loc[i, 'speed'].quantile(0.8) for i in kn]) print(dev.ml_speed.mean() / dev.speed.mean()) dev = dev.assign(I_new=dev['I'] + (dev['ml_speed'] - dev['speed']) * 2000) dev = dev.assign(I_new_predict=bst.predict(dev[['ml_speed', 'thickness', 'delta']])) print((dev.loc[:, 'I_new'] > lim it).sum() / dev.shape[0])

Source: gistfile6-py on GitHub.

Great result! But can we do better?

Causal Inference

To reach a speed better than we got from k-NN, we should extract true dependency between a speed and an electric current. How can we do it when our dataset consists only of observations with interdependencies? We can start an experiment, but it is an expensive way on a real mill. However, we can work with interdependencies using causal inference methods.

We would like to demonstrate the work of one of the simplest causal inference methods. This method is simple, but also a strong one:

1) Let’s create a model wh ere we will predict speeds through thicknesses and deltas. This model shouldn’t be too accurate but should incorporate dependency between our variables:

Xc = train[['thickness', 'delta']] Xc = sm.add_constant(Xc) Yc = train[['speed']] modc = sm.OLS(Yc, Xc) resc = modc.fit()

Source: gistfile7-py on GitHub.

2) Let’s split our dataset by predictions of this model, so in each part of this dataset will be similar predictions. Then we train different linear regression models on each of these datasets:

coefs = {} for i in range(6, 19): train_new = train.copy() train_new['bin'] = ((resc.predict(Xc) < (i + 2)) & (resc.predict(Xc) >= i)).astype(int) Xcb = train_new[train_new.bin == 1][['speed', 'thickness', 'delta']] Xcb = sm.add_constant(Xcb) Ycb = train_new[train_new.bin == 1][['I']] modcb = sm.OLS(Ycb, Xcb) rescb = modcb.fit() coefs[i] = rescb.params['speed']

Source: gistfile8.py on GitHub.

3) And now our coefficients are much closer to 2000: they vary fr om 1924 to 2031. If we create a linear regression without this split, we will receive a coefficient equal to 1404, which will lead us to an underestimation of a speed influence and, as a result, electric current excesses. Why is this approach working? We could presume that the splitting of our original dataset by these bins allows us to detect sets with similar values of thicknesses and deltas with respect to speeds. Therefore, we can better determine the relationship between speed and an electric current.

4) Now we can take a maximum of these coefficients and choose a speed with this knowledge:

dev.loc[:, 'ml_speed'] = dev['ml_speed'] + (lim it - 600 * 3 - dev['I_new_predict']) / step dev.loc[:, 'I_new'] = dev['I'] + (dev['ml_speed'] - dev['speed']) * 2000 print((dev.I_new > lim it).sum() / dev.shape[0]) print(dev.ml_speed.mean() / dev.speed.mean())

Source: gistfile9-py on GitHub.

The electric current excess is less than before! And we have achieved a 30 % speed improvement!

5) And we see that the result is consistent with our test set:

test = df[17500:] X_test = test[['speed', 'thickness', 'delta']] y_test = test[['I']] X_test_minmax = mm_scaler.transform(X_test[['thickness', 'delta']]) kn = neigh.kneighbors(X_test_minmax, return_distance=False) test = test.assign(ml_speed=[X_train_clean.loc[i, 'speed'].quantile(0.8) for i in kn]) test = test.assign(I_new_predict=bst.predict(test[['ml_speed', 'thickness', 'delta']])) test.loc[:, 'ml_speed'] = test['ml_speed'] + (lim it - 600 * 3 - test['I_new_predict']) / step test.loc[:, 'I_new'] = test['I'] + (test['ml_speed'] - test['speed']) * 2000 print((test.I_new > lim it).sum() / test.shape[0]) print(test.ml_speed.mean() / test.speed.mean())

Source: gistfile10-py on GitHub.

It is much better than the direct approach =)

Conclusion

We have an unfair advantage in this virtual example because we know the real dependency between a speed and an electric current, so we can see what actually happens with an electric current when a speed increase. In the real world, it is unknown to us. We can test our model on historical data, but in the real world our model might cause an electric current excess and stop a mill. So, we can do two simple things to prevent the risk:

1) We can start our improvement with small steps of speed. Thus, we can be close enough to our historical distribution and trace when it differs significantly.

2) Also, we can start with a recommendation system without direct control of the mill’s speed. Thus, an operator should confirm our recommendations on the first stage of the pilot.

In a short time, an operator will start to be confident in the proposed system, and it can be shifted to the full automation mode with a gradual increase in the speed. Today we have a maximum speed of the mill about 33 % higher than a year ago, and the average speed is higher by more than 5 %.

By the way, if you want to know more about causal inference, you can start with this tutorial.

The full code for this article available here.

Source: Towards Data Science.

Российская промышленность хочет заменить софт Siemens и GE

Платформа нового поколения S/4HANA, которая заменит SAP ERP

Компании «Еврохим» и «Северсталь» совместно с рядом других промышленных предприятий разрабатывают отечественную автоматизированную систему управления технологическим процессом (АСУ ТП) на базе открытого кода. Об этом на пленарном заседании конференции «Цифровая индустрия промышленной России» (ЦИПР) в Нижнем Новгороде заявил председатель совета директоров и основной владелец «Северстали» Алексей Мордашов.

«Создана рабочая группа при поддержке Минпромторга, сопредставителями в которой являются «Еврохим» и «Северсталь», а участниками – «Норникель», «Фосагро», «Уралхим», ассоциация «Индустриальные инновации» (среди участников «Газпромнефть – цифровые решения» и «Нефтетранссервис»). Целью этой рабочей группы является инициатива по созданию отечественной АСУ ТП», – рассказал бизнесмен.

По его словам, первая задача – написание нового открытого кода. «Сегодня мы пользуемся АСУ ТП, которая базируется на проприетарных продуктах таких поставщиков, как [американская] GE, [немецкая] Siemens, и сегодня они стали нам недоступны и закрыты для дальнейшей доработки», – отметил Мордашов. Он предлагает создать национальный открытый софт для АСУ ТП, который могли бы «дорабатывать все и он бы не ставил в зависимость от конкретного поставщика».

Потенциал рынка импортозамещения АСУ ТП составляет несколько десятков миллиардов рублей. В 2021 г. аналитики J’son & Partners Consulting оценивали весь российский рынок таких систем в $541 млн (около 40 млрд руб.). Агентство прогнозировало ежегодный рост рынка на 10–12%. Но после начала СВО из-за ухода основных игроков – Siemens и GE – рынок сократился на 18–20%, оценивает директор Ассоциации интернета вещей Андрей Колесников.

Как будет расти рынок автоматизированных систем управления технологическими процессами в РФ

Количество решений АСУ ТП в разных отраслях промышленности велико, причем речь идет не только о замещении части иностранных продуктов, но и о гармонизации отечественных, в том числе созданных in-house, соглашается директор по развитию технологических стандартов «Платформы НТИ» Никита Уткин. Сейчас большинство предприятий используют иностранные решения от Siemens и GE, добавляет он.

Для открытой АСУ ТП крайне важно определить спецификацию, которая определяет, каким образом ПО должно работать, т. е. как пользователь будет взаимодействовать с автоматизированным рабочим местом, программным интерфейсом драйвера контроллера, логическим модулем работы предприятия и т. д., рассуждает гендиректор компании – разработчика российского веб-сервера Angie Заур Абасмирзоев. Создание такого класса ПО распределяется между независимыми разработчиками, которые используют спецификацию как шину для взаимодействия. Это значит, что не надо ждать условно одного разработчика в реестре отечественного ПО с готовой системой, отмечает он.

Индустриальный центр компетенций (ИЦК) «Нефтегаз и нефтехимия» уже приступил к реализации «Открытой платформы промышленной автоматизации», рассказал «Ведомостям» в кулуарах ЦИПР директор дирекции информационных технологий, автоматизации и телекоммуникаций «Газпром нефти» Антон Думин.

По его словам, платформа базируется на открытых стандартах взаимодействия между работающими на собственном коде и аппаратно-программном исполнении устройствами АСУ ТП. В случае с открытой платформой все игроки, которые занимаются микроэлементной базой, контроллерами, специализированным софтом, основными производственными комплексами, будут совместимы.

«В перспективе мы рассчитываем на применение открытой платформы для промышленной автоматизации на уровне страны как кросс-индустриального решения. Например, кроме «Северстали» с нами ведет переговоры «Уралхим». Среди участников присутствуют «Сибур», «Новатэк», «Лукойл», а также производители оборудования и софтверные компании», – сказал Думин. Уже сейчас на открытой платформе развиваются шесть НИОКР, среди которых создание открытого кода для таких компонентов, как виртуальные контроллеры, базы данных реального времени, операционные системы реального времени и т. д.

Открытая АСУ ТП внутри России может сократить путь к импортозамещению, подтверждает операционный директор Центра развития технологий АСУ ТП и цифровизации производства группы «Рексофт» Ольга Макова. В первую очередь это позволит легче совмещать ПО и оборудование различных российских вендоров, указывает она.

Большая вариативность вендоров создает повышенную нагрузку на IT-функцию в части обновления, поддержки и интеграции решений, продолжает директор департамента «Индустрия X» компании Axenix Алексей Фролов. У внутреннего IT-штата на промпредприятиях не так много возможностей для изучения новых технологий и их внедрения, отмечает партнер и директор по развитию HRlink Дмитрий Махлин. Именно поэтому на большинстве предприятий сильно устаревшая IT-инфраструктура, объясняет он. А переход на импортонезависимые продукты они оттягивают потому, что надеются на снижение санкционного давления, добавляет он.

Крупные предприятия, на базе которых в 2022 г. были созданы ИЦК, за год инвестировали десятки миллиардов рублей в создание отечественных IT-решений, о чем их руководители отчитались на ЦИПР премьеру Михаилу Мишустину. Например, общая стоимость проектов ИЦК «Металлургия», который курирует «Северсталь», составила 11 млрд руб., 90% из которых покрываются компаниями-участниками. В рамках ИЦК «Металлургия» компании разрабатывают составляющие решения АСУ ТП, например системы диспетчерского управления и сбора данных (SCADA) и системы управления производственными процессами (MES).

Вызывает серьезные опасения, что крупные производственные холдинги, основным бизнесом которых является добыча и переработка полезных ископаемых, возьмут на себя роль разработчика рыночных цифровых продуктов, говорит технический директор ГК «Цифра» Юрий Крылов. Российской промышленности было бы эффективнее закупать решения у IT-компаний с рынка и фокусироваться на настройке и внедрении рыночных продуктов для своих производственных процессов, указывает он. 

На международном уровне стандартами для АСУ ТП занимается Организация автоматизации (ISA), в состав которой входят более 10 000 компаний и институций из разных стран, обращает внимание Колесников. Попытки сделать что-то свое можно приветствовать, говорит он, но добавляет, что изобретать велосипед не стоит, а нужно использовать доступные и открытые международные стандарты и рекомендации.