Все мы сталкивались с системами и программами, которые используют возможности компьютерного зрения: от камер видеонаблюдения до сервисов обработки фотографий и распознавания текста. Не говоря уже о том, что регулярно появляются новые приложения для смартфонов, подсказывающие, например, правильно или нет пользователь выполняет асаны йоги, отбивает мяч ракеткой или бросает его в баскетбольное кольцо.
Все они занимаются вычислением позы, в основе которого — всё то же компьютерное зрение.
Зрение — это главный источник информации для человека, благодаря которому мы получаем, по разным оценкам, 70-90% всей информации. Естественно, если мы хотим создать «умную машину», нам необходимо реализовать те же самые навыки и в компьютере. Научить его видеть, понимать, что запечатлено на изображении. Нам кажется, что сделать это очень просто. В то же время с точки зрения компьютера — это совершенно непонятный набор чисел, из которого еще нужно научиться извлекать важную информацию.
Это было бы невозможно без специалистов из Нижегородской области, которые научили компьютер «видеть», создав библиотеку OpenCV. Она содержит в себе готовые инструменты для считывания изображений, их базовой обработки, запуска нейронных сетей. Благодаря тому, что это берет на себя OpenCV, разработчикам продуктов можно не тратить время на написание и тестирование таких базовых алгоритмов и функциональности, как например захват изображения с камер, а сразу приступать к решению конкретных задач.
Библиотеку OpenCV можно сравнить с магазином инструментов и стройматериалов. Благодаря таким магазинам люди при постройке или ремонте дома не должны самостоятельно выковывать топоры, рубить и распиливать на доски деревья в лесу, изготавливать из особой глины раковины для ванной. Хотя и этим можно заниматься при наличии желания, навыков и большого количества свободного времени, но проще взять готовые детали. И это сильно сокращает время и усилия. Точно также OpenCV упрощает создание приложений, использующих компьютерное зрение, хотя не делает этот процесс тривиальным, как и в случае постройки дома.
Корни технологии
Как и многие другие современные российские и шире — мировые исследования и достижения в сфере ИТ, истоки компьютерного зрения можно найти в работах Юрия Неймарка, который 60 лет назад создал в Горьковском госуниверситете (ныне ННГУ им. Н.И. Лобачевского) первый в стране факультет вычислительной математики и кибернетики. Причем причина обращения к этой теме была весьма прозаичной и даже печальной.
В начале 1950-х годов учёный много и тяжело болел. Частое общение с врачами вызвало своего рода «побочный эффект» — Юрий Исаакович начал всерьез работать над математическим подходом к принятию решений при лечении пациентов. Благодаря этому в дальнейшем родилось множество работ, написанных учениками Юрия Неймарка и посвящённых новым методам обработки данных, формированию правил диагностики и прогнозирования. А сам учёный в 1972 г. выпустил книгу «Распознавание образов и медицинская диагностика», в которой сформулированы базовые для компьютерного зрения посылы.
Новая эра
Непосредственно проект OpenCV зародился 25 лет назад. Корпорация Intel искала новые области для применения компьютеров на базе своих процессоров. Компьютерное зрение было выбрано как одна из таких перспективных областей. Для того, чтобы ускорить процесс разработки программного обеспечения в этой области, решено было создать бесплатную библиотеку базовых алгоритмов и инструментов.
Компания решила собрать команду, основная часть которой базировалась именно в нашем регионе: в Нижнем Новгороде и Сарове. Уже в 2000 году состоялся первый публичный релиз библиотеки инструментов для исследований, создания прототипов и готовых приложений в области компьютерного зрения.
Но к 2004 году интерес со стороны компании к OpenCV угас, и поддержка библиотеки сошла на нет.
Да, технология интересная, да, выглядела перспективно, но в то время было непонятно, как ее можно монетизировать. Если бы работа по отслеживанию изменений в библиотеке прекратилась, OpenCV бы затухла. Проектов с открытым кодом тысячи, и большинство из них, к сожалению, погибли.
Но многие участники решили продолжить работу, пусть и за пределами Intel. Так появился проект Itseez, что буквально переводится как «Оно видит!» — детище энтузиастов, уже тогда осознававших перспективы направления, которые сегодня очевидны даже неискушенному в технологиях человеку.
Фактически, всё что делается с изображением, всегда делается на основе OpenCV. То, что вы видите в мобильных телефонах, когда делаете фотографию — лицо детектируется — это алгоритм, который был создан в начале 2000-х. Задачи, связанные с безопасностью дорожного движения: детектирование пешеходов, детектирование опасности столкновения с машиной впереди, детектирование отклонения машины от своего ряда.
Первоначально названная центром компьютерного зрения «Аргус», компания был основана тремя бывшими сотрудниками нижегородского подразделения Intel: Виктором Ерухимовым, Сергеем Молиновым и Александром Бовыриным, к которым позже присоединился Алексей Мяков.
Оставаясь основным разработчиком открытой библиотеки машинного зрения OpenCV, Itseez нашла ей применение в различных областях, в том числе в:
- системах автомобильной безопасности
- интеллектуальных системах видеонаблюдения
- 3D, виртуальной и дополненной реальности
- машинном обучении, в т.ч. нейронных сетях
Мощный импульс к развитию проект получил на волне создания оборудования и программного обеспечения для персональных роботов. При поддержке ведущего мирового игрока этой сферы — исследовательской лаборатории Willow Garage — библиотека была переработана.
В 2010-х годах другой мировой гигант — NVidia — поддержал создание её версии, оптимизированной для современной программно-аппаратной архитектуры CUDA, и варианта OpenCV под Android. Всё это осуществлялось силами инженеров Itseez.
Растущей популярности библиотеки также способствовала техническая революция в компьютерном зрении под названием «глубокое обучение», совершенная в 2012 году Алексом Крижевским.
Раньше человечество не предполагало, что если нейронную сетку натренировать на миллионе изображений, то получится нечто стоящее. Обычно имел место так называемый «эффект перетренировки». Но сети тогда были маленькие, обычно тысячи, может, десятки тысяч нейронов. И оказалось, что если сетку сделать гигантской, под несколько миллионов параметров, и не с одним-двумя скрытыми слоями, а с гораздо большим их числом, и натренировать на миллионе изображений, что изначально казалось почти невозможной задачей, то мало того, что сеть всю эту информацию с пользой усваивает, но количество еще перерастает в качество и начинаются настоящие чудеса. Человечество уже больше 10 лет играет с этой новой игрушкой, и прогресс поистине потрясающий.
Очевидная перспективность и востребованность направлений, реализуемых Itseez, в 2016 году привела тому, что Intel приобрёл основанную своими бывшими нижегородскими сотрудниками компанию. Это первый и пока единственный случай, когда российский стартап по компьютерному зрению купила международная корпорация
Нижегородское компьютерное зрение сегодня
Проект продолжает развиваться. Удалось сохранить команду, которая занимается OpenCV — столица Приволжья и по сей день остается местом, где трудится наибольшее число разработчиков проекта, хотя есть они и в Европе, и в Китае, и в Кремниевой долине. Практически половина всех патчей (инкрементальных улучшений в библиотеке) — заслуга нижегородцев.
Сегодня библиотекой пользуются Microsoft, Google, Nvidia. С ее использованием созданы аудиовизуальная инсталляция в Музее Современного Искусства в Сан-Франциско, панорамы улиц в картах Google, она используется на курсах компьютерного зрения в Стэнфорде и многих других вузах мира, а также для контроля качества монет, изготавливаемых Центробанком Китая.
Всего к настоящему времени её скачали более 23 миллионов раз. Но загружают из интернета OpenCV не обычные пользователи, а разработчики. Тех же, кто имеет с ней дело в конечном итоге — более миллиарда. Её элементы применялись при создании операционных систем Android и iOS, то есть каждый владелец смартфона на планете пользуется трудом местных программистов.
Мы наблюдаем сейчас мощный ренессанс интереса к искусственному интеллекту во многих технологических областях. Это произошло благодаря успехам глубокого обучения. Мне радостно, что он зародился именно в дорогой для моего сердца области компьютерного зрения, и я надеюсь, что компания Itseez и мой родной город Нижний Новгород внесли свой вклад в этот прорыв.
К тому же OpenCV остаётся базой для обучения начинающих ИТ-специалистов. Так, компьютерное зрение - элемент магистерской программы ННГУ им. Н.И. Лобачевского «Компьютерные науки и приложения». В Национальном исследовательском университете «Высшая школа экономики» в Нижнем Новгороде также стартовала новая прикладная программа «Магистр по компьютерному зрению», созданная в совместно с ведущими компаниями ИТ-отрасли: Intel, Huawei, Xperience.ai, RoundU, SBERLAB, AIRI.
Её цель — подготовка магистров, которые смогут работать в любых проектах, связанных созданием 3D реконструкций и фотофильтров, мобильных приложений для распознавания предметов на фото и видео, внедрением машинного обучения в промышленности, ритейле, медицине, банкинге. Также направлению будет уделено значительное внимание в строящемся в регионе образовательном ИТ-центре.
Компьютерное зрение — одно из магистральных направлений, планируемых к развитию на базе межвузовского ИT-кампуса мирового уровня НЕЙМАРК. Накопленная в регионе многолетняя экспертиза позволит готовить специалистов в плотной связке с индустриальными партнерами, активно работающими в данном направлении.
Кроме того, НИУ ВШЭ и НЕЙМАРК сформировали новый профиль для участников Национальной технологической олимпиады, входящей в президентскую платформу «Россия — страна возможностей».
Чтобы принять участие в этой олимпиаде в 2023 году, необходимо до 1 октября зарегистрироваться на сайте. С подробной инструкцией можно ознакомиться на странице поддержки.
Справка
Национально-технологическая олимпиада (НТО, ранее - Олимпиада Кружкового движения) существует с 2015 года. Это командные инженерные соревнования для школьников и студентов, которые хотят и могут решать приоритетные технологические задачи, стоящие перед страной. Её организационный комитет возглавляют первый заместитель руководителя аппарата Президента РФ Сергей Кириенко и заместитель председателя правительства РФ Дмитрий Чернышенко.
Президент Владимир Путин поручил нам работать над повышением престижа инженерно-технических специальностей. Задания Олимпиады как раз направлены на развитие у молодых людей интереса к исследованиям и созданию новых инновационных технологий. Именно от них в будущем зависит обеспечение экономической безопасности и достижение технологического суверенитета России.
Уже в ближайшем учебном году в рамках этого профиля, который так и называется — «Технологии компьютерного зрения и цифровые сервисы» — школьники смогут создать прототип туристического сервиса, позволяющего определить по фотографиям достопримечательности Нижегородской области и построить туристические маршруты для их посещения, а студенты — сервис, дающий возможность сгенерировать на основе загруженных изображений новые тематические маршруты исходя из предпочтений пользователя.
Уверена, что вместе с ИT-кампусом НЕЙМАРК мы сможем достойно отстоять статус Нижнего Новгорода как столицы компьютерного зрения, а наш совместный профиль Национальной технологической олимпиады поможет привлечь в регион лучших абитуриентов в этом направлении со всей России.
Так что у сегодняшних старшеклассников, интересующихся современными технологиями, есть реальные шансы в обозримом будущем не только оказаться востребованными специалистами в таких цифровых гигантах, как Huawei или Yadro, но и вписать свои имена в историю нижегородской ИТ-сферы наряду с ключевыми фигурами, стоявшими у истоков компьютерного зрения в современном понимании и продолжающими его развивать сегодня.
Такими, как Валерий Черепенников, Вадим Писаревский, Алексей Мяков, Андрей Савченко, Сергей Молинов, Александр Бовырин. А также Михаил Толмачёв, возглавляющий соответствующее направление в мюнхенском подразделении EPAM Systems, и Виктор Ерухимов, выводящий на международный уровень уже новую компанию - itSeez3D.
