Развитие интеллектуальных транспортных систем началось не с беспилотности как таковой, а с более фундаментального вопроса: каким образом транспортная система может воспринимать окружающую обстановку достаточно полно, точно и своевременно, чтобы поддерживать безопасное и эффективное движение. На раннем этапе центральное место занимали задачи распознавания образов, ориентирования в пространстве, построения оптимальных маршрутов, обработки сигналов и повышения достоверности машинного восприятия. Именно отсюда возникает интерес к мультисенсорной интеграции, поскольку ни один отдельный сенсор — будь то камера, радар, лидар или навигационный модуль — не способен в одиночку обеспечить полноценную и устойчивую картину дорожной сцены во всём многообразии реальных условий эксплуатации.
Однако по мере развития этой тематики стало ясно, что даже совершенное техническое зрение не снимает главного ограничения: транспортное средство остаётся замкнутым в пределах собственной наблюдаемости. Оно может ошибаться в интерпретации сцены, сталкиваться с геометрическими искажениями, с ограничениями прямой видимости, с временными потерями данных, с погодными помехами и с иными эффектами неполной информации. В этом контексте особое значение приобретают те случаи, которые можно обозначить как «оптические иллюзии» транспортной среды: ситуации, в которых водитель или автоматизированная система строят решение на неполной, искажённой или запаздывающей картине происходящего. Именно здесь впервые особенно отчётливо проявляется необходимость вынести часть знания о ситуации за пределы отдельного автомобиля и превратить взаимодействие в самостоятельный инженерный ресурс.
Таким ресурсом становятся кооперативные интеллектуальные транспортные системы, в которых транспортные средства, инфраструктурные объекты, центры управления и иные элементы дорожной среды начинают рассматриваться как участники единого процесса обмена информацией и согласования действий. В этой логике задача уже не сводится к тому, чтобы сделать каждую машину как можно более автономной в изоляции. Напротив, ключевым становится вопрос о том, как организовать среду, в которой отдельные участники движения могут получать недостающие данные извне, учитывать состояние других агентов и действовать как элементы более крупной согласованной системы. Именно поэтому кооперативные ИТС естественным образом подводят к многоагентному взгляду на транспорт, когда взаимодействие становится не вспомогательной функцией, а основой системной архитектуры.
В этой перспективе особую роль начинают играть V2V- и I2V-взаимодействия. Если V2V позволяет транспортным средствам обмениваться сведениями о собственном состоянии, намерениях и параметрах движения, то I2V формирует инфраструктурный канал знания о дорожной обстановке, режимах регулирования, ограничениях и локальных особенностях конкретного участка улично-дорожной сети. В совокупности эти механизмы создают принципиально новый слой наблюдаемости, который дополняет локальную сенсорику и позволяет преодолевать ограничения индивидуального восприятия. Поэтому в первой части антологии вопрос о взаимодействии появляется не как технологическая мода, а как закономерный ответ на фундаментальные проблемы восприятия, координации и безопасности в транспортной отрасли.
Особое значение I2V-взаимодействия состоит в том, что оно фактически связывает транспортное средство с распределённым интеллектом инфраструктуры. В такой постановке дорога перестаёт быть пассивной поверхностью, по которой движутся автомобили, и становится активным участником дорожной деятельности, способным передавать сведения о светофорных фазах, ограничениях, состояниях узлов, потенциальных конфликтах и рекомендуемых режимах движения. Это делает I2V одним из важнейших оснований для перехода к высокоавтоматизированному и беспилотному транспорту, поскольку автономность в реальных дорожных условиях требует не только сильной бортовой вычислительной системы, но и доступа к внешнему, инфраструктурно организованному слою знания.
Наконец, первая часть антологии показывает, что переход к V2X не был одномоментным технологическим скачком. Ему предшествовало постепенное наращивание инженерного понимания: от задач распознавания и мультисенсорной интеграции — к осознанию ограниченности локального восприятия; оттуда — к кооперативным ИТС и многоагентным моделям; и далее — к V2V, I2V и более общей логике V2X как архитектуры транспортной кооперации. Именно в этом историческом и понятийном движении формируется фундамент всей последующей книги. Здесь закладывается тот язык, без которого невозможно обсуждать ни безостановочное движение, ни интеллектуализированную мобильность, ни будущие A2X-среды, в которых транспорт станет частью более общей агентной экосистемы.
В статье представлена авторская позиция по вопросу организации беспилотного движения на основе систем управления беспилотным транспортом нового поколения – систем, которые используют принципы мультисенсорной интеграции и обогащения данных с сенсоров различной модальности для более точного позиционирования себя в пространстве и построения пространственно-временной 3D-модели окружающей среды со взаимодействующими в ней агентами. Это позволяет решать сложные вопросы от прогнозирования развития ситуации в краткосрочном горизонте планирования до морально-этических вопросов типа «проблемы вагонетки». Новизна работы заключается в представлении авторской позиции относительно того, как должны функционировать бортовые системы беспилотного транспорта. Актуальность работы следует из повышенного интереса исследователей по всему миру к созданию систем беспилотного транспорта и беспилотных автомобилей, передвигающихся по автомобильным дорогам общего пользования. Статья будет интересна всем тем, кто живо интересуется новыми технологиями в транспорте и интеллектуализацией транспортных систем.
Ключевые слова: беспилотный автомобиль, беспилотное движение, интеллектуальная транспортная система, мультисенсорная интеграция, V2X-взаимодействие.
В настоящее время актуальнейшим научным и технологическим вопросом является запуск полноценного беспилотного движения автомобильного транспорта на дорогах общего пользования. Большое количество как производителей автомобилей, так и технологических компаний занимаются разработкой систем для беспилотного движения. Уже сегодня на улично-дорожных сетях пилотных городов по всему миру, в том числе и в России, ездят беспилотные автомобили в тестовом режиме [1]. Более того, производители беспилотных систем для автомобильного транспорта готовы уже сегодня запустить свои разработки в постоянную эксплуатацию для решения транспортных задач.
Широко используемой технологией для ориентации беспилотных автомобилей в окружающем пространстве является технология распознавания образов, которая сегодня базируется на применении нейросетевых методов глубокого обучения. Фактически, распознавание образов для ориентации беспилотных автомобилей в пространстве сводится к выделению на воспринимаемой через видеокамере сцене объектов (выделение объектов из фона) и отнесению выделенных объектов к заранее определённым классам (классификация распознанных образов) [2]. С технологической точки зрения эти задачи эффективно решены, и постоянно появляются новые методы для повышения точности распознавания и классификации [3].
Для выделения объектов на фоне и распознавания образов сейчас применяются искусственные нейронные сети со свёрточной архитектурой. Разнообразные свёрточные нейронные сети на данный момент являются наилучшими инструментами решения различных задач компьютерного зрения [4]. Для отдельных задач свёрточные нейронные сети позволяют получить точность распознавания визуальных образов даже выше, чем у человеческого глаза [5].
Действительно, сама по себе свёрточная архитектура нейронных сетей основана на устройстве зрительной коры головного мозга млекопитающих. Основной особенностью этой архитектуры является то, что в ней слой за слоем осуществляется операция свёртки (отсюда и наименование), которая позволяет выделять абстрактные характеристики воспринимаемых изображений [6]. И чем глубже слой нейронной сети, тем более абстрактными становятся распознаваемые нейронами этого слоя характеристики.Абстрактность характеристик означает, что на глубинных уровнях уже не важно – как сдвинут, повёрнут или масштабирован объект на сцене, соответствующий нейрон всё равно возбудится, если объект присутствует на ней. Эта находка стала прорывом в области решения задач распознавания образов.
Беспилотные автомобили используют технологию распознавания образов для ориентирования в пространстве. Это – главная задача компьютерного зрения, используемого в бортовых системах беспилотных транспортных средств. Ориентирование в окружающей среде подразумевает постоянное обновление оперативной карты локального участка вокруг транспортного средства с нанесением на неё всех помех и динамических объектов, которые участвуют в дорожной движении. Важность этой задачи обусловлена тем, что в процессе движения беспилотного автомобиля обозреваемая им сцена является важным источником информации для принятия решений о том, как осуществлять управление шасси транспортного средства, чтобы сделать поездку безопасной и эффективной.
Современные разработчики беспилотных автомобилей в своём большинстве используют для ориентирования в пространстве именно системы компьютерного зрения. Однако эта технология имеет существенные недостатки, которые делают её плохо применимой в так называемых областях доверия, к которым относится и управление беспилотными автомобилями при их движении по дорогам общего пользования. Это – состязательные атаки на системы компьютерного зрения, суть которых заключается в демонстрации видеокамерам автомобиля специально сконструированных изображений для того, чтобы ввести блок принятия решений беспилотного автомобиля в заблуждение относительно того, что происходит вокруг него [7].
Поскольку дороги общего пользования представляют собой места с возможностью доступа любого лица, не вызывает сомнений то, что состязательными атаками смогут воспользоваться злоумышленники для нарушения работы как беспилотных автомобилей или транспортной отрасли в частности, так и социума в целом для достижения своих неблаговидных целей [8]. Поэтому при реализации задачи доверия, которой является перевозка пассажиров или грузов по дорогам общего пользования, риск воздействия на системы компьютерного зрения беспилотных автомобилей должен быть существенно снижен до пренебрежимо малого значения.
Одним из методов снижения указанного риска является использование V2X-взаимодействия, о чём всё больше и больше начинают задумываться производители беспилотного транспорта после проработки этих вопросов в научной литературе. V2X-взаимодействие позволяет, в том числе, заранее передавать транспортным средствам информацию, которой они ещё не владеют, но которая потребуется им в самом ближайшем будущем для принятия оперативных решений по движению [9]. Вместе с тем само по себе V2X-взаимодействие между акторами на автомобильной дороге может рассматриваться в рамках более общего метода снижения целого комплекса рисков, существующих у беспилотного движения, а именно – мультисенсорной интеграции.
Мультисенсорная интеграция – это слияние информации, получаемой с датчиков разной модальности, а также взаимное обогащение такой информации для получения целостного описания картины окружающей реальности. Слияние и обогащение информации может осуществляться на нескольких уровнях представления – от низкого (телематические данные с сенсоров) до высокого (понятийная информация для принятия решений). С точки зрения математики мультисенсорная интеграция представляет собой использование всей доступной с сенсоров разной модальности информации, полученной в один временной срез, для построения абстрактного описания окружающей среды на каком-либо формальном языке – логике высказываний, логике первого порядка и т. п., либо в виде неявного знания, полученного в процессе машинного обучения.
Простейшим примером мультисенсорной интеграции является человек. При его взрослении и обучении такая интеграция осуществляется в таламусе для того, чтобы визуальные образы, получаемые через глаза, сопоставлялись с звуковыми, тактильными и другими образами того же объекта. Более того, мультисенсорная интеграция у человека играет важнейшую роль в изучении языка, и письменные символы познаются через своё звучание благодаря этому механизму [10].
Другим примером мультисенсорной интеграции у когнитивных агентов искусственной природы может быть использование голосовым помощником (чат-ботом) информации об общающихся с ним пользователях, которую он находит в различных источниках – непосредственно во время общения с пользователями, в социальных сетях, в источниках третьих сторон. В этом случае интеграция производится по источникам информации, хотя её модальность в основном одинакова. Тем не менее, это яркий пример технологии обогащения данных, которая всё чаще и чаще используется для обучения искусственных когнитивных агентов.
Если рассматривать системы управления беспилотными транспортными средствами, то здесь имеются широчайшие возможности по использованию технологии мультисенсорной интеграции. В качестве сенсоров могут использоваться следующие каналы получения информации об окружающей среде:
●
видеокамеры, осуществляющие панорамный наружный обзор и получение 2D-сцены окружающего автомобиль пространства;
●
радары и лидары, которые строят профиль свободного пространства вокруг беспилотного автомобиля, осуществляя замер расстояний до располагающихся вокруг объектов;
●
датчики геопозиционирования (ГЛОНАСС/GPS, триангуляция по базовым станциям сотовой сети), которые позволяют с определённой точностью расположить автомобиль на карте;
●
датчики V2X-взаимодействия для получения дополнительной информации об окружающем пространстве и динамике развития его состояния на ближайшее будущее;
●
датчики внутреннего состояния узлов и агрегатов автомобиля, которые требуются для моделирования собственного состояния беспилотного транспортного средства в ближайшем будущем.
Кроме того, дополнительным источником информации является база общих знаний об окружающем мире, которая представляет собой абстрактную модель того пространства, в котором функционирует беспилотный автомобиль. Эта база знаний, фактически, представляет собой набор правил и отношений между объектами, при помощи которых дедуктивным образом по косвенным признакам можно вывести или утверждения, или высоко достоверные предположения о том, что происходит или будет происходить в ближайшее время, даже если прямое наблюдение недоступно для датчиков беспилотного автомобиля.
Поскольку действовать беспилотному автомобилю приходится в быстро меняющейся динамической среде, в которой объекты перемещаются с высокими скоростями, одной из серьёзных задач является построение как можно более точной 3D-модели окружающего пространства и анализа сцены. Именно в этом поможет мультисенсорная интеграция, выведя возможности анализа видеопотоков на новый уровень.
Действительно, видеопоток предоставляет только двумерную информацию о сцене, воссоздать по которой 3D-сцену в динамике затруднительно. Интеграция и взаимное обогащение информации с видеокамер, радаров, GPS-датчика, V2X-каналов и внутренней базы данных модели позволит решить эту проблему.
Наличие 3D-модели наблюдаемой сцены и взаимодействующих агентов в ней позволяет не только оперативно принимать решения о том, какое действие выполнять прямо сейчас, но и прогнозировать развитие ситуации. Прогноз, в свою очередь, открывает набор возможностей по оптимизации будущих действий, планированию движения и предотвращению возникновения нежелательных ситуаций (в том числе ДТП). Кроме того, это позволит нивелировать морально-этические аспекты выбора действий в сложных ситуациях, известных как «проблема вагонетки». Это важнейшее предназначение такой модели, построение которой возможно только при помощи мультисенсорной интеграции и взаимного обогащения данных на всех уровнях рассмотрения.
Беглый анализ открытых источников, в которых описываются принципы построения систем управления беспилотным транспортом, показал, что вопросы мультисенсорной интеграции практически не рассматриваются. Среди российских производителей только одна компания всерьёз рассматривает вопросы низкоуровневого слияния данных с сенсоров разной модальности, однако, это всего лишь один из аспектов мультисенсорной интеграции. При анализе имеющихся открытых источников о технических характеристиках систем управления беспилотными автомобилями среди зарубежных производителей не обнаружено тех, кто в принципе рассматривает этот вопрос – каждый делает ставку на какую-то одну технологию обследования окружающего пространства для точного позиционирования.
Вместе с тем, как показано выше, мультисенсорная интеграция позволит вывести решение многих задач, которые стоят перед беспилотным транспортном, на качественно новый уровень. При этом важной частью описанной технологии является V2X-взаимодействие, о чём неоднократно писали и докладывали авторы. Моделирование среды и поведения в ней взаимодействующих агентов должно стать принципиальным требованием к функционированию автономных автомобилей на дорогах общего пользования, и V2X-взаимодействие при этом становится одной из главных модальностей восприятия для прогнозирования будущего.
Авторы продолжают работать в области построения интеллектуальных транспортных систем, в том числе и с учётом будущих внедрений беспилотного автомобильного транспорта, в связи с чем приглашают всех заинтересованных лиц к диалогу и сотрудничеству. Интеграционная платформа, разрабатываемая авторами в своём коллективе, уже сегодня предоставляет функциональность по обеспечению V2X-взаимодействия между всеми акторами на автомобильной дороге, а периферийное оборудование может включать модули такого взаимодействия.
Литература
Khrennikov, I. Russia’s Yandex Joins the Self-Driving Car Million-Mile Club // Bloomberg.Com., 18 October 2019. [Электронный ресурс]: https://www.bloomberg.com/news/articles/2019-10-17/russia-s-yandex-joins-the-self-drivingcar-million-mile-club. Доступ 19.03.2020.
Ramos, S., Gehrig, S., Pinggera, P., Franke, U., Rother, C. Detecting unexpected obstacles for self-driving cars: fusing deep learning and geometric modeling, 2016. [Электронный ресурс]: https://arxiv.org/pdf/1612.06573.pdf. Доступ 10.03.2020.
Hirz, M., Walzel, B. Sensor and object recognition technologies for self-driving cars. Computer-Aided Design and Applications, 2018, № 15 (4), pp. 501–508.
Шолле Ф. Глубокое обучение на Python. – СПб.: Питер, 2018. – 400 с.
Dodge, S., Karam, L. A study and comparison of human and deep learning recognition performance under visual distortions, 2017. [Электронный ресурс]: https://arxiv.org/pdf/1705.02498.pdf. Доступ 10.03.2020.
The handbook of brain theory and neural networks. Cambridge, MA, USA, MIT Press, 1998, pp. 255–258.
Андронов М. Г., Душкин Р. В. Проблема состязательных атак на системы компьютерного зрения при организации беспилотного движения // Дорожная держава. – 2019. – № 92. – С. 99–101.
Garfinkel, S. Hackers Are the Real Obstacle for Self-Driving Vehicles. MIT Technology review, 2017. [Электронный ресурс]: https://www.technologyreview.com 2017/08/22/242124/hackers-are-the-real-obstacle-for-self-driving-vehicles/. Доступ 19.03.2020.
Душкин Р. В. I2V-взаимодействие – основа беспилотного движения // Дорожная держава. – 2018. – № 85.
Душкин Р. В. К вопросу о распознавании и дифференциации философского зомби // Философская мысль. – 2020. – № 1. – С. 52–66.
О проекте
О подписке
Другие проекты