Памятливый датчик

И. Иванов

Современные сенсоры движения состоят из многих элементов и потребляют немало энергии. Ими управляют сложные алгоритмы, которые кадр за кадром анализируют видеоизображения. Зачастую эти датчики неэффективны. Свободную от названных недостатков технологию предложили инженеры финского Университета Аалто, работающие под началом профессора Себастьяна ван Дийкена (Sebastiaan van Dijken).

Они создали новую методику, которая в едином нейроморфном сенсоре совмещает получение изображения, память и обработку сигнала. Умный обучаемый датчик может выявлять движущиеся объекты и предсказывать их дальнейшее перемещение в одном кадре. Статья о работе появилась в журнале Nature Communications.

В современных видеокамерах изображения получают с помощью ПЗС-матриц, которые состоят из двумерной сетки светочувствительных элементов, накапливающих электрический заряд. В технологии авторов элементами сетки служат фотомемристоры. Это электрические приборы, которые при облучении дают электрический ток. Он не останавливается сразу после затемнения, а спадает за некоторое время. Это означает, что мемристоры могут «запоминать» предыдущую засветку.

Сеть таких сенсоров не только получает новую мгновенную картину, но и обладает памятью о предыдущих кадрах, то есть совмещает в одном кадре серию оптических изображений. Вот почему по анализу последнего кадра с помощью простой нейронной сети ИИ, которая встроена в компактный и надежный сенсор, можно выявить движение объекта.

Инженеры в интересном эксперименте продемонстрировали, как работает система. Они записали одинаковые видеоряды двумя видами датчиков — ПЗС и мемристорными. Ряды состояли из нескольких кадров. Каждый из них изображал одну букву, а вместе они давали слово. Все слова оканчивались на букву Е, то есть последние кадры видеорядов были одинаковы. Новый датчик в ста случаях из ста прочитывал все слово по последнему кадру, обычный не мог этого сделать в принципе.

В другом тесте мемристорный сенсор наблюдал на экране, как движется некий объект с тремя разными скоростями. Датчик не только выявлял эти движения по анализу одного кадра. Дополненный обучаемым алгоритмом он правильно предсказывал положение предмета на последующих кадрах.

Новые оптические сенсоры нужны для беспилотных систем управления транспортом, ведь автопилоту приходится предугадывать перемещение остальных участников движения. Технология пригодится и во многих других областях. Это динамическое зрение, автоматический контроль, мониторинг и управление промышленными процессами. Профессор убежден, что сенсоры его группы откроют новую страницу в разработке автономных роботов и интерфейсов человек-машина, так как они экономны, энергоэффективны и не хранят избыточную информацию.

Разные разности
Бактериофаги против дезодорантов
Метагеномный анализ кожной флоры позволил найти главного злоумышленника, виновного в резком запахе пота — это бактерии Staphylococcus hominis. Но можно ли от них избавиться, не убивая другие кожные бактерии? Исследователи предложили логичное реш...
Липучка против трипсов
Химики ищут замену инсектицидам, подсматривая за тем, как разные растения сами защищаются от вредных насекомых. Некоторые растения выделяют липкие вещества из так называемых железистых волосков. К ним прилипают насекомые-вредители и погибают. Эта стр...
Этанол против гриппа
Во время пандемии ковида в соцсетях распространилось видео, на котором наш соотечественник демонстрировал свой метод лечения ковида — ингаляцию парами этанола. Но тогда над ним посмеялись и отмахнулись. Похоже — зря. Японские исследователи ...
Пишут, что...
…за последнее десятилетие плотность тихоокеанских устриц Magallana gigas в двух заливах Южной Калифорнии увеличилась в 32 раза, что совпадает с летним повышением температуры морской воды на 2–4°C… …пластырь с микроиглами против ...