Искусственная сетчатка позволяет воспринимать и кодировать среднюю информацию.

Jan 23, 2024

Стремясь разработать новые вычислительные системы, имитирующие мозг, исследователи из Сингапура и Китая разработали устройство с искусственной сетчаткой для восприятия и распознавания объектов, излучающих среднее инфракрасное излучение (MIR). Вдохновленное принципом работы человеческого зрения, нейроморфное устройство является шагом на пути к улучшению машинного зрения MIR, которое является важной технологией для медицинской диагностики, автономного вождения, интеллектуального ночного видения и военной обороны.

Современные машины инфракрасного машинного зрения имеют физически разделенные сенсорные и обрабатывающие блоки, что создает большие объемы избыточных данных. Это не идеально, поскольку приводит к неэффективности вычислений и энергопотребления. Напротив, зрительная сенсорная система человека очень эффективна: ее компактная сетчатка воспринимает и обрабатывает визуальные данные – более 80% получаемых нашим мозгом – которые затем передаются в зрительную кору головного мозга для дальнейшей обработки. Фоторецепторы сетчатки получают непрерывные световые стимулы, которые преобразуются в электрические потенциалы, а последние затем кодируются в последовательности электрических импульсов, называемых спайками. Последовательность импульсов, содержащих информацию о стимуле, затем попадает в зрительную кору.

Вдохновленные биологической сетчаткой, Факун Ван и Фанчэн Ху из Наньянского технологического университета в Сингапуре вместе с коллегами изобрели оптоэлектронную сетчатку на основе 2D-гетероструктуры Ван-дер-Ваальса. Эта гетероструктура состоит из слоя черного мышьяка фосфора (b-AsP) поверх слоя теллурида молибдена (MoTe2). Эти материалы были выбраны из-за их быстрого реагирования на свет и высокой эффективности поглощения.

Предыдущие исследования были сосредоточены на разработке нейроморфных устройств, чувствительных к свету видимых и ближних инфракрасных (NIR) длин волн. Это исследование расширяет диапазон длин волн до MIR. Еще одной важной новинкой этого последнего исследования является то, что функция кодирования осуществляется оптически, а не электрически, что перспективно для высокоскоростной работы.

Программируемые лазерные импульсы NIR, подаваемые одновременно с лазерными импульсами MIR, кодируют информацию в последовательности импульсов. Стохастические импульсы NIR изменяют ток, возбуждаемый MIR, в устройстве, при этом всплеск генерируется, когда ток превышает пороговое значение. Это имитирует кодирование в сетчатке человека. Устройство дает стабильный отклик на свет даже при частоте импульсов БИК 100 кГц, что гарантирует высокоточное кодирование интенсивности МИК.

Еще одной важной особенностью интеллектуальных систем является адаптация. Чтобы адаптироваться к визуальной среде, система технического зрения МИР должна иметь широкий динамический рабочий диапазон интенсивностей МИР и высокую точность кодирования. Исследователи протестировали свое устройство с помощью металлической маски с девятью полыми фигурами цифры «3», подсвеченными лазером МИР. Это использовалось для имитации реальных целей MIR, таких как образец ткани. Они обнаружили превосходную точность кодирования: закодированное изображение соответствует исходному с точностью более 97%. Команда также показала, что параметры импульса NIR можно использовать для управления динамическим рабочим диапазоном и точностью.

Искусственный глаз может превзойти человеческое зрение

Кроме того, они подключили свое устройство к тому, что считается одной из самых эффективных и похожих на мозг искусственных нейронных сетей (ИНС), называемой импульсной нейронной сетью. В этой ИНС нейроны общаются, отправляя и получая импульсы в качестве носителей информации, так же, как в мозге. Они использовали эту систему для классификации MIR-изображений числовых фигур в наборе данных MNIST, который используется для обучения систем обработки изображений, и достигли точности более 96%.

Ван, возглавлявший исследование, говорит, что их искусственная сетчатка совместима с технологией CMOS, и предлагает два пути дальнейшего исследования: «Первый — улучшить функции устройства, например, интегрировать в это устройство функцию памяти, чтобы реализовать интеграцию Восприятие, кодирование, память и обработка. Другой вариант — объединить устройство с управляемой волновой нанофотоникой, чтобы добиться более высоких скоростей работы и снижения энергопотребления».