sejournal.io

Google DeepMind представила Gemini Robotics 2 для управления всем телом роботов

1785489280035 6133242 scaled

Компания Google DeepMind представила Gemini Robotics 2 — модель класса VLA (зрение-язык-действие), которая позволяет управлять роботом всем телом. Также была анонсирована система ER 2, предназначенная для сложного планирования и координации работы нескольких роботов одновременно.

Gemini Robotics 2 преобразует текстовые и визуальные данные в моторные команды. Модель подходит для роботов различных конструкций — от небольших настольных манипуляторов до человекоподобных роботов в полный рост.

По сравнению с предыдущей версией, искусственный интеллект теперь контролирует не только верхнюю часть корпуса. Роботы научились ходить, приседать, наклоняться, дотягиваться до предметов и поднимать их даже в ограниченном пространстве.

В ходе демонстрации гуманоид Apptronik Apollo 2 под управлением Gemini Robotics 2 успешно поднимал лейку, доставал бейсбольную перчатку с полки и находил нужные объекты.

Кроме того, Google DeepMind отметила улучшенную моторику: модель поддерживает сложные манипуляторы с 22 степенями свободы и может выполнять точные операции, такие как завязывание узлов, закрытие пакетов или замена лампочек.

Обновление также затронуло модель ER 2, которую разработчики называют «высокоуровневым мозгом» для роботов. Эта система способна планировать многоэтапные задачи, контролировать выполнение действий и при необходимости повторять их, а также распределять задания между несколькими роботами.

Например, в одном из видео Apollo 2 поручает двухрукому роботу Google складывать инструменты в контейнер во время уборки гаража.

Дополнительно была представлена локальная версия Gemini Robotics On-Device 2. Она функционирует без интернета и может адаптироваться к новым роботам всего за несколько часов обучения, используя менее 200 примеров.

В настоящее время Gemini Robotics 2 доступна в режиме приватного просмотра, ER 2 — через Gemini API и Google AI Studio, а On-Device 2 тестируется доверенными партнерами.

Напомним, что в июле компания Humanoid продемонстрировала метод обучения роботов на реальных производственных задачах.

Гуманоид Gene.01 получил «чувствительную кожу»

1784724773419 540267 scaled

Итальянский стартап Generative Bionics представил гуманоидного робота Gene.01, оснащённого тактильным покрытием по всему телу и архитектурой физического ИИ. Об этом сообщает The Robot Report.

Презентация Gene.01 прошла на мероприятии AMD Advancing AI 2026. По словам компании, платформа была собрана за шесть месяцев.

Ключевая особенность — распределённая «кожа», покрывающая всё тело робота. Она способна распознавать прикосновения, температуру, близость объектов и силу воздействия. В Generative Bionics отмечают, что это повышает безопасность при работе рядом с людьми: робот может замечать присутствие человека ещё до контакта и соответствующим образом менять своё поведение.

Датчики силы открывают ещё одну возможность — обучение через демонстрацию. При этом учитывается не только траектория движения, но и необходимое усилие, например, сила захвата объекта.

«Это также первое воплощение нашей убеждённости в том, что физический ИИ должен с самого начала учитывать особенности человека, быть изначально разработан с учётом законов физики и пригоден для промышленного применения», — заявил CEO Generative Bionics Даниэле Пуччи.

Компания позиционирует Gene.01 как единую систему, в которой корпус, механика и ИИ разрабатываются совместно. Эту концепцию Generative Bionics называет Physical AI и связывает с методологией human-aware ergoCub — концепцией антропоморфного робота, созданной в Итальянском институте технологий (IIT) для безопасного физического и эмоционального взаимодействия с человеком.

Для разработчиков уже доступны модель робота и его цифровой двойник — через PyPI, репозиторий Conda-forge и платформу ROS.

Базовая платформа предлагает три уровня кастомизации: ИИ, внешний дизайн и исполнительные элементы, включая кисти и ступни. Generative Bionics не называет Gene.01 универсальным гуманоидом, делая акцент на адаптации под конкретные задачи.

Первую промышленную версию компания разрабатывает совместно с Fincantieri для работы на верфях. Среди возможных применений — сварочный гуманоид для сложных условий судостроения.

Generative Bionics — спин-офф IIT, созданный в июле 2024 года. В декабре 2025 года компания привлекла €70 млн инвестиций.

Напомним, в июле компания Humanoid представила подход к обучению гуманоидных роботов методом проб и ошибок на реальных производственных задачах.

Роботы-гуманоиды: как не дать им покалечить людей

1783344917269 416665 scaled

Вот перефразированная новость на русском языке:

В интернете стали вирусными видео, где роботы пинают детей или бесконтрольно танцуют. Это заставило производителей задуматься: как выпустить машину на склад, чтобы она не навредила людям? Компании внедряют многоуровневые системы защиты — от чипов Nvidia до отказа от ног в пользу колес, сообщает WSJ.

Подобные инциденты с роботами вынуждают разработчиков усиливать механизмы безопасности, что замедляет их массовое внедрение. Некоторые компании уже сообщали о тяжелых травмах и даже смертельных случаях с участием человекоподобных машин.

Мишель Сильва из Reynolds & Moore, занимающаяся проектированием функциональной безопасности роботов, описала простейшую угрозу: «Если человекоподобный робот отключится от питания, он может просто упасть и раздавить вас».

Проблема усугубляется архитектурой машин на базе ИИ. Традиционные промышленные роботы (сварочные аппараты, погрузчики) — это детерминированные системы, работающие по строгим правилам. Гуманоидные же роботы используют ИИ и относятся к вероятностным системам: они действуют на основе статистики, а не жесткой определенности. Поэтому им требуется многоуровневая защита для работы рядом с людьми.

В связи с этим Nvidia представила систему безопасности для гуманоидных роботов на базе чипов Blackwell. Старший директор компании по робототехнике Амит Гоэль пояснил, что модель анализирует данные датчиков о потенциальных опасностях и останавливает робота в небезопасных условиях. «Система безопасности и функциональная система должны тесно взаимодействовать. Мы создали уровень операционной системы и программный стек, чтобы запускать их вместе», — отметил он.

Дополнительный уровень контроля предполагает, что робот будет полагаться не только на свои камеры и датчики, но и на внешнюю инфраструктуру. Компания Fort Robotics из Филадельфии разрабатывает контроллеры и ПО, собирающие данные из множества источников. Гендиректор Сэмюэл Ривз уточнил, что речь идет не просто о фиксации людей в зоне работы, а о сложных данных: где находится человек, в какой он позе, можно ли доверять этой информации для принятия решений.

Проблема потери устойчивости настолько серьезна, что ее изучает экспертная группа Международной организации по стандартизации. Соответствующие требования ожидаются к середине 2028 года. Пока единых правил нет, производители разрабатывают собственные сценарии.

Немецкая Neura Robotics выпускает двуногого робота 4NE1 весом около 80 кг. Основатель Дэвид Регер заявил, что конструкция минимизирует риск: если робот обнаружит неисправность (например, отказ колена), он попытается восстановить равновесие, а если не получится — упадет, складываясь вниз, «как обрушивающееся здание».

Некоторые разработчики решили убрать сам источник риска. Dexmate создает роботов на колесных платформах с длинными руками для работы на складских стеллажах. Соучредитель Ючже Цинь объяснил, что батарея и электроника находятся в платформе, благодаря чему центр тяжести низкий, и машина не может упасть.

Основатель и гендиректор Cobot Брэд Портер предложил оценивать угрозу без преувеличений. Его компания делает колесных роботов с манипуляторами, которые толкают тележки в больницах или сортируют детали на заводах. Они двигаются со скоростью ходьбы и не имеют сверхсильного захвата. «Нам не нужно вкладывать много энергии в действия. Мы же не пытаемся давить арбузы», — отметил Портер.

Напомним, в июле компания Humanoid представила метод обучения гуманоидных роботов методом проб и ошибок на реальных производственных задачах.

Humanoid представила метод обучения роботов с 99% успешности

1783329154230 592871 scaled

Вот перефразированный текст новости на русском языке:

Лондонская компания Humanoid представила технологию KinetIQ Ascend, которая позволяет гуманоидным роботам учиться на собственных ошибках при выполнении реальных производственных задач. Разработчики утверждают, что этот метод поможет достичь 99,9% успешных операций на скорости, равной человеческой или превышающей её.

KinetIQ Ascend является дополнением к существующей платформе KinetIQ. В её основе лежит обучение с подкреплением (reinforcement learning, RL). Робот не просто копирует движения человека, а самостоятельно выполняет задание, получает обратную связь об успехе или неудаче и со временем совершенствует свои действия.

В компании подчеркнули, что обучение проводится не в виртуальной среде, а непосредственно на реальном оборудовании в круглосуточном режиме. Humanoid заявляет, что это первая публичная демонстрация сквозного RL, основанного на зрительном восприятии, для VLA-моделей (связывающих зрение, язык и действия), обученных на реальном двуногом роботе в условиях производства.

Почему Humanoid делает ставку на RL

Ранее Humanoid, как и многие другие разработчики, обучала роботов с помощью имитации действий человека. В компании отметили, что модель, которая просто копирует демонстрации, не может превзойти демонстратора по скорости или качеству и не понимает цены ошибки.

По мнению Humanoid, для достижения последних процентов надежности и перехода к сверхчеловеческой скорости необходим иной подход. KinetIQ Ascend призван решить эту задачу за счет практики на реальных операциях. Компания сравнивает этот процесс с масштабированием больших языковых моделей: чем дольше обучение, тем выше успешность.

Humanoid протестировала новую технологию на трех задачах:

1. Перемещение колец: Робот брал стальные подшипниковые кольца из контейнера и укладывал их на конвейер. После обучения с подкреплением производительность выросла на 42% — до 412 колец в час по сравнению с 291 у базовой модели.
2. Передача предмета человеку: Робот брал предмет из контейнера и передавал его оператору. Производительность выросла на 85%, среднее время выполнения задачи сократилось на 35%, а успешность повысилась с 80% до 98%.
3. Подъем контейнера двумя руками: Робот должен был двумя руками поднять контейнер со стола, независимо от его ориентации. После нескольких дней обучения производительность выросла со 122 до 279 контейнеров в час, время выполнения сократилось с 22,9 до 12,8 секунды, а успешность увеличилась с 77,6% до 98,9%.

Компания также сделала два важных вывода:
— Улучшение самого сложного этапа операции может значительно повысить общий результат.
— Приобретенные навыки переносятся на объекты, которые робот не видел во время обучения.

В Humanoid отметили, что сравнивали результаты не с устаревшей версией, а с текущей базовой моделью в параллельном A/B-тестировании. Это важно для реальных производственных условий, где результат может меняться из-за освещения, положения объектов или износа оборудования.

Humanoid строит промышленную цепочку в Европе

По данным The Robot Report, в компании работает более 250 сотрудников, а офисы расположены в Лондоне, Бостоне и Ванкувере. В мае Humanoid объявила о партнерстве с Bosch, которая станет контрактным производителем роботов HMND 01 для европейского рынка.

Этому соглашению предшествовали тесты в марте, в ходе которых роботы автономно перемещали коробки разных размеров на логистическом объекте Bosch в Бюле. Основатель компании Артем Соколов назвал это соглашение критическим шагом на пути от проверки концепции к крупномасштабному производству.

Также 13 мая Humanoid сообщила о поэтапном обязывающем соглашении с Schaeffler. По данным Reuters, план предусматривает развертывание от 1000 до 2000 роботов на производственных площадках партнера по всему миру к 2032 году.

Конкуренция усиливается

Анонс KinetIQ Ascend произошел на фоне обострения гонки в гуманоидной робототехнике. Американская Figure в 2025 году привлекла более $1 млрд инвестиций при оценке в $39 млрд. Apptronik в феврале 2026 года закрыла раунд на $520 млн, доведя общий объем финансирования Серии A до $935 млн.

Китай также активно инвестирует в отрасль: по данным Reuters, с 2024 года власти страны выделили на развитие робототехники не менее $20 млрд. Однако реальные продажи пока невелики: в прошлом году было продано около 12 000 гуманоидных роботов, в основном для исследовательских целей.

Ранее Nvidia, Unitree и Sharpa представили совместную платформу для разработки навыков гуманоидных роботов. В июне Tether инвестировала в немецкую компанию NEURA Robotics, которая занимается разработкой «физического ИИ» и планирует массовое производство человекоподобных роботов.

Вот краткий заголовок для этой новости на русском языке: Claude Opus 4.7 в 20 раз быстрее людей запрограммировал робособаку

1781880555560 5410270 scaled

Компания Anthropic представила обновление своего эксперимента Project Fetch. Нейросеть Claude Opus 4.7 справилась с настройкой и управлением робособакой в 20 раз быстрее, чем это делали команды инженеров.

В августе 2024 года сотрудники, не имевшие опыта в робототехнике, пытались запрограммировать четвероногого робота. Тогда искусственный интеллект лишь ускорял поиск решений для людей. В новом этапе тестирования модель Opus 4.7 действовала почти полностью самостоятельно, под минимальным контролем исследователя. Нейросеть сама:

— подключилась к видеодатчикам и лидару;
— написала программу для ручного управления;
— создала систему отслеживания маршрута робота;
— настроила алгоритм распознавания объектов.

Opus 4.7 оказалась в 18 раз быстрее команды, работавшей с предыдущими версиями ИИ, и в 37 раз быстрее людей, не использовавших чат-бот. Код, написанный нейросетью, оказался в 10 раз короче того, что создавали люди.

Авторы отметили, что прогресс в робототехнике стал побочным результатом общего развития языковых моделей. Anthropic не использовала специальные алгоритмы для управления оборудованием.

Несмотря на успех, Claude всё ещё испытывает трудности с точными физическими действиями. Модель довела робота до цели, но не смогла аккуратно подтолкнуть мяч в нужное место. Для этого требуется сложная обратная связь в реальном времени, в чём люди пока превосходят ИИ.

В Anthropic считают, что отрасль вступает в эру «физических ИИ-агентов». В будущем нейросети смогут работать со стандартными инструментами и оборудованием так же эффективно, как сейчас — с программным кодом.

Напомним, 13 июня Anthropic приостановила доступ к моделям Fable 5 и Mythos 5 из-за директивы правительства США по экспортному контролю.

Nvidia представила ИИ-фреймворк для самостоятельного обучения роботов

1781775189580 543908 scaled

Вот перефразированная версия новости на русском языке:

Nvidia, Университет Карнеги-Меллон и Калифорнийский университет в Беркли представили ENPIRE — систему, которая позволяет ИИ-агентам самостоятельно улучшать алгоритмы управления роботами на реальном оборудовании.

Работа построена по замкнутому циклу: робот выполняет задачу, среда автоматически оценивает результат и возвращается в исходное положение, а ИИ-агент анализирует ошибки, переписывает код и запускает новую серию тестов.

Как устроен ENPIRE

Обучение на реальных роботах — дорогой и медленный процесс. После неудачи нужно вручную восстанавливать сцену, проверять результат и корректировать алгоритм. ENPIRE автоматизирует этот процесс, перенося подход AutoResearch в физический мир. Система состоит из четырёх модулей:

Environment — автоматический сброс сцены, проверка результата, логирование и безопасность.
Policy Improvement — улучшение политики управления.
Rollout — тестирование на одном или нескольких роботах.
Evolution — анализ логов, поиск идей в литературе, изменение инфраструктуры и исправление кода.

После начальной настройки цикл может работать без участия человека. Агент анализирует видео, траектории и функцию награды, выдвигает гипотезы, меняет код и тестирует его на роботе.

Зачем нужны автоматическая проверка и сброс

Ключевая особенность — автоматизация проверки результата и возврата сцены в исходное состояние. Например, в задаче с кабельной стяжкой система использует детектор, сегментационную модель и две камеры, чтобы определить успех без ручной разметки. Автоматический сброс позволяет проводить множество попыток подряд без участия человека.

На первом этапе человек помогает создать постоянные инструменты (процедуру сброса и функцию награды), после чего агент берёт на себя дальнейшее улучшение.

Результаты экспериментов

Систему тестировали на нескольких задачах: толкание T-образного объекта (Push-T), вставка штырей в отверстия диаметром 4 мм (Pin Insertion), установка GPU и работа с кабельной стяжкой. В реальных задачах манипуляции система справлялась в 99% случаев, если агенту давали до восьми попыток с учётом предыдущих ошибок.

В качестве агентов сравнивали Codex на GPT-5.5, Claude Code на Opus 4.7 и Kimi Code на Kimi K2.6. Тестирование проходило в бенчмарке AutoEnvBench. ENPIRE также превзошёл системы GR00T от Nvidia и CaP-X в симуляторе бытовых задач RoboCasa.

Масштабирование на восемь роботов

Nvidia провела эксперимент с восемью роботизированными станциями, каждая из которых имела свой компьютер и ИИ-агента. Станции обменивались результатами через Git, что ускорило обучение. Переход от одного робота к восьми сократил время освоения Push-T с пяти до двух часов, а Pin Insertion — с 90 до 40 минут.

Ограничения

Авторы отмечают, что масштабирование не решает всех проблем. Когда агенты читают логи, пишут код или ждут ответа языковой модели, роботы простаивают. С ростом числа роботов увеличивается нагрузка на GPU, но снижается средняя загрузка самих роботов. Также растёт расход токенов из-за чтения логов и координации между агентами.

ENPIRE пока протестирован на ограниченном наборе задач и не означает, что роботы могут самостоятельно осваивать произвольные навыки без инженерной подготовки.

Напомним, в июне Nvidia представила Isaac GR00T Reference Humanoid Robot — референс-дизайн для разработки навыков гуманоидных роботов, а Unitree показала «первого в мире готового к серийному производству» пилотируемого робота.

Alibaba представила Qwen-Robot Suite — набор ИИ-моделей для роботов

1781689935533 707504 scaled

Вот перефразированный текст новости на русском языке:

Компания Alibaba анонсировала набор ИИ-моделей Qwen-Robot Suite, предназначенный для роботов и выполнения задач в физическом мире. В набор входят три модели: Qwen-RobotNav отвечает за навигацию, Qwen-RobotManip — за манипуляции с объектами, а Qwen-RobotWorld прогнозирует развитие сцены. Разработчики назвали этот проект «полным стеком для воплощенного искусственного интеллекта».

Речь идет о программных моделях, которые помогают физическим роботам воспринимать окружающую среду, планировать свои действия и выполнять команды на естественном языке. Сейчас Qwen-Robot Suite проходит пилотные испытания у некоторых корпоративных клиентов Alibaba Cloud в сфере робототехники.

Зачем Alibaba выводит Qwen в физический мир

Большие языковые и мультимодальные модели уже умеют работать с текстом, изображениями, видео и речью, но для роботов этого недостаточно. Физическим агентам нужно не только понимать команду, но и переводить ее в движение, учитывать пространство, свойства объектов, ограничения датчиков и последствия своих действий.

Alibaba называет это направление «физическим ИИ» или «воплощенным ИИ». В таком подходе модель должна работать не только с цифровыми данными, но и с физической средой: перемещаться, находить объекты, управлять манипуляторами и предсказывать, что произойдет после действия.

Qwen-RobotNav: пять задач навигации в одной модели

Модель Qwen-RobotNav отвечает за навигацию. Она объединяет пять групп задач:
— следование инструкциям;
— движение к заданной точке;
— поиск объектов;
— отслеживание цели;
— автономное вождение.

По заявлению Alibaba, Qwen-RobotNav построена на базе Qwen3-VL и обучена на 15,6 миллиона примеров, связанных с планированием маршрутов и визуально-языковыми рассуждениями. Компания сообщила о 76,5% успешности на тесте VLN-CE RxR и 90% на EVT-Bench. В Alibaba также отметили, что модель может работать как инструмент для более крупных агентных систем: верхнеуровневая модель планирует задачу, а Qwen-RobotNav отвечает за перемещение.

В демонстрациях Alibaba описывает сценарии вроде поиска потерянного предмета в помещении или проверки, открыт ли конкретный объект в здании. В таких задачах робот должен не просто двигаться, а собирать визуальные доказательства и возвращать ответ пользователю.

Qwen-RobotManip: действия с объектами

Модель Qwen-RobotManip предназначена для физических действий с объектами. Она помогает роботам брать, перемещать и размещать предметы, а также переносить навыки между разными типами устройств.

Одна из ключевых проблем робототехники заключается в том, что роботы описывают действия по-разному. Манипулятор, двуручная платформа, робот с кистью или мобильная система используют разные координаты, суставы и форматы команд. Qwen-RobotManip пытается привести эти данные к общему представлению, чтобы обучение на одном типе робота помогало другому.

Для обучения Alibaba использовала более 38 100 часов данных. В этот объем вошли 11 320 часов открытых робототехнических данных, 1933 часа видео действий человека от первого лица и 24 808 часов синтетических роботических демонстраций, созданных на основе таких видео.

Компания заявила, что модель заняла первое место в RoboChallenge Table30 v1 в треке универсальных моделей. По данным Alibaba, Qwen-RobotManip также показала устойчивость к новым инструкциям, незнакомым объектам и переносу навыков между разными роботами.

Qwen-RobotWorld: модель мира для роботов

Qwen-RobotWorld — это видеомодель мира, управляемая естественным языком. Она прогнозирует, как будет развиваться сцена после заданного действия.

Например, модель получает текущее наблюдение и текстовую команду, а затем генерирует вероятное будущее состояние среды. Такой подход может использоваться для манипуляций, автономного вождения, навигации, планирования и создания синтетических обучающих данных для роботов.

Для обучения Qwen-RobotWorld команда собрала корпус Embodied World Knowledge. Он включает 8,6 миллиона пар «видео-текст» и более 200 миллионов кадров, охватывает более 20 типов роботических платформ и свыше 500 категорий действий.

Alibaba заявила, что Qwen-RobotWorld заняла первое место в EWMBench и DreamGen Bench, а также превзошла все открытые модели в WorldModelBench и PBench. В техническом описании также утверждается, что модель показывает высокую согласованность с базовыми физическими закономерностями — движением, сохранением массы, жидкостями и гравитацией.

До массовых роботов еще далеко

Несмотря на заявленные результаты, Qwen-Robot Suite пока остается набором моделей, а не готовой потребительской робототехнической платформой. Реальное внедрение сталкивается с шумом датчиков, износом приводов, нестандартными ситуациями, ошибками восприятия и огромным числом редких сценариев. Многие тесты, на которых сравнивают такие системы, проводятся в симуляции или в ограниченных экспериментальных условиях.

Alibaba также не раскрыла стоимость доступа, сроки публичного запуска и список клиентов, которые уже тестируют Qwen-Robot Suite.

Напомним, в апреле Alibaba Cloud представила агентную модель Qwen3.6-Plus с контекстным окном в 1 миллион токенов и поддержкой внешних инструментов.

NEURA Robotics привлекла $1,4 млрд от Tether, Nvidia и Amazon

1781167064247 725054 scaled

Немецкий стартап NEURA Robotics привлек до 1,4 миллиарда долларов в ходе раунда финансирования Серии C. Среди инвесторов — компании Tether, Nvidia, Amazon и Qualcomm.

Полученные средства пойдут на развитие платформы «физического ИИ» и массовый выпуск человекоподобных роботов. К 2030 году компания планирует произвести несколько миллионов таких машин.

NEURA развивает экосистему Neuraverse, в которой роботы могут обмениваться навыками и обучаться в реальных условиях. В отличие от узкоспециализированных промышленных роботов, разработки компании предназначены для совместной работы с людьми в быту, медицине и логистике.

Tether намерен интегрировать в роботов децентрализованные платежные решения. Благодаря инструментам Wallet Development Kit машины смогут самостоятельно проводить финансовые операции без посредников.

Генеральный директор Tether Паоло Ардоино подчеркнул, что инфраструктура должна развиваться параллельно с робототехникой. По его словам, автономным машинам необходима способность самостоятельно принимать решения и совершать транзакции.

Согласно пресс-релизу, портфель заказов NEURA превышает 1 миллиард долларов. Также проект откроет тренировочные центры NEURA Gyms для обучения алгоритмов ИИ взаимодействию с физическим миром.

Напомним, в мае компания Keenon Robotics выпустила на рынок человекоподобного робота XMAN-L1 для сервисных задач.

Вот несколько кратких заголовков на русском языке: * Зрение будущего: создан мини-сенсор для роботов * Нейроморфный глаз: новый шаг к машинному зрению * Ученые научили камеры видеть в темноте и на свету

1781153481853 590443 scaled

Вот перефразированный вариант новости на русском языке:

Ученые из разных стран создали крошечный фотомемристор, который работает по принципу адаптации человеческого глаза к разному уровню освещения. Эта разработка, как сообщается в журнале Nature Communications, может найти применение в системах машинного зрения для роботов, дронов и камер.

Главная проблема, которую решает устройство, — потеря точности при резких перепадах яркости. Для беспилотников и роботов это особенно важно, так как им нужно одновременно видеть объекты в тени и яркие источники света, например, фары встречных машин.

Новинка относится к области нейроморфного машинного зрения. В таких системах сенсоры не просто делают снимок, но и берут на себя часть обработки информации. Это позволяет снизить нагрузку на вычислительные мощности и быстрее реагировать на изменения в кадре.

Похожую задачу решают событийные камеры. Они фиксируют не полные кадры, а только изменения яркости по отдельным точкам. Это дает низкую задержку, широкий динамический диапазон и меньший объем данных. Однако для работы с ними нужны специальные алгоритмы, и пока у таких камер есть свои недостатки.

В основе прототипа лежит миниатюрный светочувствительный элемент размером около 0,5 мм. Ключевая деталь — фотомемристор, созданный из диоксида титана (TiO2) и проводящего полимера PEDOT:PSS. Принцип работы основан на реакции материалов на влажность: при слабом свете структура активнее впитывает воду, из-за чего растет проводимость и чувствительность к свету. При ярком освещении влага испаряется, и чувствительность падает.

В тестовой установке ученые использовали массив из 16 фотомемристоров (4×4) и искусственную нейросеть. Система распознавала буквы на фоне с разной яркостью. По данным статьи, точность распознавания при смешанном освещении составила 91,3%, а сам процесс занял 7,5 секунды.

Напомним, что в мае исследователи представили Qumus — автономную систему на базе ИИ для проведения экспериментов с квантовыми материалами.

Новый фотомемристор улучшит зрение роботов и дронов

1781096389101 576716 scaled

Вот перефразированный текст новости на русском языке:

Ученые из разных стран создали крошечный фотомемристор, который работает по принципу адаптации человеческого глаза к разной освещенности. Эта разработка может применяться в системах машинного зрения для роботов, дронов и камер, как сообщается в журнале Nature Communications.

Новое устройство решает проблему потери точности машинным зрением при резких изменениях яркости. Для беспилотников и роботов это особенно важно: им нужно одновременно видеть объекты в темноте и яркие источники света, например, фары встречных машин.

Данная работа относится к нейроморфному машинному зрению — подходу, при котором сенсоры не только захватывают изображение, но и частично обрабатывают сигнал. Это должно снизить нагрузку на вычислительную систему и ускорить реакцию на изменения в кадре.

Схожую задачу решают событийные камеры. Они фиксируют не целые кадры, а только изменения яркости по отдельным пикселям, что обеспечивает низкую задержку, широкий динамический диапазон и меньший объем данных. Однако такие системы требуют специальных алгоритмов и пока имеют ограничения.

В основе прототипа лежит миниатюрный светочувствительный элемент размером около 0,5 мм. Ключевой компонент — фотомемристор на основе диоксида титана (TiO2) и проводящего полимера PEDOT:PSS. Принцип работы основан на реакции материалов на влажность: при слабом освещении структура активнее поглощает воду, что повышает проводимость и светочувствительность. При ярком свете влага испаряется, и чувствительность падает.

В демонстрационной установке исследователи использовали массив из 16 фотомемристоров (4×4) и искусственную нейросеть. Система распознавала буквенные паттерны на фоне с разным уровнем яркости. Согласно статье, точность составила 91,3% при смешанном освещении, а процесс распознавания занял 7,5 секунды.

Напомним, что в мае ученые также представили Qumus — автономную ИИ-систему для проведения экспериментов с квантовыми материалами.