Больше не нужно искать — необходимые
обучающие материалы и подсказки всегда под рукой

Вот перефразированная новость на русском языке:
В рамках технического эксперимента компании Nvidia точность модели Cosmos 3 Nano в тесте с выбором правильного ответа из четырёх вариантов выросла с 54,41% до 93,35% менее чем за сутки. Все ключевые этапы дообучения выполнил ИИ-агент под названием Codex, действовавший по заранее подготовленным инструкциям с использованием инструментария TAO.
Тестирование проводилось на специализированном наборе данных Woven Traffic Safety от компании Woven by Toyota. Этот датасет включает видеозаписи дорожных ситуаций и вопросы с четырьмя вариантами ответов. Для обучения и проверки модели было задействовано более 8000 примеров.
Изначально, без дополнительной настройки, Cosmos 3 Nano дала правильные ответы лишь в 54,41% случаев. Затем разработчики поручили агенту Codex оценить базовую модель и провести её дообучение с помощью метода LoRA.
Агент выбрал подходящую инструкцию Cosmos-reason, проверил аннотации данных и обнаружил, что в конфигурации отсутствует параметр частоты кадров. После исправления этой ошибки он загрузил веса модели, подготовил необходимые настройки и запустил обучающий контейнер.
Метод LoRA не изменяет все параметры модели, а обучает лишь небольшие дополнительные адаптеры. По оценкам Nvidia, такой подход потребовал примерно в семь раз меньше вычислительных ресурсов GPU, чем полное дообучение Cosmos 3 Nano.
Один цикл обучения LoRA занял около 30 минут на восьми ускорителях NVIDIA A100 с 80 ГБ памяти. В результате точность модели повысилась до 87,14%.
На втором этапе разработчики с помощью специального запроса запустили инструмент TAO AutoML для подбора оптимальной скорости обучения, размера пакета данных, параметров LoRA и других настроек. Система провела 43 параллельных испытания. Лучший результат, достигнутый с использованием байесовской оптимизации, составил 93,35%. Этот этап длился 19,5 часов на нескольких узлах A100 в облачной инфраструктуре Oracle.
В ходе эксперимента Codex не только анализировал результаты. Он самостоятельно выбирал рабочий процесс, проверял данные, исправлял конфигурацию, запускал контейнеры и сравнивал полученные метрики. При этом автономность агента была ограниченной — он действовал строго по заранее подготовленным инструкциям.
Стоит отметить, что показатель точности в 93,35% относится только к проверочной части одного исследовательского датасета. Он не характеризует безопасность систем автономного вождения и не доказывает способность модели принимать решения в реальном времени.
Напомним, что в июне исследователи из Nvidia, Университета Карнеги-Меллона и Калифорнийского университета в Беркли представили фреймворк ENPIRE. Эта система позволяет ИИ-агентам, предназначенным для программирования, улучшать алгоритмы управления роботами на реальном оборудовании.
Популярные лонгриды: