Mostik представила метод обмена внутренними состояниями ИИ-моделей без текста
Команда стартапа Mostik представила метод, который позволяет ИИ-моделям обмениваться внутренними состояниями напрямую, без генерации промежуточного текста.
Обычно при совместной работе нескольких нейросетей между ними передается сгенерированный текст. В Mostik этот этап исключили: вместо текста используется отдельный адаптивный модуль — «мост». Он преобразует внутреннее представление одной модели в формат, понятный другой. При этом параметры самих моделей не меняются.
По оценке разработчиков, перед созданием одного токена большая языковая модель формирует более сотни скрытых векторов — около миллиона числовых значений, или примерно 2 МБ внутреннего состояния. В текстовый ответ попадает лишь небольшая часть этой информации. Новый канал предназначен для передачи именно таких промежуточных представлений.
Для проверки метода специалисты соединили модель GLM-5.2 от Z.ai на 753 млрд параметров и Qwen-3.5 от Alibaba на 4 млрд параметров. Большая модель только обрабатывала запрос, но не генерировала ответ. Ее внутреннее состояние передавалось через «мост», а итоговый текст формировала уже Qwen-3.5.
По данным Mostik, такая связка позволила закрыть примерно половину разрыва в качестве между малой и большой моделями. По сравнению с обычной передачей текста преимущество нового метода достигало 10 процентных пунктов при одинаковом объеме вычислений.
Гибридную систему также сравнили с моделью среднего размера. Результаты оказались сопоставимыми, но связка GLM-5.2 и Qwen-3.5 потребовала примерно в 2,5 раза меньше вычислительных ресурсов.
Главный научный сотрудник Mostik Станислав Смирнов отметил, что внутренние представления разных нейросетей нельзя напрямую сопоставлять друг с другом. Даже если две модели решают одну и ту же задачу, они могут по-разному кодировать информацию в своих скрытых состояниях. «Похоже, подходящего математического языка пока не существует», — заявил он в разговоре с WIRED.
По словам Смирнова, изучение таких соответствий может помочь лучше понять, как разные ИИ-системы представляют информацию и приходят к решениям. В перспективе математический анализ внутренних состояний может показать, есть ли общие закономерности в рассуждениях разных моделей.
Бывший исследователь Google DeepMind Карл Туйлс обратил внимание на практическую сторону подхода: большую и ресурсоемкую модель можно задействовать только для обработки запроса, а генерацию ответа передать значительно меньшей.
Другой возможный сценарий — объединение универсальной модели со специализированной. Одна система может отвечать за общие рассуждения, а другая — за задачи из биологии, физики или иной узкой области. В таком случае их возможности можно комбинировать без обучения одной большой модели на всем наборе специализированных данных.
Технический руководитель Lovable Владимир Арустамян предположил, что подобный подход способен повысить востребованность узкоспециализированных моделей: вместо попытки создать одну нейросеть для всех задач разработчики смогут объединять несколько систем с разными компетенциями.
Пока такие сценарии остаются потенциальными: публично Mostik продемонстрировала метод только на отдельных связках моделей.
Команда также применила свой подход в ARC-AGI-3 — наборе сложных интерактивных задач, где ИИ должен не воспроизводить знакомые шаблоны, а самостоятельно разбираться в новых правилах и адаптироваться по ходу решения. По словам разработчиков, система с их «мостом» показала один из лучших результатов в текущем рейтинге. Подробности пока не раскрываются, поскольку соревнование продолжается.
При этом результат нельзя считать полностью подтвержденным извне: в ARC-AGI-3 есть предварительные данные со статусом «превью», которые могут опираться на неполный набор тестов и еще не считаются финальными. Остальные заявленные показатели Mostik — сокращение разрыва между большой и малой моделью и снижение вычислительных затрат — тоже пока основаны на внутренних экспериментах команды.
Напомним, в конце августа компания OpenAI обнаружила тайный канал связи между своими ИИ-агентами. Они получили доступ в открытый интернет через менеджер пакетов Artifactory и превратили его во внутренний мессенджер.
