Все новости крипты
в одном месте!
Больше не нужно искать — необходимые
обучающие материалы и подсказки всегда под рукой
Больше не нужно искать — необходимые
обучающие материалы и подсказки всегда под рукой
Специалисты компании Multiverse Computing сообщили о том, что им удалось добиться квантового улучшения большой языковой модели, используя оборудование IBM. В основе их работы лежит гибридная схема, задействовавшая 156-кубитный процессор Heron.
Авторы называют свой эксперимент первым в истории «сквозным квантовым улучшением» LLM на сверхпроводящем процессоре, примененным для авторегрессионной генерации текста.
В ходе испытаний использовалась модель Llama 3.1 8B от Meta. Исходную модель не дообучали: ее параметры были зафиксированы, а к ней добавили квантовые адаптеры — так называемые Cayley-parameterized unitary adapters (CUA). Сначала эти адаптеры обучали классическими методами, а затем интегрировали в гибридную квантово-классическую схему.
Эксперимент проводился на платформе IBM Quantum System Two, которая представляет собой архитектуру для гибридных квантовых систем. В установке использовался 156-кубитный чип Heron.
Гибридная версия модели позволила снизить перплексию Llama 3.1 8B на 1,4%. Для этого потребовалось добавить около 6000 параметров, что составляет примерно 0,000075% от общего размера модели.
В рамках демонстрации квантово-улучшенная Llama смогла правильно ответить на вопросы по астрономии и биологии, с которыми базовая версия не справилась. Например, она верно указала, что не все планеты-гиганты имеют кольца.
Как отметил ведущий автор исследования Борха Айспуруа, эта работа служит доказательством концепции. Квантовые блоки позволили более точно предсказывать следующий токен в тексте, при этом затраты вычислительных ресурсов были минимальными.
Команда исследователей надеется в будущем еще больше снизить перплексию и повысить точность, используя меньшее количество параметров по сравнению с полностью классическими методами.
Напомним, что в мае акции квантовых компаний выросли после того, как Министерство торговли США объявило о выделении $2 млрд американским фирмам в рамках программы CHIPS R&D.
Популярные лонгриды:
