Код новой модели DeepSeek MODEL1 стал достоянием общественности, возможно, это совершенно новая архитектура

21 января появилась информация, согласно сообщению издания «Квантум», что в обновленном на GitHub коде FlashLA впервые обнаружено название «MODEL1». Оно упоминается в 28 местах, охватывающих 114 файлов, и стоит в одном ряду с текущей версией V32 (DeepSeek-V3.2), что указывает на то, что MODEL1 является моделью нового поколения с другой архитектурой. Анализ различий в коде показывает, что в этой модели были оптимизированы структура KV-кэша, обработка разреженности и декодирование FP8. Официальный релиз ожидается в период до или после праздника Весны (Лунного Нового года). Учитывая недавно обнародованные механизмы остаточных связей mHC и модуль памяти Engram, MODEL1, вероятно, объединит в себе ряд собственных инновационных разработок.