Mixtral 8×7B

Разреженная смесь экспертов с открытыми весами: на каждый токен работает только часть параметров.

Mixtral содержит несколько экспертных блоков, но маршрутизатор активирует только два на каждом слое и токене. Это увеличивает общую ёмкость модели без пропорциональной цены вывода; открытые веса и Apache 2.0 позволили исследователям и компаниям разворачивать и дообучать систему самостоятельно.

Источники

Mistral AI · техническое описаниеОткрыть первоисточник Mistral AI · карточка моделиОткрыть первоисточник