Mistral ha publicado los pesos de Mistral Large 4, apodado «Le Chonk», un modelo de un billón de parámetros que cualquiera puede descargar y ejecutar en sus propios servidores. La empresa francesa lo presenta como un modelo pensado para los defensores de ciberseguridad y fija el precio de su API en 0,70 dólares (≈ 0,63 euros) por millón de tokens de entrada y 2,10 dólares (≈ 1,88 euros) por millón de salida. Lo anuncia Mistral en su post oficial, los pesos están en Hugging Face desde el 29 de octubre y lo cuenta TechCrunch.
Es tentador presentarlo como el modelo abierto que supera a los chinos en ciberseguridad. Los gráficos de la propia Mistral no lo respaldan en lo que más importa: en capacidad, dos modelos chinos quedan por delante.
Un modelo de mezcla de expertos con un billón de parámetros, de los que se activan unos 49.000 millones por token (52.000 millones contando las capas de entrada y salida, según la ficha técnica). Tiene 128 expertos, de los que trabajan cuatro a la vez más uno compartido, entiende texto e imagen, admite una ventana de contexto de un millón de tokens y ofrece tres niveles de razonamiento. Según Mistral, habla más de 160 idiomas, incluidas todas las lenguas oficiales de la Unión Europea.
Lo entrenó desde cero en 3.800 GPU Grace Blackwell de Nvidia en sus propios centros de datos en Europa. La vista previa salió el 6 de octubre y, desde entonces, la empresa le ha dedicado tres semanas más de aprendizaje por refuerzo.
