La IA Local Ahora Es X10 Veces Más Rápida

Описание: La IA local es ahora unas 10 veces más rápida: Flint, el modelo abierto para programar que Recursive sacó el 21 de octubre, lee unos 1,25 GB por token frente a los 13,5 GB del modelo denso de 27B con el que lo comparan, y su cifra de lanzamiento de 131 tokens por segundo en un MacBook Pro con M4 Pro cabe por debajo de lo que permite el ancho de banda de memoria del chip. En este vídeo hago las cuentas paso a paso, digo dónde se cumple ese 10 y dónde se encoge, y cuento lo que esa velocidad cuesta en memoria y en nota.

Curso de IA Local completo: apúntate a la lista de espera → https://localanalysis.ai/jm/curso

Redes Sociales:
📷 Instagram ➞   / jorgemarfil.ia  

CAPÍTULOS
00:00 La cifra que di por muerta
01:46 Qué es Flint y qué quiero averiguar
03:26 El gráfico que pone a otro por encima
05:02 Qué frena a un portátil cuando escribe
06:59 Las cuentas del modelo denso
08:07 Cómo lee tan poco un modelo tan grande
10:07 Las cuentas de Flint, y dónde vale el diez
13:45 La memoria de la conversación
16:04 Una tarjeta de 12 gigas con todo el contexto
17:39 Qué MacBook Pro hace falta de verdad
20:46 Lo que la velocidad cuesta en nota
24:39 Qué modelo usar para cada trabajo

¿Qué es Flint?
Flint es un modelo abierto para programar de Recursive. Guarda unos 40.000 millones de pesos pero es una mezcla de expertos: para escribir cada token solo usa unos 2.500 millones, así que cada token lee mucha menos memoria que en un modelo denso, que pasa cada token por todos sus pesos. Está pensado para tener un agente de programación en tu propio ordenador, en un Mac o en una tarjeta gráfica de gama media, en lugar de pagar una API.

Lo que cubre este vídeo
• El 10 es en contexto corto frente a un modelo denso: unos 131 tokens por segundo de Flint contra 13 del denso Qwen 3.8 de 27B en un M4 Pro, con un techo por ancho de banda de memoria (273 GB/s) de unos 218 tokens por segundo.
• En la media de sesiones de hasta 128K tokens de contexto la ventaja baja a unas 6,8 veces (68,89 contra 10,11 tokens por segundo).
• Frente a un modelo parecido de mezcla de expertos, Qwen 3.6, solo es unas 2 veces más rápido en contexto corto, y en llama.cpp la ventaja baja a 1,34 veces, y a 1,86 veces en la media hasta 128K.
• Leer menos pesos por token no es guardar menos: el modelo necesita unos 23 GB en memoria, lo que deja fuera a un portátil de 16 GB, y el motor propio de Recursive para Mac pide 48 GB de memoria unificada.
• Solo 14 de sus 49 capas miran toda la conversación, así que el contexto completo de 256K tokens cuesta unos 3,8 GB de caché en vez de más de 13 GB.
• Con llama.cpp dejando en la CPU los expertos de las 33 primeras capas, una RTX 3060 de 12 GB con 16 GB de RAM movió el contexto completo a unos 46 tokens por segundo escribiendo y 675 leyendo.
• En Terminal Bench, Flint saca 54,9 frente a 73 del modelo denso, aunque la empresa avisa de que las dos notas pueden no estar contadas igual; en la media de seis pruebas la distancia es de unos 4 puntos.
• En una prueba independiente pequeña con una RTX 5090 pasó 12 de 18 ejecuciones y falló todos los intentos al contar líneas de logs y en un paquete con 32 pruebas ocultas.
• Qué modelo para cada trabajo: Flint para bucles cortos con tareas pequeñas que puedas comprobar, el denso lento para tareas largas que tienen que salir bien.

Las cifras del post en X y de las pruebas de la comunidad son experiencias individuales de usuarios, ilustrativas, no son medias.

#IALocal #Flint #MezclaDeExpertos #llamacpp #Ollama