Cómo Obtener 256GB De VRAM Para IA Local (Todas Las Formas)

Описание: Conseguir 256GB de VRAM para IA local cuesta desde 5.623 $ por un servidor usado de ocho tarjetas hasta 9.499 $ por un Mac Studio con M5 Ultra, y el precio por giga más bajo no es la forma más barata de tenerlo. Este vídeo repasa todas las formas realistas de llegar a 256GB para un modelo local, lo que cuesta de verdad cada una, cuánta de esa memoria le llega al modelo y cuántos años te va a servir, para que decidas si te compensa comprar o alquilar.

Curso de IA Local completo: apúntate a la lista de espera → https://localanalysis.ai/jm/curso

Redes Sociales:
📷 Instagram ➞   / jorgemarfil.ia  

CAPÍTULOS
00:00 Dos pestañas abiertas a deshoras
02:04 El caso a favor del servidor viejo
04:33 Por qué todo el mundo busca justo 256
06:31 Los tres relojes de una caja de 256
08:04 Cuánto de esos 256 le llega de verdad al modelo
11:14 El Mac Studio con M5 Ultra
14:21 El M3 Ultra de segunda mano
15:57 Dos DGX Spark unidas por un cable
18:55 Dos mini PC de AMD con Strix Halo
22:35 Una torre llena de gráficas nuevas
26:15 Los servidores viejos de V100 y MI50
29:00 Lo que aguanta y lo que no de la fecha de caducidad
32:45 El día que el modelo se movió
36:41 Cuánto cuesta cada año útil
38:21 Alquilar, pagar por tokens o tirar de lo que ya tienes
41:46 Para quién cambia el veredicto
43:16 Cómo elegiría yo, caja por caja
45:19 La regla para llevarte

¿Qué es la VRAM para IA local?
La VRAM es la memoria de las propias tarjetas gráficas, donde tiene que estar el modelo para correr rápido. Un Mac o un mini PC de AMD comparten una sola memoria con el sistema, así que la cifra de la caja nunca es toda tuya: macOS le da a la GPU unas tres cuartas partes por defecto, que son 192GB en un Mac Studio de 256GB, y el sistema y la propia conversación se llevan su parte. En la práctica, planifica con unos 220 a 235GB para el modelo.

256GB importa porque es donde empiezan a caber los buenos modelos abiertos medianos sin recortarlos hasta que pierden calidad: Qwen 3 235B en 6 bits ocupa unos 193GB, MiniMax M2.5 en 6 bits unos 188GB y Qwen 3.5 397B en 4 bits va de 224 a 245GB.

Qué cubre este vídeo
• El servidor más barato de ocho V100 que he visto pide 5.623 $ por 256GB, casi 22 $ por GB, frente a entre 150 y 370 $ por GB de las tarjetas nuevas de Nvidia, pero CUDA 13 y la última versión de vLLM han dejado fuera a la V100, y su fecha de caducidad es lo que el anuncio no cuenta.
• Una sola línea en el terminal sube el límite de GPU de un Mac de 256GB de unos 192GB a entre 230 y 248GB aproximadamente, y se borra en cada reinicio, así que conviene meterla en un script de inicio de sesión.
• Un Mac Studio con M5 Ultra de 256GB cuesta 9.499 $ (o 10.799 $ si Apple lo liga al chip de 80 núcleos), lee un prompt de 6.000 tokens a unos 1.700 tokens por segundo frente a unos 3.000 de una RTX 5090, y un M3 Ultra de 256GB usado se vendió entre 7.724 y 7.926 $ del 24 de octubre al 2 de noviembre.
• Dos DGX Spark suman 13.900 $ antes del cable, después de que el precio pasara de 3.999 a 6.950 $ por caja, y leen un prompt de 32.000 tokens en unos 17 segundos frente a entre 44 y 50 del Mac.
• Dos mini PC con Strix Halo cuestan 6.898 $ con los 3.449 $ de Framework, dejan entre 210 y 240GB útiles y movieron un modelo de 230.000 millones de parámetros a unos 21 tokens por segundo, mientras que una sola caja Gorgon Halo de 192GB parte de 6.799 $.
• Una torre de ocho RTX 5090 va de unos 39.000 a más de 61.000 $ y gasta unos 4.600 vatios, mientras que cuatro RTX PRO 5000 dan 288GB por entre 36.000 y 40.000 $ a 125 $ por GB.
• El 10 de septiembre DeepSeek sustituyó su modelo Flash por V4.1 Flash, de 552.000 millones de parámetros más 196.000 millones de memoria Engram: la versión de 2 bits necesita unos 200GB y la de 3 bits más pequeña ya ocupa 233,5GB.
• Con mis propios supuestos de 2 años útiles para el servidor viejo y 5 para el Mac, más 8 horas al día a 18,16 céntimos el kWh, el servidor sale a 4.508 $ por año útil con la luz y el Mac a 2.059 $.
• Alquilar unos 256GB de GPU cuesta de 6,50 a 11 $ la hora, así que 9.499 $ dan de 1.272 a 1.712 horas, y para una sola persona la API de DeepSeek a 0,60 $ por millón de tokens de salida fuera de hora punta sale entre 5 y 9 veces más barata que el Mac.

Las cifras de usuarios de foros, como los 21 tokens por segundo de un clúster casero de mini PC, son experiencias de usuarios individuales, ilustrativas, no medias.

#ialocal #vram #macstudio #dgxspark #strixhalo