Publicado en

24 GB vs 48 GB vs 64 GB de memoria para IA local: qué modelos puedes usar sin quedarte corto

Esquema conceptual sin escala de tres componentes del consumo de memoria: pesos del modelo, contexto y ejecución.

24, 48 o 64 GB pueden cambiar por completo qué modelos puedes ejecutar en local, pero estas cifras solo son comparables si aclaramos de qué memoria hablamos. En un Mac con Apple Silicon es memoria unificada compartida por CPU y GPU; en un PC debes separar RAM del sistema y VRAM de la tarjeta gráfica.

Respuesta rápida

En un Mac, 24 GB son una base seria para modelos pequeños y medianos cuantizados; 48 GB dan mucho más margen para modelos de alrededor de 30B/32B y contextos amplios; 64 GB permiten plantearse modelos bastante mayores, incluidos algunos 70B cuantizados, siempre con margen suficiente para macOS y la caché de contexto. Son rangos orientativos: arquitectura, cuantización, KV cache, longitud de contexto y runtime cambian mucho el consumo real.

Comparativa rápida

Memoria unificada en Mac Qué plantearía Margen recomendado
24 GB 7B-14B con mucha comodidad y modelos intermedios cuantizados según formato Buen punto de entrada serio
48 GB 30B/32B cuantizados con bastante más margen para contexto y aplicaciones Mi punto dulce para uso avanzado
64 GB Modelos grandes; algunos 70B a 4 bits pueden caber según formato y contexto Para quien sabe que quiere subir de escala
Contexto largo La KV cache puede consumir varios GB adicionales y crecer con la longitud de contexto
Cuantización Menos bits reducen memoria, pero pueden afectar calidad y rendimiento según método
Importante en PC 24/48/64 GB de RAM no equivalen a la misma cantidad de VRAM

La regla básica: pesos del modelo más memoria de ejecución

A 4 bits, el cálculo teórico mínimo es de 0,5 bytes por parámetro: 30.000 millones de parámetros serían unos 15 GB solo en pesos. En un archivo real hay escalas, metadatos y otros datos de cuantización, y durante la inferencia necesitas además buffers, caché KV, runtime, sistema operativo y aplicaciones. Por eso «cabe» y «funciona cómodamente» no significan lo mismo. Hugging Face, por ejemplo, sitúa un 8B a 4 bits alrededor de 4-5 GB solo como referencia de pesos cuantizados.

24 GB permiten hacer mucho

Modelos de 7B, 8B, 12B y 14B cuantizados encajan con mucho margen en 24 GB. También pueden entrar modelos mayores dependiendo de formato y contexto, pero ya conviene mirar el tamaño real del archivo y la memoria disponible para el sistema. Para chat, documentos, código y pruebas locales, 24 GB son una configuración muy capaz.

48 GB cambian la escala

Con 48 GB, los modelos de 30B/32B a 4 bits dejan bastante más margen para contexto, cachés y aplicaciones que en una máquina de 24 o 32 GB. Para alguien que utiliza IA local de forma habitual y no quiere saltar al coste de 64 GB o más, me parece una capacidad especialmente equilibrada.

Por ejemplo, prueba el mismo modelo al arrancar y después con un documento largo ya cargado. Si la memoria disponible se reduce hasta forzar pausas o comprometer otras aplicaciones, ese consumo bajo carga es la referencia que usaría para elegir capacidad.

64 GB no significan que un 70B siempre vaya perfecto

Un modelo denso de 70B a 4 bits parte de unos 35 GB teóricos solo en pesos y suele ocupar más en una cuantización real; dependiendo del formato puede rondar aproximadamente los 40 GB antes de sumar contexto y otros buffers. En 64 GB puede ser viable, pero que quepa no garantiza buena velocidad ni un contexto enorme: ahí entran también el ancho de banda de memoria y el runtime.

En PC distingue RAM de VRAM

64 GB de RAM con una GPU de 12 GB no equivalen a 64 GB de memoria unificada de un Mac. Muchos runtimes permiten repartir capas entre GPU y CPU o utilizar RAM del sistema, pero normalmente penalizan velocidad frente a mantener el modelo completo en VRAM. En PC, si buscas inferencia acelerada principalmente por GPU, mira primero cuánta VRAM necesita tu modelo y qué backend vas a usar.

Compra margen para el contexto y el sistema

Si los pesos y cachés de tu modelo se acercan a 22 GB, una máquina con 24 GB totales tiene muy poco margen. Deja memoria para macOS o Windows, el runtime, la interfaz, otras aplicaciones y el contexto. La configuración que «cabe» no siempre es la que funciona cómodamente.

Veredicto

En Mac: 24 GB para empezar en serio, 48 GB como punto dulce avanzado y 64 GB si ya sabes que quieres modelos grandes. En PC no trasladaría esta tabla directamente: separaría RAM y VRAM. Antes de gastar, elegiría dos o tres modelos objetivo, descargaría o comprobaría el tamaño de la cuantización concreta y dejaría margen para contexto y sistema.

Más información en Hefestec

Fuentes y documentación

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *