Los modelos de inteligencia artificial anuncian ventanas de contexto de 32.000, 128.000 tokens o incluso más. La cifra parece indicar cuánto puede “recordar” una IA dentro de una conversación, pero también es una de las formas más rápidas de disparar el consumo de memoria y reducir el rendimiento cuando trabajamos en local.
Una ventana de contexto mayor no hace al modelo más inteligente. Le permite tener más información disponible durante una respuesta, a cambio de utilizar más RAM o VRAM y tardar más en procesar cada turno.
¿Qué es la ventana de contexto?
El contexto reúne las instrucciones del sistema, tus mensajes, las respuestas anteriores, documentos y cualquier información enviada al modelo en una petición. Todo se transforma en tokens, unidades que pueden ser palabras completas, fragmentos o signos.
Cuando una conversación supera el límite, la aplicación debe eliminar información antigua, resumirla o rechazar la solicitud. Por eso una ventana grande resulta útil para analizar documentos extensos, repositorios de código o sesiones largas. Para preguntar algo breve, casi todo ese margen queda sin utilizar.
El límite anunciado no es memoria gratuita
Los pesos del modelo ocupan una cantidad relativamente estable. El contexto añade otra reserva, conocida habitualmente como caché KV, que crece con la longitud de la conversación. La documentación de Ollama sobre longitud de contexto advierte expresamente de que aumentar el límite requiere más memoria disponible.
La cifra final depende de la arquitectura, la precisión de la caché, el número de capas y el backend. No existe una regla universal que convierta tokens en gigabytes con exactitud para todos los modelos. Lo importante es entender la dirección: más contexto significa más memoria y más trabajo en cada respuesta.
¿Por qué 128K puede empeorar la experiencia?
Reservar el máximo desde el principio puede provocar que parte del modelo pase de la GPU a la RAM o que el sistema recurra a memoria virtual. El modelo seguirá funcionando, pero generará más despacio. En un portátil con memoria unificada también dejarás menos margen para el navegador, los agentes y el resto de aplicaciones.
Ollama permite comprobar con ollama ps cuánto se está ejecutando en GPU y qué contexto tiene asignado. LM Studio muestra los parámetros de carga antes de iniciar el modelo. En ambos casos conviene observar el consumo real y no escoger la cifra más alta por inercia.
¿Cuánto contexto necesitas realmente?
- Chat y preguntas breves: entre 4K y 8K suele ser suficiente.
- Redacción y conversaciones largas: 16K o 32K ofrecen margen razonable.
- Documentos extensos y código: 32K o 64K pueden resultar útiles si el equipo lo soporta.
- Repositorios o varios documentos completos: 128K tiene sentido en casos concretos, no como ajuste permanente.
Estas cifras son orientativas. Una herramienta de recuperación de información puede seleccionar solo los fragmentos relevantes de un documento y evitar cargarlo entero. En muchos flujos, un buen RAG con 16K funciona mejor que volcar cientos de páginas dentro de 128K.
Más contexto también puede reducir la atención útil
Que un modelo acepte 128.000 tokens no garantiza que utilice con la misma precisión la información situada en cualquier punto. Los modelos pueden perder detalles en conversaciones largas o dar más peso a instrucciones recientes. Llenar el contexto con información irrelevante añade ruido.
Para trabajar mejor, conviene empezar una conversación nueva cuando cambia el tema, resumir decisiones importantes y adjuntar únicamente los documentos necesarios. La gestión del contexto forma parte del uso de la IA; no es un problema que se resuelva solo comprando más memoria.
Contexto, RAM y cuantización están relacionados
Un modelo cuantizado ocupa menos y deja más memoria libre para contexto. Por eso dos personas con el mismo ordenador pueden obtener resultados distintos según hayan elegido Q4, Q6 o Q8. En nuestra guía sobre RAM y VRAM para modelos locales explicamos qué tamaños encajan en cada equipo.
También importa el número de modelos cargados, las solicitudes simultáneas y las aplicaciones abiertas. Si pretendes usar varios agentes a la vez, reservar 128K para cada proceso puede agotar incluso una máquina potente.
¿Cómo ajustar el contexto sin complicarte?
Empieza con 8K o 16K. Aumenta solo cuando una tarea real lo exija y vigila si el modelo deja de ejecutarse completamente en la GPU o si el sistema empieza a intercambiar memoria con el SSD. Si la respuesta se vuelve demasiado lenta, reduce el contexto antes de culpar al modelo.
En LM Studio el ajuste aparece al cargar el modelo. En Ollama puede modificarse desde la aplicación o al iniciar el servicio. Reiniciar el modelo después del cambio ayuda a liberar reservas anteriores.
La cifra correcta es la que utilizas
La ventana de contexto no debería elegirse como una especificación de compra. Para la mayoría de conversaciones, 16K o 32K ofrecen un equilibrio mucho más sensato que perseguir 128K. Los contextos enormes son herramientas para tareas enormes.
En IA local siempre existe una negociación entre tamaño del modelo, calidad de la cuantización, contexto y velocidad. Reservar memoria para información que nunca vas a enviar solo consigue que el ordenador trabaje peor. La mejor configuración no es la máxima, sino la que mantiene toda la tarea dentro de la memoria disponible.
