RAG o contexto largo: cuándo usar cada uno en 2026

Con modelos que ya leen cientos de miles o millones de tokens, cada pocos meses alguien anuncia que RAG ha muerto. La realidad de 2026 es más aburrida y más útil: RAG (recuperación aumentada, meter en el prompt solo los fragmentos relevantes) sigue siendo la opción correcta en muchos casos, y el contexto largo lo es en otros. La pregunta no es cuál gana, sino cuál encaja con tu problema.

Qué hace cada enfoque

El contexto largo mete todo el material en el prompt y confía en que el modelo encuentre lo que importa. Es simple: sin base de datos vectorial, sin sistema de búsqueda, sin piezas que mantener. RAG hace lo contrario: busca antes los fragmentos que parecen relevantes y solo esos entran en el prompt. Añade una capa de recuperación, pero mantiene el prompt pequeño y enfocado.

Cuándo basta el contexto largo

• El material entero cabe holgado en la ventana y no cambia entre consultas (un contrato, un manual, un informe).
• Prefieres montar rápido y sin infraestructura extra: un prototipo, una herramienta interna, una prueba con un cliente.
• La pregunta necesita relacionar partes lejanas del documento, algo que un buscador que devuelve trozos sueltos hace peor.
• El volumen de consultas es bajo, así que pagar por reprocesar todo el material cada vez no te duele.

Cuándo sigue mereciendo la pena RAG

• El corpus es enorme o cambia a menudo (catálogos, tickets, documentación viva): no cabe entero o se quedaría obsoleto.
• Necesitas citar la fuente exacta de cada respuesta, algo natural cuando sabes qué fragmentos usaste.
• Haces muchas consultas y el coste importa: recuperar y enviar 3 fragmentos es mucho más barato que reenviar 300 páginas.
• Quieres controlar qué ve el modelo por seguridad o permisos, filtrando en la recuperación lo que cada usuario puede ver.

El coste que casi nadie mira

Que quepan 500.000 tokens no significa que salga gratis meterlos. Pagas por cada token de entrada en cada consulta, y la latencia sube con el tamaño del prompt. Un asistente que responde 10.000 veces al día con contexto largo puede costar un múltiplo de lo mismo resuelto con RAG. Si tu producto escala, este número deja de ser un detalle y pasa a decidir el margen.

La respuesta honesta es que el debate está mal planteado. Los sistemas serios de este año no eligen bando: recuperan para reducir el problema y luego dan al modelo un contexto generoso de lo que recuperaron. Usa cada herramienta para lo que hace bien y deja de buscar un ganador único.