IA / Agentes / 9 MIN

LLMs locales: cuándo compensa de verdad.

Elegir un modelo para un sistema real es bastante distinto a ganar un benchmark.

El problema real

Tener un modelo en local mola, pero el hardware no desaparece de la ecuación. La VRAM y la latencia acaban decidiendo más que cualquier ranking.

El enfoque

Empezaría midiendo tokens por segundo, tiempo al primer token, memoria de KV cache y calidad en tareas propias.

Decisiones que importan

Denso frente a MoE, cuantización y tamaño de contexto son decisiones relacionadas.

SIGUIENTE NOTA

Nabla: la interfaz que quiero para trabajar con agentes.

Leer siguiente ↗