Paged KV-Cache: la solución al problema de memoria en modelos de lenguaje
Los modelos de lenguaje consumen enormes cantidades de memoria durante la generación de texto. Paged KV-Cache reinventa la gestión de esta memoria usando una idea del sistema operativo y podría ser clave para escalar la IA.
5 min lectura8hIAOnda Redaccion
