Ahora también los SSDs: Samsung propone descargar la "memoria" de los LLMs a los SSD

Cuando usas una IA como ChatGPT, esta tiene que "recordar" lo que has dicho antes para contestar bien. Guardar esos recuerdos consume mucha memoria de video (VRAM) de la GPU, que es carísima y limitada. Samsung ha demostrado que, en lugar de comprar más GPUs costosas, se pueden usar SSDs para guardar esos "recuerdos" de forma temporal. Esto permite que la IA atienda a más personas al mismo tiempo, gaste la mitad de luz y no se bloquee ni se trabe.