Desatando el Poder de la IA en APUs AMD: Una Guía Práctica
El mundo de la Inteligencia Artificial está dominado por NVIDIA, eso es innegable. Sin embargo, como apasionados del hardware y amantes del software Open Source, nos hemos embarcado en una aventura emocionante para liberar el potencial de las APUs (Accelerated Processing Units) de AMD. Y hoy, quiero compartir con ustedes un logro increíble: logramos ejecutar modelos LLM (Large Language Models) en una APU serie 8000G.
¿Por Qué Ejecutar IA Localmente?
La posibilidad de ejecutar modelos de Inteligencia Artificial directamente en tu PC ofrece ventajas significativas. Olvídate de las suscripciones a servicios como OpenAI o Microsoft Copilot, protege tu privacidad y disfruta de la flexibilidad de trabajar sin depender de conexiones web. Es una revolución que pone el poder de la IA en tus manos.
LM Studio: Tu Puerta de Entrada a la IA Local
Para lograr esto, recurrimos a LM Studio, una herramienta versátil y personalizable que nos permite ejecutar modelos de lenguaje natural localmente. Su compatibilidad con diversas plataformas (CUDA, OpenCL, Intel OpenCL y ROCm) la convierte en una opción ideal para usuarios con diferentes configuraciones de hardware. Recientemente, LM Studio añadió soporte preview para AMD ROCm, lo que abrió las puertas a un mundo de posibilidades.
El Reto: Compatibilidad con Gráficos Integrados Radeon 780M
Aquí es donde la cosa se puso interesante. El soporte ROCm en LM Studio era limitado a GPUs de la serie RX 6800 en adelante. Nuestro objetivo era extender esa compatibilidad a los gráficos integrados Radeon 780M presentes en el Ryzen 7 8700G. Después de horas de investigación y experimentación, logramos compilar nuestros propios archivos ROCm optimizados para estos gráficos integrados, utilizando herramientas como SDNEXT (Stable Diffusion WebUI).
SD NEXT y el Secreto de ZLUDA
Para lograrlo, nos basamos en la página de SDNext, una variante de Automatic 1111 compatible con múltiples plataformas de cómputo GPU. La clave fue aprovechar su soporte para SLUA (Software Layer Unified Architecture), que permite traducir instrucciones CUDA a hardware Intel y, crucialmente, AMD. Aunque el rendimiento con ZLUDA es ligeramente inferior al ROCm nativo, la compatibilidad es un gran avance.
El Resultado: Un LLM en una APU, ¡Realidad!
Hoy puedo mostrarles el resultado de todo este esfuerzo: lm Studio detectando correctamente la Radeon 780m y ejecutando un modelo de lenguaje como Lama 3 con una ventana de contexto de hasta 1 millón de tokens. Esto abre las puertas a ejecutar modelos grandes y potentes, incluso en hardware más modesto como una APU.
El Futuro de la IA en AMD
Si bien aún hay desafíos (como el consumo energético y la necesidad de GPUs dedicadas con al menos 16 GB de VRAM para un rendimiento óptimo), creo que este es solo el comienzo. El potencial de las APUs para ejecutar Inteligencia Artificial localmente es enorme, y espero que AMD siga invirtiendo en esta área.
¡A Experimentar!
Si te interesa explorar este mundo, te recomiendo encarecidamente probar LM Studio y experimentar con diferentes modelos de lenguaje. Déjame tus comentarios si quisieras que profundicemos en el proceso de compilación ROCm o exploráramos otras herramientas de IA para AMD. ¡El futuro está aquí, y es open source!
Ver video:
Comentarios
Los comentarios se cargarán automáticamente...