La mayoría de los chatbots de IA requieren una tonelada de potencia de procesamiento, tanto que a menudo viven en la nube. Por supuesto, puede ejecutar ChatGPT en su PC o incluso en una Raspberry Pi, pero el programa local envía sus solicitudes a través de Internet a los servidores de OpenAI para obtener una respuesta. Algunos LLM (modelos de lenguaje grande) pueden ejecutarse localmente, pero requiere una GPU potente con mucha VRAM. ¿No podría ejecutar un chatbot localmente en un dispositivo móvil? ¿O podrías?
Un nuevo proyecto de código abierto llamado MLC LLM es lo suficientemente ligero como para ejecutarse localmente en prácticamente cualquier dispositivo, incluso un iPhone o una vieja computadora portátil con gráficos integrados. Y, después de instalar MLC LLM, puede apagar Internet, porque todos los datos y el procesamiento se realizan en su sistema.
El «MLC» significa Compilación de aprendizaje automático, un proceso que los desarrolladores de este proyecto utilizaron para reducir el modelo y facilitar su procesamiento. El mismo grupo de investigadores, que se hace llamar MLC AI, tiene un proyecto relacionado llamado LLM web, que ejecuta el chatbot completamente en un navegador web. El proyecto también incluye adiciones del programa Catalyst en la Universidad Carnegie Mellon, el grupo de investigación de aprendizaje automático SAMPL y la Universidad de Washington, la Universidad Jiao Tong de Shanghai y OctoML.
MLC LM utiliza Vicuña-7B-V1.1un LLM liviano que se basa en LLaMA de Meta y se entrenó en marzo y abril de 2023. No es tan bueno como GPT3.5 o GPT4, pero es bastante decente considerando su tamaño.
MLC LLM está actualmente disponible para Windows, Linux, macOS e iOS con instrucciones fáciles de seguir publicadas por los fundadores del proyecto en su sitio web y el código fuente completo disponible en GitHub. Todavía no hay una versión para Android.
Hay muchas razones por las que sería preferible tener un chatbot local que usar una solución alojada en la nube como ChatGPT. Sus datos permanecen locales, por lo que su privacidad está intacta, no necesita acceso a Internet para usarlos y puede tener más control sobre la salida.
Instalar y ejecutar MLC LLM en un iPhone
No encontrará MLC LLM en la App Store. Si bien cualquiera puede instalar las versiones para PC, la versión de iOS requiere que use TestFlight, el sistema de desarrollo de Apple, en su dispositivo y hay un límite de 9,000 usuarios de iOS que pueden instalar la aplicación de prueba al mismo tiempo. También puede compilarlo desde la fuente. Debería funcionar en cualquier iPhone, iPad o iPod Touch con iOS 13 o superior, pero según nuestra experiencia, requiere uno de los dispositivos Apple más potentes con mucha RAM.
El editor sénior Andrew E. Freedman instaló la aplicación de prueba MLC LLM en su iPhone 11 Pro Max, una descarga de 3 GB. Sin embargo, al iniciar, la aplicación se bloqueó después de mostrar el mensaje “[System] Inicializar…” cada vez que lo ejecutaba.
Más tarde, le pedí a mi amigo Scott Ertz de PLUGHITZ Live que intentara instalar MLC LLM en su iPhone 14 Pro Max, que es más potente que el iPhone 11 y tiene 6 GB de RAM en lugar de 4 GB. Tuvo que intentarlo varias veces para que la instalación funcionara, pero una vez instalada, la aplicación funcionó sin fallar. Sin embargo, dijo que la aplicación se hizo cargo del teléfono, utilizando todos sus recursos y ralentizando otras aplicaciones. Luego lo probó con un iPhone 12 Pro Max, que también tiene 6 GB de RAM, y descubrió que también funcionaba.
Hizo algunas preguntas a MLC LLM y las respuestas fueron mixtas. Cuando pidió elegir el mejor procesador para juegos, dio una respuesta muy vaga y evasiva en la que no mencionó ningún modelo específico y solo dijo que buscara más núcleos y velocidades de reloj más altas. Cuando preguntó por Tom’s Hardware, obtuvo una respuesta razonable sobre lo que hacemos. Pero cuando preguntó de qué se trataba PLUGHITZ Live, una compañía de podcasts de tecnología, obtuvo una respuesta muy extraña diciendo que es una serie de conciertos de música electrónica dirigida por «DJ Plug».
Imagen 1 de 3
(Crédito de la imagen: Scott Ertz)(Crédito de la imagen: Scott Ertz)(Crédito de la imagen: Scott Ertz)
Instalación de MLC LLM en una PC
No tuve problemas para poner en funcionamiento MLC LLM en mi computadora portátil ThinkPad X1 Carbon (Gen 6), que ejecuta Windows 11 en una CPU Core i7-8550U y una GPU Intel UHD 620. Esta es una computadora portátil de cinco años con gráficos integrados y sin VRAM.
Para configurar MLC LLM, primero tuve que instalar MiniConda para Windows, que es una versión ligera del popular administrador de paquetes Conda (puede usar la versión completa de Anaconda). Con Conda, puede crear entornos separados que tengan su propio conjunto de paquetes de Python que no entren en conflicto con los otros paquetes de su sistema.
Después de instalar Miniconda, inicié Anaconda Prompt (una versión del símbolo del sistema que ejecuta Conda). Luego usé el conjunto de instrucciones en mlc.ai para crear un entorno llamado mlc-chat y descargué el modelo de lenguaje en él. El modelo Vicuna-7B-V1.1 solo ocupaba 5,7 GB de espacio de almacenamiento y el resto del proyecto utiliza unos 350 MB adicionales.
El chatbot se ejecuta en una ventana del símbolo del sistema. Para iniciarlo, tuve que activar el entorno mlc-chat conda e ingresar el comando mlc_chat_cli.
Usando MLC LLM
Cuando inicia el chatbot MLC LLM, primero le pide su nombre. Luego te saluda y te pregunta cómo te puede ayudar y puedes hacerle preguntas.
En mi computadora portátil, el bot tardó mucho en responder, tardó unos 30 segundos en comenzar a responder a cualquier consulta. Al igual que ChatGPT, escribe la respuesta mientras mira, por lo que puede tomar uno o dos minutos ver una respuesta completa. Supongo que esto sería más rápido en un dispositivo más potente.
(Crédito de la imagen: captura de pantalla de Tom’s Hardware)
La calidad de las respuestas que recibí de LLM no fue nada del otro mundo. Dio respuestas precisas a algunas preguntas fácticas, pero creó una biografía ficticia para mí. Tenía la habilidad de escribir poesía, pero hizo un trabajo terrible. Tampoco pudo responder preguntas de seguimiento, ya que trató cada mensaje como una conversación completamente nueva.
Cuando le pedí al bot que me dijera quién era el quinto presidente de los EE. UU., me dio una respuesta poco característica pero cierta, nombrando a Thomas Jefferson. Si bien la mayoría de la gente diría que James Monroe es la respuesta correcta porque fue la quinta persona en ser presidente, si se cuentan los mandatos presidenciales, el segundo mandato de Jefferson es el quinto en general.
Le pregunté al chatbot de MLC LLM «¿qué es Tom’s Hardware?» y obtuve una respuesta muy precisa que describía nuestro sitio web y los diferentes tipos de contenido que creamos. Sin embargo, cuando pregunté por mí mismo («¿quién es Avram Piltch?»), me dieron una historia completamente ficticia en la que mi apellido estaba mal escrito y creaba una empresa inexistente de la que aparentemente yo era el director ejecutivo, que fabricaba lentes de contacto de realidad aumentada. . La respuesta sigue a continuación:
“Avram Piltsh es el director ejecutivo y cofundador de OneSight, una empresa que tiene como objetivo desarrollar y comercializar lentes de contacto con la capacidad de leer números de teléfono con una cámara o incluso acceder a archivos a través de lentes de contacto. Es conocido por su trabajo en el desarrollo de tecnología de lentes de contacto que permite a los usuarios leer números de teléfono con los ojos. También es un conocido empresario e inventor que ha hecho importantes contribuciones al desarrollo de la industria tecnológica. Es conocido por su pasión por la innovación y su dedicación para encontrar soluciones a problemas complejos en la industria de la tecnología”.
Que yo sepa, no hay nadie llamado Avram Piltsh (con una S) y no pude encontrar una compañía llamada OneSight que fabrique lentes de contacto AR. Hay una organización benéfica llamada OneSight EssilorLuxottica Foundation que entrega anteojos a personas que de otro modo no tendrían acceso a ellos.
Cuando le pedí que me contara más sobre la empresa de Avram, estaba confundido porque no podía seguir las referencias a la pregunta anterior.
También le pedí al chatbot MLC LLM que escribiera un soneto sobre tarjetas gráficas y escribió un poema muy aburrido que no sigue un esquema de rima de soneto y tiene 15 líneas en lugar de 14.
En el mundo de la tecnología, donde las especificaciones son el rey,
Las tarjetas gráficas gobiernan, ya verás
Una feroz batalla se libra entre cada marca
Cada uno promocionando lo suyo, cada uno con un reclamo
De ser el mejor, el de tener y sostener
Pero al final no es la letra, es la audacia
Muchas Nvidia o AMD, cual es el problema?
La cuestión es que cuanto más tengas, más verás crecer tus marcos.
Se trata de las pilas de múltiples GPU en el juego
Pero ¿y el poder? ¿Cuánto tiempo hasta que termine?
¡No te preocupes allí tampoco! Algo de poder es más de lo que podemos compartir
No se trata del costo o el precio que pagamos
Pero el número que necesitamos para ejecutar un juego ese día
¿Qué sucede si este juego es demasiado exigente para su sistema?
Necesitará más potencia para obtener una velocidad de cuadro de su elección
Ese poema haría sonrojar a un Vogon. Pero es realmente impresionante poder ejecutar un chatbot LLM en una PC vieja o posiblemente en un teléfono. Quizás un futuro modelo de lenguaje proporcione una experiencia más satisfactoria.
