Es por eso que Mirhoseini ha estado usando AI para optimizar las chips AI. En 2021, ella y sus colaboradores en Google construyeron un sistema de IA no LLM Eso podría decidir dónde colocar varios componentes en un chip de computadora para optimizar la eficiencia. Aunque algunos otros investigadores No se pudo replicar los resultados del estudio, Mirhoseini dice que Naturaleza investigó el documento y confirmó la validez del trabajo, y señala que Google ha utilizado los diseños del sistema para varias generaciones de sus chips de IA personalizados.
Más recientemente, Mirhoseini ha aplicado LLM al problema de escribir núcleos, funciones de bajo nivel que controlan cómo se llevan a cabo diversas operaciones, como la multiplicación de matriz, en chips. Ella ha descubierto que incluso los LLM de uso general pueden, en algunos casos, escribir núcleos que correr más rápido que las versiones diseñadas por humanos.
En otros lugares de Google, los científicos construyeron un sistema que usaron para optimizar varias partes de la infraestructura LLM de la compañía. El sistema, llamado Alphaevolve, le pide a Gemini LLM de Google a escribir algoritmos para resolver algún problema, evalúa esos algoritmos y le pide a Gemini que mejore los más exitosos, y repita ese proceso varias veces. Alphaevolve diseñó un nuevo enfoque para ejecutar centros de datos que ahorró el 0.7% de los recursos computacionales de Google, realizó más mejoras en el diseño de chips personalizados de Google y diseñó un nuevo núcleo que aceleró la capacitación de Gemini en un 1%.
Eso puede sonar como una pequeña mejora, pero en una gran empresa como Google equivale a enormes ahorros de tiempo, dinero y energía. Y Matej Balog, un científico de investigación del personal de Google Deepmind que dirigió el proyecto Alphaevolve, dice que él y su equipo probaron el sistema solo en un pequeño componente de la tubería de entrenamiento general de Gemini. Aplicarlo más ampliamente, dice, podría conducir a más ahorros.
3. Automatización de capacitación
Los LLM tienen hambre de datos famosos, y capacitarlos es costoso en cada etapa. En algunos dominios específicos, los lenguajes de programación inusuales, por ejemplo, los datos del mundo real son demasiado escasos para entrenar a LLM de manera efectiva. El aprendizaje de refuerzo con la retroalimentación humana, una técnica en la que los humanos obtienen respuestas de LLM a las indicaciones y las LLM se entrenan utilizando esas puntuaciones, ha sido clave para crear modelos que se comporten de acuerdo con los estándares y preferencias humanas, pero obtener retroalimentación humana es lento y costoso.
Cada vez más, los LLM se están utilizando para llenar los vacíos. Si se le solicita muchos ejemplos, los LLM pueden generar datos sintéticos plausibles en dominios en los que no han sido entrenados, y esos datos sintéticos se pueden usar para el entrenamiento. Los LLM también se pueden usar de manera efectiva para el aprendizaje de refuerzo: en un enfoque llamado «LLM como juez», los LLM, en lugar de los humanos, se utilizan para obtener los resultados de los modelos que están siendo entrenados. Ese enfoque es clave para el influyente marco de «IA constitucional» propuesto por los investigadores antrópicos en 2022, en el que un LLM está capacitado para ser menos dañino en función de la retroalimentación de otro LLM.
La escasez de datos es un problema particularmente agudo para los agentes de IA. Los agentes efectivos deben poder llevar a cabo planes de varios pasos para lograr tareas particulares, pero los ejemplos de la finalización de tareas paso a paso exitosa son escasos en línea, y usar humanos para generar nuevos ejemplos serían caros. Para superar esta limitación, Mirhoseini de Stanford y sus colegas han pilotado recientemente un técnica En el que un agente de LLM genera un posible enfoque paso a paso para un problema dado, un juez de LLM evalúa si cada paso es válido, y luego un nuevo agente de LLM está capacitado en esos pasos. «Ya no estás limitado por los datos, porque el modelo puede generar arbitrariamente más y más experiencias», dice Mirhoseini.
4. Diseño de agente de perfección
Un área donde los LLM aún no han hecho grandes contribuciones es en el diseño de los propios LLM. Los LLM de hoy se basan en una estructura de red neuronal llamada Transformer, que fue propuesta por investigadores humanos en 2017, y las mejoras notables que desde entonces se han realizado a la arquitectura también fueron diseñadas por humanos.
