Ningún desarrollador prominente de modelos fundamentales de IA, incluyendo empresas como OpenAI y Meta, está proporcionando suficiente información sobre su impacto potencial en la sociedad, según un nuevo informe de Stanford HAI (Inteligencia Artificial Centrada en el Humano).
Hoy, Stanford HAI publicó su Índice de Transparencia de los Modelos Fundamentales, que rastreó si los creadores de los 10 modelos de IA más populares revelan información sobre su trabajo y cómo las personas utilizan sus sistemas. Entre los modelos evaluados, el modelo Llama 2 de Meta obtuvo la mejor puntuación, seguido por BloomZ y luego por GPT-4 de OpenAI. Sin embargo, ninguno de ellos obtuvo puntuaciones especialmente altas.
Otros modelos evaluados incluyen Stable Diffusion de Stability, Claude de Anthropic, PaLM 2 de Google, Command de Cohere, Jurassic 2 de AI21 Labs, Inflection-1 de Inflection y Titan de Amazon.
Los investigadores reconocieron que la transparencia puede ser un concepto amplio. Su definición se basa en 100 indicadores de información sobre cómo se construyen los modelos, cómo funcionan y cómo se utilizan. Analizaron la información disponible públicamente sobre el modelo y le dieron a cada uno una puntuación, teniendo en cuenta si las empresas revelaban socios y desarrolladores de terceros, si informaban a los clientes si su modelo utilizaba información privada y una serie de otras preguntas.
Meta obtuvo un 53 por ciento de puntuación, destacando en conceptos básicos del modelo, ya que la empresa publicó su investigación sobre la creación del modelo. BloomZ, un modelo de código abierto, le siguió de cerca con un 50 por ciento y GPT-4 obtuvo un 47 por ciento, empatando con Stable Diffusion a pesar del enfoque de diseño relativamente restrictivo de OpenAI.
OpenAI se niega a publicar gran parte de su investigación y no revela fuentes de datos, pero GPT-4 logró obtener una alta clasificación debido a que hay mucha información disponible sobre sus socios. OpenAI trabaja con muchas empresas diferentes que integran GPT-4 en sus productos, lo cual genera muchos detalles públicos para analizar.
Rishi Bommasani, líder de sociedad en el Centro de Investigación sobre Modelos Fundamentales de Stanford y uno de los investigadores, dice que el objetivo del índice es proporcionar un punto de referencia para gobiernos y empresas. Algunas regulaciones propuestas, como la Ley de IA de la UE, podrían pronto obligar a los desarrolladores de grandes modelos fundamentales a proporcionar informes de transparencia.
"Lo que intentamos lograr con el índice es hacer que los modelos sean más transparentes y desglosar ese concepto tan amorfo en cuestiones más concretas que se puedan medir", dice Bommasani. El grupo se centró en un modelo por empresa para facilitar las comparaciones.
La IA generativa tiene una comunidad de código abierto grande y vocal, pero algunas de las empresas más grandes en el campo no comparten públicamente su investigación ni sus códigos. OpenAI, a pesar de tener la palabra "abierto" en su nombre, ya no distribuye su investigación, citando preocupaciones de competitividad y seguridad.
