Este miercoles, se compartieron detalles sobre cómo el nuevo Google DeepMind utiliza uno de sus modelos de lenguaje visual (VLM) para generar descripciones para YouTube Shorts.
"Los Shorts se crean en solo unos minutos y a menudo no incluyen descripciones y títulos útiles, lo que los hace más difíciles de encontrar a través de la búsqueda", escribió DeepMind en la publicación. Ahora, podemos hacer esas descripciones analizando los cuadros iniciales de un video para explicar lo que está sucediendo. (DeepMind da el ejemplo de "un perro haciendo equilibro de una pila de galletas en su cabeza"). Las descripciones de texto se almacenarán como metadatos para "categorizar mejor los videos y hacer coincidir los resultados de búsqueda con las consultas de los espectadores".
Realmente recomiendo ver el video de DeepMind explicando cómo funciona, que he incrustado a continuación. Solo dura alrededor de un minuto y lo explica de manera clara y sencilla.
Nuestro poderoso modelo de lenguaje visual Flamingo está cambiando la forma en que podemos ver los @YouTube Shorts.
Genera automáticamente descripciones para cientos de millones de videos en sus metadatos, haciendo que sean más fácil de descubrir.
Así es como la IA está ayudando a creadores y espectadores. ⬇️ pic.twitter.com/pAt7MxFNs1May 24, 2023
Esto resuelve un problema real, según Colin Murdoch, jefe de negocios de Google DeepMind, para Shorts, los creadores a veces no agregan metadatos porque el proceso de creación de un short es más simplificado que para uno de formato más largo. Todd Sherman, director de gestión de productos para Shorts, agregó que, debido a que los Shorts se ven principalmente en un feed donde las personas simplemente pasan al siguiente video en lugar de buscarlos activamente, no hay tanto incentivo para agregar los metadatos.
"Gracias a Flamingo, la capacidad de comprender estos videos y proporcionarnos texto descriptivo, es realmente muy valiosa para ayudar a nuestros sistemas que ya se encuentran buscando estos metadatos", dice Sherman. "Permitirá categorizar de manera más efectiva estos videos para que podamos hacer coincidirlos con los usuarios cuando los buscan".
Las descripciones generadas no serán visibles para el usuario. "Estamos hablando de metadatos que están detrás de escena", dice Sherman. "No se los presentamos a los creadores, pero se está haciendo un gran esfuerzo para asegurarse de que sean precisos". En cuanto a cómo Google se asegura de que estas descripciones sean precisas, "todo el texto descriptivo se alineará con nuestros estándares de responsabilidad", dice Sherman. "Es muy poco probable que se genere un texto descriptivo que de alguna manera presente un video de manera negativa".
Esperemos que sea cierto, dado que la tendencia ocasional de la IA a inventar cosas o etiquetar cosas incorrectamente. Cualquier error grave de Flamingo podría ser perjudicial para los creadores y abrir a Google a críticas significativas.
Flamingo ya está aplicando descripciones generadas automáticamente a nuevas subidas de Shorts
Flamingo ya está aplicando descripciones generadas automáticamente a nuevas subidas de Shorts, y lo ha hecho para "un gran corpus de videos existentes, incluidos los más vistos", según el portavoz de DeepMind, Duncan Smith.
Tuve que preguntar si Flamingo se aplicaría a videos de YouTube de formato más largo en el futuro. Señala que para un video de formato más largo, un creador podría pasar horas en cosas como la preproducción, la filmación y la edición, por lo que agregar metadatos es una pieza relativamente pequeña del proceso de hacer un video.
Así que supongo que la respuesta allí es que tendremos que esperar y ver. Pero dado el gran impulso de Google para infundir IA en casi todo lo que ofrece, aplicar algo como Flamingo a videos de formato más largo de YouTube no parece estar fuera del ámbito de la posibilidad, lo que podría tener un gran impacto en la búsqueda de YouTube en el futuro.
