Diez millones de horas de vídeo, liberadas para que cualquiera entrene con ellas — el mayor conjunto de vídeo abierto hasta hoy viene de una organización sin ánimo de lucro alemana

LAION, la entidad alemana sin ánimo de lucro cuyos conjuntos de imágenes ayudaron a entrenar Stable Diffusion, publicó el 25 de agosto LAION-BVD: 1.300 millones de enlaces de vídeo recolectados de Common Crawl, de los que efectivamente se descargaron 80 millones de vídeos que suman 10 millones de horas. De ahí el equipo recortó 55 millones de clips con descripciones escritas por máquina tanto para la imagen como para el sonido, y extrajo 300 millones de fotogramas sueltos. Los modelos entrenados con él son competitivos más que rompedores: un modelo vídeo-texto ViCLIP mejora hasta un 2,1 por ciento sobre la referencia InternVid, mientras que los resultados audio-texto e imagen-texto quedan a la altura de los grandes conjuntos sin curar ya existentes, y las mejoras crecen a medida que crece el modelo o los datos. Un hallazgo colateral: los fotogramas tomados en los cambios de plano se ven estadísticamente distintos de las imágenes web corrientes, lo que los hace útiles por sí mismos como datos de entrenamiento de imagen. El conjunto se publica solo para investigación, no para uso comercial.

✓ Verificado · 3 fuentes

Noticias relacionadas