Científicos israelíes financiados por la Unión Europea están desarrollando una tecnología que permitirá recrear en tres dimensiones conciertos de música, a partir de los vídeos e imágenes registrados por los asistentes con sus teléfonos celulares desde distintos puntos del estadio. Aún tienen que perfeccionarla, y arreglar la cuestión de los derechos.

¿Alguna vez estuvo en un concierto de rock y, después, deseó poder vivirlo otra vez exactamente igual, o incluso mejor? Esto podría ser posible pronto gracias a un proyecto de investigación financiado con fondos europeos llamado SceneNet, cuyos responsables están desarrollando una tecnología que permite combinar vídeos captados con el celular y remitidos por distintos espectadores situados en distintos puntos de un estadio para reconstruir el espectáculo en tres dimensiones.

Chen y Nitzán Sagiv tuvieron esta idea cuando se encontraban en un concierto de Depeche Mode en Tel Aviv. «Yo no quitaba ojo del espectáculo y, mientras tanto, Nitzán contemplaba a la multitud», relató Chen, coordinadora del proyecto SceneNet, en un reportaje a «Israel Hayom».

«Llamó su atención la innumerable cantidad de luces tenues proyectadas por las pantallas de los celulares. El público estaba grabando vídeos de la actuación. A Nitzán se le ocurrió la posibilidad de fusionar todos los vídeos captados por toda esa gente y elaborar uno mejorado, fruto de la sinergia y posiblemente en 3D. Sopesamos la idea durante muchos meses, pero nos parecía demasiado futurista, arriesgada y complicada».

Durante el primer año del proyecto, su equipo desarrolló la infraestructura móvil necesaria para los canales de transmisión de vídeo, un mecanismo para etiquetarlos y su transmisión a un servidor en la nube. También se desarrollaron herramientas básicas para crear una interfaz humano-ordenador que permita a los usuarios visualizar el espectáculo en 3D desde cualquier punto del estadio y modificar por sí mismos la grabación resultante.

En opinión de los emprendedores, de este modo surgirán comunidades en línea que compartirán los contenidos para poder revivir todos juntos la experiencia del concierto. Con este objetivo en mente, los socios se disponen a estudiar temas de privacidad y de derechos de propiedad intelectual durante los próximos dos años del proyecto.

«Al final del primer año, adelantándonos a las previsiones, articulamos el procedimiento completo de SceneNet partiendo de componentes tecnológicos punteros», aseguró Chen. La creación de los algoritmos de visión artificial acelerados para celulares representa una labor pionera a nivel mundial, y por ello algunos de los más importantes fabricantes de chips siguen muy de cerca la evolución de esta iniciativa.

El proyecto plantea varios retos tecnológicos: un preprocesado en el propio dispositivo que requiere una potencia de computación inmensa; la transmisión eficaz de las grabaciones en vídeo; el desarrollo de métodos precisos y rápidos de registro entre las distintas grabaciones; y la reconstrucción tridimensional. Todas estas tareas deben ejecutarse casi en tiempo real.

«Opinamos que los distintos componentes que forman SceneNet, por ejemplo el registro de imágenes y la reconstrucción tridimensional, poseen grandes posibilidades para la computación móvil y en la nube. Así, ofrece una innovación tecnológica drástica, tanto en conjunto como en cada uno de sus componentes», añadió la investigadora.

A medida que avanza el proyecto se plantea una infinidad de usos posibles del sistema. Siempre que se solventen los aspectos relacionados con la privacidad y otros derechos, esta tecnología podría utilizarse también para recrear otros acontecimientos en tres dimensiones, como noticias de última hora o deportivas, o también en los sectores del turismo y la vigilancia.

Los socios estudian la posibilidad de grabar objetos estáticos y también activos desde distintos ángulos a fin de crear instrucciones que puedan enviarse a impresoras en 3D. Su modelo de servidor en la nube para móviles podría emplearse asimismo para un sinfín de otras aplicaciones, afirmaron los investigadores. Pero por el momento se centran en los aficionados a la música.

«SceneNet trata sobre cámaras de celulares y visión en 3D. Gracias a la «invasión» de las cámaras de celulares y la mejora constante de su calidad, estamos rebosantes de imágenes que queremos mejorar y enseñar a los demás. Se están desarrollando muchos dispositivos que «comprenden» la información visual recibida - como Google Glass -, y la mayor parte de sus trabajos se fundamentan en el tratamiento de la imagen y en la visión artificial.

La visión en 3D no hace sino cobrar importancia para mejorar la visualización del mundo y también para facilitar el análisis de ese mundo», explicó la coordinadora.

Para desarrollar el proyecto, Chen y Nitzán Sagiv solicitaron asesoramiento en Iserd, la dirección de I+D para Israel y Europa, y se pusieron en contacto con el profesor Peter Maass, de la Universidad de Bremen, en Alemania, y con el profesor Pierre Vandergheynst, de la École Polytechnique Fédérale (EPFL) de Lausana, Suiza, con quien Chen ya había colaborado en un proyecto anterior amparado en el Séptimo Programa Marco llamado UNLocX.

Fruto de todo ello es Scenenet, al que la Comisión Europea otorgó fondos por valor de 1,33 millones de euros y que está coordinado por la empresa de Chen y Nitzán, con sede en Raanana, y llamada SagivTech, especializada en visión artificial y computación paralela.

SceneNet, financiado a través del programa de tecnologías futuras y emergentes, estará en marcha hasta enero de 2016 y cuenta con el concurso de cuatro socios europeos: la Universidad de Bremen, Steinbeis Innovation y European Research Services - los tres con sede en Alemania - y la EPFL suiza.

El proyecto supone un buen ejemplo de colaboración investigadora entre la Unión Europea e Israel. Cerca de 1.600 científicos israelíes se beneficiaron del Séptimo Programa Marco por medio de más de 800 proyectos financiados por la Unión Europea con fondos por valor de 634 millones de euros dedicados a muy diversos campos, desde la investigación puntera y las TIC hasta la nanotecnología, pasando por la energía y la salud.

«Esta es una oportunidad de formar parte de las prósperas comunidades científica e industrial europeas y de colaborar con destacados socios académicos y empresas de Europa», reconoció Chen.

Notas relacionadas:

Israel: Presentan batería que carga celular en 30 segundos

«Sparrow», transbordador israelí para llegar a la Luna

Israel: Empresa lanza GPS para espacios cerrados