LOS AVATARES DE REALIDAD VIRTUAL DE FACEBOOK & OCULUS Y SU EVOLUCIÓN

La figura del avatar como representación gráfica de un usuario en el metaverso, ha evolucionado a lo largo de los años desde su primera aparición en los juegos de rol, haciéndose cada vez más definido y corpóreo en plataformas como la realidad virtual. La inclusión de estos avatares en mundos sociales donde intercambiar y comunicarse con otros usuarios, ha hecho necesaria su personalización, pues en mundos sociales regidos por las mismas reglas de las redes sociales, los usuarios buscan poder expresar su personalidad en los avatares que encarnan, pues suponen en sí una extensión digital de nosotros mismos.

Como os comentaba en este artículo sobre redes sociales en realidad virtual, diferentes empresas como AltspaceVR, Sansar, o VRChat se han aventurado en la creación de estas plataformas, y cada una de ellas tiene avatares diferentes. En este artículo veremos en concreto la evolución de los avatares de Oculus y Facebook, que en su objetivo de crear la próxima gran red social, han tenido interesantes reflexiones y avances que recopilamos aquí.

Facebook está preparando su ecosistema de realidad virtual para que sea la próxima gran red o plataforma social. Sin embargo, ha pecado desde el inicio de un enfoque algo fragmentado, y ha llegado a tener hasta cuatro aplicaciones sociales de realidad virtual diferentes, que no estaban disponibles en todas las plataformas, siendo la interacción entre los usuarios de los diferentes dispositivos de Oculus (Go, Rift y Quest) imposible.

La noticia de la actualización de Venues (anterior Oculus Venues) con imágenes de avatares perfectamente adjudicables a Facebook Horizon, trae quizás la promesa de unificar estos diferentes avatares de la compañía. Pero empecemos por el principio, viajamos atrás en el tiempo, a cuando estos avatares empezaron a crearse.

DISCLAIMER: Artículo originalmente publicado en Real o Virtual.

2015 / 2016 – El inicio de Oculus Avatars y primeros experimentos de VR social de Facebook

En el año 2015, Oculus creó Toybox, una de las primeras experiencias desarrolladas para demostrar la capacidad de rastreo de ambas manos además del posicional de las gafas de realidad virtual. Este proyecto, centrado en permitir a las personas agarrar objetos y, lo que es más importante, interactuar entre sí en realidad virtual, evolucionó hacia Oculus Avatars.

De este primer experimento se descubrieron algunas curiosidades, como que no se necesita más representación que una caja como cabeza y un par de cubos como manos para poder «reconocer» a una persona conocida en realidad virtual.

A medida que avanzaban en la demo con una cabeza y manos simplificadas, el equipo de Facebook Reality Labs aprendió también que algo tan simple como la dirección del puente de la nariz podía comunicar de manera clara hacia dónde enfoca alguien su atención. El reto era conseguir que estos avatares parecieran humanos, quizás no tanto en su forma final, pero sí en su forma de moverse y comportarse, ya que en aquel momento no tenían la tecnología o presupuesto necesarios para enfrentarse a intentar reproducir un avatar fotorrealista.

Para el lanzamiento de Oculus Avatars en 2016, comenzaron con una representación humana volumétrica de proporciones precisas, y usaron una textura monocromática a propósito para evitar cualquier parecido con la piel humana. Tampoco se centraron en los ojos, poniendo el foco en el movimiento de la cabeza y en las manos.

Por otra parte, en abril de 2016, Facebook reveló el prototipo de un espacio de realidad virtual social durante su conferencia de desarrolladores F8, presentado en vivo en el escenario por el CTO de Facebook Mike Schroepfer y por el gerente de producto de realidad virtual social Michael Booth. Podéis ver más en este vídeo a partir del minuto 19.

El lanzamiento de Oculus Avatars, que nos permitía personalizar la identidad de nuestro avatar de Oculus en realidad virtual con miles de combinaciones disponibles para Rift con el lanzamiento de Touch, vino acompañado de la funcionalidad Oculus Parties y Rooms, que nos permitía conectar mediante llamadas de voz con hasta ocho personas. En Oculus Rooms podíamos reunirnos y ver películas o iniciar la misma aplicación simultáneamente, y los avatares permitían ya una serie de interacciones, aunque estaban limitados. Por ejemplo, la voz activaba una luz en nuestras bocas virtuales para dar a entender que estábamos hablando, pero no se movían.

En octubre de 2016, Mark Zuckerberg, CEO de Facebook, subió al escenario en la Oculus Connect 3 (la de 2016) para mostrar el último prototipo de realidad virtual social de Facebook. Este prototipo presentaba unos avatares más realistas con expresiones faciales activadas por audio y gestos con las manos usando los mandos Touch. Permitía a los avatares introducirse en entornos de vídeo o foto 360, pintar, jugar al ajedrez, a las cartas o con espadas, e incluso realizar videollamadas entre el mundo virtual y el real a través de Messenger.

Este prototipo terminó por estrenarse en 2017 bajo el nombre de Facebook Spaces para los usuarios de Oculus Rift. Y sí, sé lo que estáis pensando: mismo año, y dos estilos de avatares super diferentes presentados en la misma Oculus Connect. Mark nos presentó un prototipo de realidad virtual social con unos avatares muy diferentes de los que podíamos personalizar en Oculus Avatars. Una más de las incongruencias y rarezas de esta extraña relación entre Facebook y Oculus, que, hasta la llegada de META, habían ido cada uno por su cuenta.

De hecho, Michael Booth, uno de los que presentaba el vídeo del prototipo o experimento social con Zuckerberg que os he dejado más arriba, estuvo entre el equipo que desarrolló el diseño del avatar de realidad virtual social, y más tarde ese mismo día, enseñó una serie de experimentos que la compañía había realizado en un intento de encontrar la forma más creíble de representar a los usuarios en un espacio social de realidad virtual.

Booth mostró que la empresa había decidido deliberadamente mantenerse al margen de avatares «realistas» por la conocida como sensación de uncanny valley, que nos hace rechazar aquello que parece humano pero que claramente no lo es. Sin embargo, interactuar en realidad virtual con representaciones estilizadas de humanos podría resultar igualmente incómodo, por lo que Facebook optó por la «identificación auténtica» (usando tu nombre real y fotos de ti mismo) y la limitación del diseño de sus avatares hacia algo que las personas pudieran identificar como humano.

El punto clave para la presencia social estaba en poder disfrutar de la realidad virtual con amigos y tener la sensación de que realmente estaban juntos, y eran reconocibles como ellos. Así optaron por avatares que pudieran ser realistas sin llegar a ser extraños o inquietantes, pasando por más de una docena de diseños, como algunos que podemos ver aquí.

Esta decisión venía de gran cantidad de tests y experimentos que demostraron que un avatar más realista ayudaba a las personas a conectarse entre sí de una manera más cercana a interactuar con amigos en persona, y que también hacía que esa persona se sintiera más cómoda con su piel virtual y quisiera compartir con otras personas dentro de la realidad virtual.

Un punto interesante de estas investigaciones fue el resumen de lo que la compañía había aprendido hasta el momento sobre lo que hace creíble a un avatar en realidad virtual. Además de los diseños de cabeza, se le añadieron componentes que fortalecían la sensación de presencia, como brazos y cuerpo para poder amplificar la sensación de conexión, contacto visual, con ojos de un tamaño cercano a la realidad y añadiendo parpadeos, para aportar realismo, movimiento en la boca como indicador visual de que alguien nos está hablando y para que la conversación fluya de forma más natural, o expresiones predeterminadas para demostrar estados, como «sonriendo», «confundido», «escéptico» o «escuchando», y así hacer más fácil que las personas comunicasen cómo se sentían.

2017, Introducción a Facebook Spaces & Avances en Avatares Expresivos de Oculus

En abril de 2017 se lanzó la aplicación Facebook Spaces, con varias opciones de personalización de avatares con nuevos controles para ajustar el tamaño, la posición y el ángulo de las características del avatar y nuevas formas de cabeza, peinados y rasgos faciales para elegir. También se podía personalizar el tipo de cuerpo del avatar por primera vez, y en un principio admitía la interacción de hasta 4 usuarios y estaba disponible para Oculus Rift y HTC Vive. Empezaba con la selección de fotos de nuestro propio perfil de Facebook y mediante aprendizaje automático nos aconsejaba aquellos estilos que más se podían parecer a nosotros.

Por parte de Oculus, en la Oculus Connect 4 de 2017 anunciaron una actualización de los estilos de los avatares junto con una demostración en vídeo de los primeros trabajos en avatares expresivos.

Su trabajo se centró básicamente en lo que denominaban representación escultórica y cómo esas representaciones realistas de los volúmenes humanos facilitaban la sensación de realismo.

Las texturas pasaron a ser su preocupación principal en la representación de estos avatares. Estas texturas, junto con los sombreados, ayudaban a que el nivel de realismo no resultara desagradable, y tras numerosas observaciones sobre personajes de videojuegos y películas, trabajaron en lograr fidelidad conductual más allá de la representación.

Su objetivo era crear algo que fuera lo suficientemente humano para que se pudiesen interpretar los rasgos fisiológicos y los comportamientos faciales, pero no tanto como para fijarnos en la manera en que la piel debería arrugarse y estirarse, o el comportamiento del cabello (que es increíblemente difícil de simular).

Otro de los factores decisivos fue la computación o capacidad de procesado, ya que en aquel momento con Oculus Go y Quest en el horizonte, necesitaban abrir una vía para enviar múltiples avatares expresivos a un chipset móvil, y fueron muy conscientes del coste de cada vértice que agregaban a la cara del avatar.

La inclusión del movimiento de la boca les obligó a esculpir de nuevo los avatares y centrarse en optimizar la fidelidad de zonas que sí se estiraban y arrugaban al hablar (las regiones que rodean la boca, los párpados y las cejas), reduciendo el peso de las áreas que no se moverían (dientes, globos oculares, orejas), y añadieron iluminaciones sutiles en los bordes para ayudar a acentuar la legibilidad de la cara. El resultado final fue la demostración en Oculus Connect 5 a finales del 2018.

2018 – Los Avatares Expresivos y Más Experimentación con IA

En la F8 de 2018, Facebook presentó los avances que habían realizado en los últimos años y cómo la inteligencia artificial había ayudado a crear avatares más realistas y a añadir la tecnología de sincronización de labios o lip sync. Estas tecnologías se probaron con diferentes personas y en diferentes idiomas.

También desvelaron los primeros experimentos para conseguir avatares fotorrealistas que pudieran animarse en tiempo real para la realidad virtual como podemos ver en el siguiente vídeo.

2019 – Los Codec Avatars & Anuncio de Horizon

En marzo de 2019 Facebook estrenaba una serie de artículos e investigaciones sobre los trabajos que estaban llevando a cabo en los laboratorios de Facebook Reality Labs (FRL), con Michael Abrash a cargo, con el objetivo de relatar cómo se incorporarán todas las tecnologías y avances que se trabajan desde estos laboratorios en nuestro día a día.

Así, se anunció el caso de Codec Avatars, un proyecto de investigación que perseguía la creación de avatares realistas y que se estaba desarrollando en la oficina de Pittsburgh de la compañía. Este proyecto consistía no solo en mejorar los gráficos y los movimientos, sino en lograr que interactuar con otras personas en realidad virtual se convierta en algo natural, y por ello trabajaban en «interacciones auténticas» que nos permitirían experimentar «presencia social», y que deberían pasar lo que ellos llaman el test del ego y el de la madre. Primero, tanto una persona como su madre deben aceptar y querer al avatar para poder realizar intercambios sociales tal y como lo harían en la vida real.

En el vídeo vemos unos modelos que previamente han sido creados utilizando estudios de captura volumétrica. En ellos se hacen una serie de pruebas con un sistema de cámaras infrarrojas y micrófonos integrados en el visor, que permiten capturar un amplio rango de expresiones. Estos visores eran denominados como HMCs (Head Mounted Capture Systems). El objetivo sería entrenar sistemas de inteligencia artificial que nos permitieran crear nuestro propio Codec Avatar a partir de unas pocas fotos o vídeos. Este tipo de pruebas se grabaron en un espacio de 132 cámaras y 350 luces en forma de domo llamado Mugsy, que reúne 1 giga de información por segundo para que una red neuronal pueda aprender a mapear expresiones y movimientos de sonidos y deformaciones musculares, desde todos los ángulos posibles. También se presentaron las capturas de avatares de cuerpo completo pero no eran a tiempo real, capturado en un estudio parecido al de Microsoft.

También se presentaron una serie de avances en la F8 de 2019, referentes al body tracking o seguimiento corporal sin marcadores ni dispositivos de tracking adicionales, como los de Vive. Aunque solo es un proyecto de investigación aún y no un producto, los resultados son muy interesantes, ya que parece que con un solo sensor externo se podrían capturar el movimiento desde el esqueleto hasta la masa muscular, que es crítica para entender el comportamiento y la intención de cuerpos trackeados. Prueba de ello es una pequeño demo en la que dos personas jugaban a fútbol con una pelota virtual, en tiempo real, en un mismo espacio virtual compartido. Se aprecian unos marcadores OptiTrack conectados a los cascos, por lo que probablemente se trataba de una configuración de varias cámaras.

La idea es que la tecnología de body tracking sin marcadores podría ser una realidad en futuro cercano, o quizá a través de un sensor asequible y práctico que permita exportar en tiempo real el movimiento humano hacia entornos virtuales.

En abril de 2019 se lanzaba el editor de los avatares expresivos, la actualización disponible para Rift y Go, que simulaba el movimiento de los ojos y de la boca de los avatares alcanzando en ellos una mayor expresividad y una mayor sensación de naturalidad en las interacciones dentro del mundo virtual, y que tenía más opciones de personalización, con nuevos tonos de piel, peinados y ropas.

Por último, en 2019 recibíamos la noticia del lanzamiento de Facebook Horizon como la culminación de esfuerzos anteriores en el terreno de plataformas de realidad virtual de la compañía, haciendo oficial el cierre de Spaces y Rooms el 25 de octubre de 2019. Horizon llegaba con una nueva evolución de los avatares vistos anteriormente, y seguía por una línea estética alejada del fotorrealismo, pero con múltiples posibilidades de personalización.

También en la Connect de 2019, Facebook Reality Labs presentaba sus trabajos en espacios reales virtualizados para realidad virtual o en técnicas de reconstrucción de espacios en 3D, lo que nos permitiría sumergirnos en lugares virtuales basados en entornos reales y poder, con nuestros avatares virtuales, realizar reuniones en sitios reales que han sido virtualizados, como podría ser el salón de nuestra casa familiar, como vemos en este vídeo.

2020, Avatares de Cuerpo Completo y Miradas Realistas y lanzamiento de Horizon

Ese año, Facebook compartió una serie de avances interesantes hacia la captura de humanos y la creación de avatares fotorrealistas de cuerpo completo. En concreto, en la Conferencia Anual de Visión por Computadora CVPR, Facebook Reality Labs lanzó este breve vídeo que muestra la investigación hacia avatares fotorrealistas y seguimiento de cuerpo completo:

Vemos por ejemplo uno de los proyectos de investigación, el conocido como PIFuHD, basado en un sistema de aprendizaje automático para generar una representación 3D de una persona y su ropa a partir de una sola imagen de 1k. Esto se haría usando algoritmos, sin que se requiera un sensor de profundidad o un equipo de captura de movimiento. Lo interesante es que con el hardware que tenemos en la actualidad, lo habitual es que solo se pueda manejar imágenes de entrada de relativamente baja resolución, limitando la precisión y el detalle del modelo de salida. PIFuHD toma un nuevo enfoque, reduciendo el muestreo de la imagen de entrada pero alimentando la capa base con nuevas mallas de información gráfica que agrega detalles a la superficie.

En julio de 2019 se presentaba otro paso más para conseguir la fidelidad de los avatares y la sensación de presencia social en entornos virtuales centrado en conseguir un contacto visual entre avatares más humano.

Para ello, han creado un modelo de avatar virtual en 3D que puede ser animado por cámaras montadas en visores VR para rastrear y reproducir con precisión la mirada humana, un sistema para la interacción cara a cara en VR que se centra en la reproducción de una mirada fotorrealista y un contacto visual pleno, gracias a un modelo del globo ocular en 3D que capta mejor la dirección de la mirada y las expresiones faciales superiores, y a un sistema capaz de diferenciar la mirada de los ojos izquierdo y derecho entre sí y la orientación del resto del rostro. Estos experimentos dan como resultado una mayor calidad de representación de la comunicación no verbal de la mirada.

Por último, durante estos últimos meses de verano y especialmente desde el 25 de agosto hemos podido ver algunos de los avances de Facebook Horizon y sus avatares caricaturescos.

Parece que el editor de avatares que podemos ver en este vídeo para Venues tiene características similares al que de momento conocemos de la beta de Horizon.

En ambos casos vemos cómo hay una serie de animaciones predefinidas que se activan con los gestos de nuestras manos. Al levantar un pulgar sonreímos, y al levantar dos, parecemos realmente emocionados por algo. Por el contrario si ponemos un pulgar hacia abajo, mostramos nuestro desagrado con una situación, y con dos pulgares nos cambia por completo la expresión de la cara, aunque podemos seguir hablando mientras hacemos estos gestos.

Captura del vídeo de Youtube de BMF

Al igual que en otros avatares de diferentes redes sociales de VR, no tenemos más que la parte superior del cuerpo, pero por ejemplo, al contrario que AltspaceVR o RecRoom, tenemos brazos.

Respecto a las opciones de personalización, hay opciones limitadas que entendemos se ampliarán con el tiempo y las actualizaciones futuras.

2022, nuevos Meta Avatares y avatares fotorrealistas generados por móvil

Saltamos al 2022 con la fiebre descargada por el metaverso, el cambio de Facebook a Meta, y su enfoque en la realidad virtual social. Horizon Worlds se ha habilitado en diferentes países aparte de USA y Canadá, como España y Francia, y si bien su éxito se está poniendo en duda, sus avatares continúan evolucionando, así como la iniciativa de Meta por dar a los desarrolladores los META AVATARS como herramienta o solución para crear experiencias sociales e inmersivas que incluyan los avatares de Meta, que ya usan juegos como FOREVR o FITXR.

Una de las novedades presentadas en el Meta Connect de 2022 es la posibilidad de usar avatares de cuerpo completo. Esta opción se habilitará primero en Meta Horizon Worlds, y estará a disposición de los desarrolladores el año que viene.

Por otra parte, para dispositivos de nueva generación como el Meta Quest Pro, se podrá explorar las expresiones faciales naturales, gracias a las capacidades del casco de registrarlas. 

Por último, pero no menos importante, se ha anunciado la apertura de Meta Avatars Store para finales de año, una tienda de avatares, donde se podrán empezar a comercializar prendas y accesorios para nuestros avatares, y que contarían con colaboraciones con marcas como Netflix, pero también del mundo del deporte y el entretenimiento.

También la Meta Connect de este año nos dejó ver los futuros avatares en los que está trabajando la empresa, pero que seguramente tardaremos más de un año en ver implementados.

Pero como ya vimos anteriormente, se está trabajando también en avatares fotorrealistas. Es posible que los avatares “Códec” acaben siendo una opción independiente, en vez de una actualización directa de los avatares de estilo cartoon que vemos de Horizon. En una entrevista con Lex Fridman,  Mark Zuckerberg describió un futuro en el que se podría utilizar un avatar «expresionista» en los juegos casuales y un avatar «realista» en las reuniones de trabajo.

En este sentido, los últimos avances que se presentaron en la Connect son realmente impresionantes. 

Por una parte, Meta mostró un avatar escaneado desde un teléfono móvil. Este requirió un escaneo de 10 minutos y unas cuantas horas de procesamiento, y el resultado podéis verlo en el siguiente vídeo.

Por otra parte, Meta mostró un avatar de cuerpo entero capturado en lo que la empresa denomina «Sociopticon». Este contiene 220 cámaras de alta resolución que requieren horas de escaneo y días de procesamiento para dar lugar a un avatar escaneado hiperrealista. Como se ve en el vídeo, se podía cambiar la ropa de este avatar en cualquier momento mientras la persona pregrabada realizaba los mismos movimientos una y otra vez. 

En la entrevista de UploadVR a Jason Saragih, director de investigación de Meta en Pittsburgh, este decía que lo que quieren intentar lograr es una mezcla de estos avances: «Hay que hacer que sea tan fácil como escanearse con un teléfono. Tiene que tener la calidad del Codec Avatar’s 2.0 y también tiene que tener el cuerpo completo».

También, obviamente, sería necesario trabajar en su distribución y que pudiera funcionar en un casco de realidad virtual de consumidor, apto para las masas. Y para eso, aún hay mucho camino que recorrer.

Conclusiones

Si algo hemos sacado en claro de esta recopilación y análisis es que, si bien el futuro aspira a la creación de avatares fotorrealistas y de cuerpo completo, nuestro presente está marcado por avatares más estilo cartoon, pero con múltiples opciones de personalización, y desde luego muy estudiados para conseguir conexiones sociales cómodas y memorables.

Más allá de los avances técnicos, no podemos obviar la importancia de los avatares como una herramienta para representarnos y comunicarnos en entornos sociales virtuales. Como comentaban en un podcast con la directora de producto de avatares de Meta:

«En el metaverso, la identidad irá más allá de los avatares: las experiencias que te dan forma se convertirán en partes profundamente arraigadas de tu identidad, desde los objetos que posees y que representan partes de ti mismo hasta los propios espacios que habitarás. Y la economía de los creadores será una parte emocionante de esto, con mucho más espacio para que la gente sea influyente en las esferas de una manera mucho más escalable.»

Espero que este análisis sobre los avatares de Facebook & Oculus y su evolución os haya resultado interesante. Os dejo una pequeña infografía con el resumen de estos hitos, y os prometo que seguiremos muy de cerca los avances en este campo tan apasionante.