registran, procesan y visualizan el entorno físico real y/o nuestro movimiento y desplazamiento en él. Lo que es visualizado cambia de acuerdo a dónde estamos y según cómo o hacia dónde nos movemos.
Esto lleva a conceptos como Spatial Aware Media, Computación espacial, Spatial Storytelling, etc. Las tecnologías se desarrollan acorde a las necesidades relacionadas, por lo que se observa la implementación de cámaras con sensores de espacio, sensores de movimiento complejo en celulares, los protocolos de navegador permiten AR y VR en páginas web (WebXR), etc.
En sí, Realidad Extendida se conforma de experiencias de entorno que implican movimiento y por lo tanto espacio, por lo que podemos hablar de una ampliación de XR hacia conceptos y lógicas abarcantes más complejos.
En el LabXR exploramos y experimentamos con las técnicas (explicadas en la siguiente sección) para identificar los pros y contras de cada una, qué logran y qué no, con el fin de identificar los campos de aplicación, la accesibilidad (costo, facilidad, tiempos, necesidades) de cada tecnología, la experiencia de usuario y caso dado el impacto como fenómeno cultural-ético -- así como la actualización constante de estos factores.
los dispositivos especializados (Oculus Quest, etc) se vuelven progresivamente más accesibles en precio
los dispositvos cotidianos, es decir, los teléfonos móviles, integran cada vez más sensores a la par que aumenta su capacidad de procesamiento. El punto de quiebre es la capacidad del procesamiento en tiempo real: no hay delay entre la captura por la cámara + sensores y la visualización del entorno, lo cual permite la simulación de realidad
Cámaras con sensores
La Kinect Azure, una cámara industrial de Microsoft, integra sensores LIDAR, un laser medidor de distancia. Continúa la lógica de los dispostivos para juegos Kinect anteriores, que incluían sensores infrarojos.
Los iPhone Pro desde el 11 y los iPad Pro también incluyen sensores LIDAR
El procesamiento de imagen. Aquí se explora 2 frentes diferentes para construir e intervenir el espacio registrado desde imágenes
La fotogrametría. como construcción del espacio desde la información recogida con los sensores, usándola para intervenir y reproducir el espacio desde una malla de puntos o una red (mesh)
La interpolación de la información visual. Es decir, se toma imágenes 2D tradicionales (foto o video), sin información de sensores, y se calcula la información para crear una visión tridimensional. Las imágenes pueden ser de un celular, de una cámara 360, de una cámara de un Dron, o incluso de archivo.
Por ejemplo, en la técnica Radiance Field se calcula como se ve un punto desde diversos ángulos para simular cómo lo veríamos si lo rodeamos. Para ello se calcula un punto que tiene coordenadas XYZ y se procesa su aspecto desde diversas perspectivas en tanto su emisión de luz (color e intensidad). Aquí hay dos técnicas principales (2025)
Neural Radiance Fields (NeRFs), técnica que evolucionas desde 2020, calcula perspectivas de mirada de cámara, procesando los parámetros de cada punto mediante un deep neural network (un tipo de procesamiento computacional).
3D Gaussian Splatting, implementado en 2023, se basa sobre interpolaciones de puntos de luz.
Brayam Lazares
Andres Leon-Geyer
Rodrigo Velarde
Andres Mercado
Alvaro Baisman
Nano De Lucchi
En el LabXR investigamos las tecnologías en constante evolución mencionadas.
Proyectos relacionados son:
Por encargo del CIDE y para la Municipalidad de San Miguel, se trabaja en la puesta en valor de una Huaca.
Aquí exploramos
El registro con Dron para interpolar
un modelo 3D generado por Gaussian Splatting
un modelo 3D generado con NerF
La sobreposición de simulaciones de reconstrucción
La visualización y posicionamiento con 8th Wall
La memoria de una casa
Aquí se exploró
El registro con Dron para interpolar
un modelo 3D generado por Gaussian Splatting
un modelo 3D generado con NerF
La foto 360 con cámara 360 (QooCam 3 Ultra, de 8k)
Uno de nuestros primeros experimentos con Gaussian Splatting fue el registro en 3D del espacio del LabXR mediante una filmacion con cámara 360. Rodrigo recorrió con una InstaX4 el makerspace, repitiendo la filmaión continua a tres niveles de altura. Para ello, nos inscribirnos en el Beta facilitado por la empresa Splatica. Aquí se ve en vivo la interpolación en Splatica (Link).
Por encargo de la DAPE, se diseña una app que muetra hologramas de personas grabadas. No es genración de 3D, es registro.
Aquí se usó
La cámara Kinect Azure para grabar a personas y trasponerlas como hologramas 3D en AR.
fotogrametría con iPad, del programa PolyCam, para registrar objetos que se integran en la presentación
Generación de contenidos 3D para animarlos dentro del video espacial