registran, procesan y visualizan el entorno físico real y/o nuestro movimiento y desplazamiento en él. Lo que es visualizado cambia de acuerdo a dónde estamos y según cómo o hacia dónde nos movemos.
Esto lleva a conceptos como Spatial Aware Media, Computación espacial, Spatial Storytelling, etc. Las tecnologías se desarrollan acorde a las necesidades relacionadas, por lo que se observa la implementación de cámaras con sensores de espacio, sensores de movimiento complejo en celulares, los protocolos de navegador permiten AR y VR en páginas web (WebXR), etc.
En sí, Realidad Extendida se conforma de experiencias de entorno que implican movimiento y por lo tanto espacio, por lo que podemos hablar de una ampliación de XR hacia conceptos y lógicas abarcantes más complejos.
En el LabXR exploramos y experimentamos con las técnicas (explicadas en la siguiente sección) para identificar los pros y contras de cada una, qué logran y qué no, con el fin de identificar los campos de aplicación, la accesibilidad (costo, facilidad, tiempos, necesidades) de cada tecnología, la experiencia de usuario y caso dado el impacto como fenómeno cultural-ético -- así como la actualización constante de estos factores.
los dispositivos especializados (Oculus Quest, etc) se vuelven progresivamente más accesibles en precio
los dispositvos cotidianos, es decir, los teléfonos móviles, integran cada vez más sensores a la par que aumenta su capacidad de procesamiento. El punto de quiebre es la capacidad del procesamiento en tiempo real: no hay delay entre la captura por la cámara + sensores y la visualización del entorno, lo cual permite la simulación de realidad
Cámaras con sensores
La Kinect Azure, una cámara industrial de Microsoft, integra sensores Time-of-Flight (tiempo de retorno), que envía pulsos de luz infrarroja para medir la distancia. Evoluciona así el mecanismo de los dispositivos para juegos Kinect anteriores, que incluían sensores infrarojos con luz estructurada (Structured Light, una malla de luz infrarroja que permite medir mediante su distorsión).
Los iPhone Pro desde el 12 y los iPad Pro también incluyen sensores LIDAR
El procesamiento de imagen. Aquí se explora 2 frentes diferentes para construir e intervenir el espacio registrado desde imágenes.
La fotogrametría como construcción de las características espaciales - sea de un objeto o de un entorno- desde la combinación de imágenes 2D, usándola para reconstruir el espacio como una malla de puntos o una red (mesh). El concepto es antiguo, tiene siglos, y proviene de la topología inferida desde la variación de perspectivas. En volumetría se refiere a la producción de una malla desde cientos o miles de imágenes de perspectiva variada. Sobre esta malla de puntos con coordenadas geométricas (XYZ) se coloca la información de color (textura) - lo cual va de acorde con las técnicas anteriores para imagen 3D.
La interpolación de la información lumínica. También se basa sobre imágenes 2D tradicionales (sea foto o video), interpolando su información para crear una visión tridimensional. Las imágenes pueden ser de un celular, de una cámara 360, de una cámara de un Dron, o incluso de archivo. Mas se basa sobre malla con sobreposición de textura, sino sobre el cálculo por cada punto. En la técnica Radiance Field se calcula cómo se ve un punto desde diversos ángulos para simular cómo lo veríamos si lo rodeamos. Por cada punto -que tiene coordenadas XYZ- se procesa su aspecto desde diversas perspectivas en tanto su emisión de luz (color e intensidad). Actualmente (2026) hallamos dos técnicas principales, que difieren en velocidad y producto, mas son a menudo combinadas (para explicación en detalle véase este link.
Neural Radiance Fields (NeRFs), técnica que evolucionas desde 2020, calcula perspectivas de mirada de cámara, procesando los parámetros de cada pixel mediante un deep neural network (un tipo de procesamiento computacional).
3D Gaussian Splatting, implementado en 2023, se basa sobre interpolaciones de puntos de luz que llevan a una rasterización de manchas (blobs).
Actualmente, se suele combinar diversas técnicas para optimizar tanto exactitud como realismo, así como facilitar el procesamiento y la interoperabilidad. Por ejemplo, se pone un Gaussian Splatting sobre una malla Mesh, etc.
Brayam Lazares
Andres Leon-Geyer
Rodrigo Velarde
Andres Mercado
Alvaro Baisman
Nano De Lucchi
En el LabXR investigamos las tecnologías en constante evolución mencionadas.
Proyectos relacionados son:
Por encargo del CIDE y para la Municipalidad de San Miguel, se trabaja en la puesta en valor de una Huaca.
Aquí exploramos
El registro con Dron para interpolar
un modelo 3D generado por Gaussian Splatting
un modelo 3D generado con NerF
La sobreposición de simulaciones de reconstrucción
La visualización y posicionamiento con 8th Wall
La memoria de una casa
Aquí se exploró
El registro con Dron para interpolar
un modelo 3D generado por Gaussian Splatting
un modelo 3D generado con NerF
La foto 360 con cámara 360 (QooCam 3 Ultra, de 8k)
Uno de nuestros primeros experimentos con Gaussian Splatting fue el registro en 3D del espacio del LabXR mediante una filmacion con cámara 360. Rodrigo recorrió con una InstaX4 el makerspace, repitiendo la filmaión continua a tres niveles de altura. Para ello, nos inscribirnos en el Beta facilitado por la empresa Splatica. Aquí se ve en vivo la interpolación en Splatica (Link).
Por encargo de la DAPE, se diseña una app que muetra hologramas de personas grabadas. No es genración de 3D, es registro.
Aquí se usó
La cámara Kinect Azure para grabar a personas y trasponerlas como hologramas 3D en AR.
fotogrametría con iPad, del programa PolyCam, para registrar objetos que se integran en la presentación
Generación de contenidos 3D para animarlos dentro del video espacial