La fotografía computacional está lista para su primer plano

Más de 87 millones de estadounidenses viajaron internacionalmente en 2017, un número récord según la Oficina Nacional de Viajes y Turismo de EE. UU. Si estabas entre ellos, tal vez visitaste un destino como Stonehenge, el Taj Mahal, la bahía de Ha Long o la Gran Muralla China. Y es posible que haya utilizado su teléfono para tomar una panorámica, tal vez incluso girando usted mismo con su teléfono para tomar una vista súper amplia de 360 ​​grados del paisaje.

Si tuvo éxito, lo que significa que no hubo secciones desalineadas, viñetas o cambios de color, entonces experimentó un ejemplo simple pero efectivo de fotografía computacional. Pero en los últimos años, la fotografía computacional se ha expandido más allá de usos tan limitados. No solo podría darnos una perspectiva diferente de la fotografía, sino también cambiar la forma en que vemos nuestro mundo.

¿Qué es la fotografía computacional?

Marc Levoy, profesor de informática (emérito) de la Universidad de Stanford, ingeniero principal de Google y uno de los pioneros en este campo emergente, ha definido la fotografía computacional como una variedad de "técnicas de imagen computacional que mejoran o amplían las capacidades de la fotografía digital la salida es una fotografía ordinaria, pero que no podría haber sido tomada por una cámara tradicional ".

Según Josh Haftel, gerente de producto principal de Adobe, agregar elementos computacionales a la fotografía tradicional ofrece nuevas oportunidades, particularmente para las compañías de imágenes y software: "La forma en que veo la fotografía computacional es que nos da la oportunidad de hacer dos cosas. Una de ellos es tratar de apuntalar muchas de las limitaciones físicas que existen dentro de las cámaras móviles ".

Hacer que un teléfono inteligente simule poca profundidad de campo (DOF), un sello distintivo de una imagen de aspecto profesional, ya que separa visualmente al sujeto del fondo, es un buen ejemplo. Lo que impide que una cámara en un dispositivo muy delgado, como un teléfono, pueda capturar una imagen con un DOF superficial son las leyes de la física.

"No puedes tener superficial profundidad de campo con un sensor realmente pequeño ", dice Haftel. Pero un sensor grande requiere una lente grande. Y dado que la mayoría de la gente quiere que sus teléfonos sean ultrafinos, no es una opción un sensor grande emparejado con una lente grande y voluminosa., los teléfonos están construidos con lentes pequeñas y sensores pequeños, lo que produce una gran profundidad de campo que hace que todos los sujetos estén cerca y lejos en un enfoque nítido.

Haftel dice que los fabricantes de teléfonos inteligentes y cámaras simples pueden compensar esto mediante el uso de la fotografía computacional para "hacer trampa simulando el efecto de maneras que engañan a la vista". En consecuencia, los algoritmos se utilizan para determinar qué se considera el fondo y qué se considera un tema de primer plano. Luego, la cámara simula un DOF superficial al desenfocar el fondo.

La segunda forma en que Haftel dice que se puede usar la fotografía computacional es emplear nuevos procesos y técnicas para ayudar a los fotógrafos a hacer cosas que no son posibles con las herramientas tradicionales. Haftel apunta a HDR (alto rango dinámico) como ejemplo.

"HDR es la capacidad de tomar múltiples disparos simultáneamente o en rápida sucesión, y luego fusionarlos para superar las limitaciones de la capacidad natural del sensor". En efecto, HDR, particularmente en dispositivos móviles, puede ampliar el rango tonal más allá de lo que el sensor de imagen puede capturar de forma natural, lo que le permite capturar más detalles en los reflejos más claros y las sombras más oscuras.

Cuando la fotografía computacional se queda corta

No todas las implementaciones de fotografía computacional han tenido éxito. Dos intentos audaces fueron las cámaras Lytro y Light L16: en lugar de combinar características de fotografía tradicionales y computacionales (como iPhones, teléfonos Android y algunas cámaras independientes), Lytro y Light L16 intentaron enfocarse únicamente en la fotografía computacional.

La primera en llegar al mercado fue la cámara de campo de luz Lytro, en 2012, que le permitió ajustar el enfoque de una foto después de capturar la foto. Lo hizo registrando la dirección de la luz que ingresa a la cámara, lo que las cámaras tradicionales no hacen. La tecnología era intrigante, pero la cámara tenía problemas, incluida la baja resolución y una interfaz difícil de usar.

También tenía un caso de uso bastante estrecho. Como Dave Etchells, fundador, editor y editor en jefe de Imaging Resource, señala: "Aunque poder enfocar después de que el hecho fuera una característica genial, la apertura de la cámara era tan pequeña que no se podían distinguir realmente las distancias a menos que haya algo realmente cerca de la cámara ".

Por ejemplo, supongamos que le disparas a un jugador de béisbol en un diamante de béisbol local. Podrías tomar una foto cerca de la cerca y también capturar al jugador a través de la cerca, incluso si está lejos. Luego, puede cambiar fácilmente el enfoque de la cerca al jugador. Pero como señala Etchells, "¿Con qué frecuencia realmente tomas una foto como esa?"

Un dispositivo más reciente que pretendía ser una cámara computacional independiente fue la Light L16, un intento de producir una cámara delgada y portátil con calidad de imagen y rendimiento a la par con una cámara réflex digital de alta gama o sin espejo. La L16 fue diseñada con 16 módulos diferentes de lente y sensor en un solo cuerpo de cámara. Poderoso el software a bordo construiría una imagen de los diversos módulos.

Etchells quedó inicialmente impresionado con el concepto de Light L16. Pero como producto real, dijo, "tenía una variedad de problemas".

Por ejemplo, Light, la cámara y La compañía de fotografía que fabrica Light L16, afirmó que los datos de todos esos pequeños sensores serían equivalentes a tener un sensor grande. "También afirmaron que iba a ser de calidad D-SLR", dice Etchells. Pero en sus pruebas de campo, Imaging Resource descubrió que este no era el caso.

Hubo otros problemas, incluido que ciertas áreas de la foto tenían un ruido excesivo, "incluso en áreas brillantes de la imagen… Y prácticamente no había rango dinámico: las sombras simplemente se obstruyeron de inmediato", dice Etchells, lo que significa que en ciertas En las secciones de las fotos, incluidas las fotos de muestra que la compañía estaba usando para promocionar la cámara, apenas había detalles en las sombras.

"También fue un desastre con poca luz", dice Etchells. "Simplemente no era una muy buena cámara, punto".

¿Que sigue?

A pesar de estas deficiencias, muchas compañías están avanzando con nuevas implementaciones de fotografía computacional. En algunos casos, difuminan la línea entre lo que se considera fotografía y otros tipos de medios, como video y realidad virtual (realidad virtual).

Por ejemplo, Google expandirá la aplicación Google Photos usando IA (inteligencia artificial) para nuevas funciones, incluida la coloración de fotos en blanco y negro. Microsoft está usando AI en su aplicación Pix para iOS para que los usuarios puedan agregar tarjetas de presentación a LinkedIn sin problemas. Facebook pronto lanzará una función de Fotos en 3D, que "es un nuevo tipo de medio que permite a las personas capturar momentos en 3D a tiempo usando un teléfono inteligente para compartir en Facebook". Y en la aplicación Lightroom de Adobe, los fotógrafos de dispositivos móviles pueden utilizar las funciones HDR y capturar imágenes en formato RAW.

VR y fotografía computacional

Mientras que los dispositivos móviles e incluso las cámaras independientes utilizan la fotografía computacional de maneras interesantes, incluso más casos de uso potentes provienen del mundo de las plataformas de realidad extendida, como VR y AR (realidad aumentada). Para James George, CEO y cofundador de Scatter, un estudio de medios inmersivo en Nueva York, la fotografía computacional es abriendo nuevas formas para que los artistas expresen sus visiones.

"En Scatter, vemos la fotografía computacional como la tecnología central que permite nuevas disciplinas creativas que estamos tratando de promover… Agregar la computación podría comenzar a sintetizar y simular algunas de las mismas cosas que nuestros ojos hacen con las imágenes que nosotros ver en nuestros cerebros ", dice George.

Esencialmente, todo se reduce a la inteligencia. Utilizamos nuestros cerebros para pensar y comprender las imágenes que percibimos.

"Las computadoras están comenzando a poder mirar hacia el mundo y ver cosas y entender lo que son de la misma manera que nosotros", dice George. Por lo tanto, la fotografía computacional es "una capa adicional de síntesis e inteligencia que va más allá de la simple captura de una foto, pero en realidad comienza a simular la experiencia humana de percibir algo".

La forma en que Scatter usa la fotografía computacional se llama fotografía volumétrica, que es un método para grabar un sujeto desde varios puntos de vista y luego usar un software para analizar y recrear todos esos puntos de vista en una representación tridimensional. (Tanto las fotos como el video pueden ser volumétricos y aparecer como hologramas similares a los de 3D que puede moverse dentro de una experiencia de realidad virtual o AR). "Estoy particularmente interesado en la capacidad de reconstruir cosas en algo más que de una manera bidimensional, "dice George. "En nuestra memoria, si atravesamos un espacio , podemos recordar espacialmente dónde estaban las cosas en relación entre sí ".

George dice que Scatter es capaz de extraer y crear una representación de un espacio que "es completamente y libremente navegable, en la forma en que podría moverse a través de él como un videojuego o un holograma. Es un nuevo medio que nace de la intersección entre los videojuegos y la realización de películas que permite la fotografía computacional y la creación de películas volumétricas ".

Para ayudar a otros a producir protecciones volumétricas de realidad virtual, Scatter ha desarrollado DepthKit, una aplicación de software que permite a los cineastas aprovechar el sensor de profundidad de cámaras como la Microsoft Kinect como accesorio para una cámara de video HD. Al hacerlo, DepthKit, un híbrido CGI y software de video, produce formas 3D realistas "adecuadas para la reproducción en tiempo real en mundos virtuales", dice George.

Scatter ha producido varias experiencias potentes de realidad virtual con DepthKit utilizando técnicas de fotografía computacional y filmación volumétrica. En 2014, George colaboró ​​con Jonathan Minard para crear "Clouds", un documental que explora el arte del código que incluye un componente interactivo. En 2017, Scatter produjo una adaptación de realidad virtual basada en la película Zero Days , utilizando la realidad virtual para proporcionar al público una perspectiva única dentro del mundo invisible de la guerra cibernética, para ver las cosas desde la perspectiva del virus Stuxnet.

Uno de los proyectos más potentes relacionados con DepthKit es "Terminal 3", una experiencia de realidad aumentada del artista paquistaní Asad J. Malik, que se estrenó a principios de este año en el festival de cine TriBeCa. La experiencia le permite ponerse virtualmente en la piel de un oficial de la patrulla fronteriza de los EE. UU. A través de un HoloLens de Microsoft e interrogar un holograma volumétrico 3D fantasmal de alguien que parece ser musulmán (hay seis personajes en total que puede entrevistar).

"Asad es un nativo de Pakistán que emigró a los Estados Unidos para asistir a la universidad y tuvo algunas experiencias bastante negativas al ser interrogado sobre sus antecedentes y por qué estaba allí. Sorprendido por esa experiencia, creó la 'Terminal 3'", dice George.

Una de las claves de lo que hace que la experiencia sea tan convincente es que el equipo de Malik en 1RIC, su estudio de realidad aumentada, utilizó DepthKit para convertir el video en hologramas volumétricos, que luego pueden importarse en motores de videojuegos en tiempo real como Unity o 3D herramientas gráficas como Maya y Cinema 4D. Al agregar los datos del sensor de profundidad del Kinect al video D-SLR para colocar correctamente el holograma dentro del espacio virtual AR, el software DepthKit convierte el video en computacional vídeo. Se utiliza un tablero de ajedrez en blanco y negro para calibrar la D-SLR y el Kinect juntos, luego ambas cámaras se pueden usar simultáneamente para capturar fotos y videos volumétricos.

• 10 consejos rápidos para arreglar tus fotos malas 10 consejos rápidos para arreglar tus fotos malas
• 10 consejos de fotografía digital más allá de lo básico 10 consejos de fotografía digital más allá de lo básico
• 10 consejos y trucos fáciles para mejores fotos de teléfonos inteligentes 10 consejos y trucos fáciles para mejores fotos de teléfonos inteligentes

Dado que estas experiencias de AR creadas con DepthKit son similares a la forma en que funcionan los videojuegos, una experiencia como "Terminal 3" puede producir potentes efectos interactivos. Por ejemplo, George dice que Malik permite que los hologramas cambien de forma a medida que los interroga: si durante el interrogatorio, sus preguntas se vuelven acusatorias, el holograma se desmaterializa y parece menos humano. "Pero a medida que comienzas a invocar la biografía de la persona, sus propias experiencias y sus valores", dice George, "el holograma en realidad comienza a llenarse y se vuelve más fotorrealista".

Al crear este efecto sutil, dice, puede reflexionar sobre la percepción del interrogador y cómo podría ver a una persona "como un emblema en lugar de una persona real con una verdadera identidad y singularidad". En cierto modo, podría dar a los usuarios un mayor nivel de comprensión. "A través de una serie de indicaciones, donde se te permite hacer una pregunta u otra", dice George, "te enfrentas a tus propios prejuicios y, al mismo tiempo, a esta historia individual".

Como la mayoría de las tecnologías emergentes, la fotografía computacional está experimentando su parte de éxitos y fracasos. Esto significa que algunas características importantes o tecnologías completas pueden tener una vida útil corta. Tome el Lytro: en 2017, justo antes de que Google comprara la compañía, Lytro cerró pictures.lytro.com, por lo que ya no puede publicar imágenes en sitios web o redes sociales. Para aquellos que se lo pierden, Panasonic tiene una función de enfoque tipo Lytro llamada Post Focus, que ha incluido en varias cámaras sin espejo de alta gama y apuntar y disparar.

Las herramientas y características de fotografía computacional que hemos visto hasta ahora son solo las comienzo . Creo que estas herramientas serán mucho más potentes, dinámicas e intuitivas a medida que los dispositivos móviles se diseñen con cámaras y lentes más nuevos y versátiles, procesadores integrados más potentes y capacidades de red celular más expansivas. En un futuro muy cercano, puede comenzar a ver los verdaderos colores de la fotografía computacional.