Cómo la unidad está construyendo su futuro en ar, vr y ai

Unity es la plataforma de desarrollo 3D más utilizada en el mundo. Alimenta el 40 por ciento de los 1, 000 juegos móviles más importantes y más de la mitad de todos los juegos móviles nuevos, según la firma de análisis de aplicaciones Apptopia. Junto con Unreal Engine, los dos motores de juego populares apuntalan la mayoría de las experiencias de juego en la web.

Sin embargo, el espacio de desarrollo 3D está mucho más lleno de lo que solía ser, especialmente cuando se trata del desarrollo de realidad aumentada y virtual.

Unity sirve como bloques de construcción o se integra con la mayoría de las plataformas AR / VR más nuevas, incluyendo ARKit de Apple y ARCore de Google, pero ahora también está lidiando con la competencia de Amazon Sumerian y otras interfaces de arrastrar y soltar que buscan simplificar la experiencia para creadores menos técnicos.

Para mantenerse a la vanguardia de la competencia y evolucionar su plataforma para un ecosistema creciente de nuevos dispositivos y experiencias 3D, Unity está impulsando una estrategia doble liderada por sus divisiones AR / VR y AI. PCMag habló con Tony Parisi, Director Global de Soluciones de Marca VR / AR de Unity, y Danny Lange, Vicepresidente de IA y Aprendizaje Automático de Unity, para conocer el futuro de Unity y cómo la plataforma y los juegos que crea se están volviendo más inteligentes sin incluso te das cuenta.

La visión de Unity del paisaje AR / VR

IDC pronostica que el gasto en productos y servicios de AR / VR alcanzará los $ 27 mil millones este año, y el mercado solo está creciendo a partir de ahí. Parisi dijo que Unity apunta a soportar todas las plataformas en el espacio.

"Hace tres o cuatro años, antes de unirme, Unity comenzó a hacer importantes inversiones en el mercado emergente de realidad virtual (Oculus Rift, HTC Vive, Samsung Gear VR, etc.) con el objetivo de crear una especie de sistema con todas las funciones para los desarrolladores para que no tengan que perder el tiempo en los detalles de bajo nivel de cómo soportar estas plataformas ", dijo Parisi. "Hemos llegado al punto en el que escribe la mayoría de sus aplicaciones una vez, y puede portarlas a estos dispositivos".

Esto no es universalmente cierto, dijo, porque una aplicación que cree para un auricular con visor móvil se diseñará de manera un poco diferente a una aplicación optimizada para una experiencia basada en PC. Pero según las métricas internas de Unity, la plataforma actualmente alimenta el 69 por ciento de las experiencias de Oculus Rift, el 74 por ciento en HTC Vive, el 87 por ciento en Gear VR y el 91 por ciento de las experiencias de realidad mixta (MR) en Microsoft HoloLens.

• Trabajando con un ecosistema en crecimiento

  Parisi ha estado trabajando en AR / VR desde mediados de los 90 haciendo trabajos de visualización en 3D. Co-creó el formato de archivo VRML y otras especificaciones subyacentes a WebGL, y fundó y trabajó para varias otras compañías de realidad virtual. Se unió a Unity a fines de 2016 para encabezar la publicidad, el marketing y la estrategia en AR, VR, MR y el paraguas más amplio de realidad extendida (XR).

  "justo después del boom de Pokemon Go, que era una especie de AR simplista más sobre la ubicación, ir a algún lugar y encontrar un Pokémon, más un poco de la cámara. Es un factor que seguimos aumentando. Se trata tanto de la ubicación como se trata de la inmersión ", dijo Parisi.

  En el frente AR, Parisi habló sobre cómo Facebook y Snap están utilizando sus plataformas de desarrollador Camera Effects y Lens Studio para evolucionar lo que puede hacer con las cámaras de los teléfonos inteligentes para mapear el entorno que lo rodea. Bridging AR y teléfonos inteligentes basados ​​en auriculares son experiencias como el juego Star Wars: Jedi Challenges, que también fue creado con Unity y funciona con un teléfono inteligente combinado con los auriculares Mirage AR de Lenovo.

  La próxima ola son los teléfonos con soporte de sistema operativo AR a través de ARKit de Apple y ARCore de Google, dijo Parisi. Al igual que con Amazon Sumerian, Unity se asocia con Apple y Google para crear contenido AR utilizando herramientas 3D. Unity también sirve como base para herramientas de código abierto de Google como Tilt Brush y Blocks. Parisi imagina un mundo aumentado compartido que abarca los sistemas operativos móviles.

  "Apple y Google son excelentes socios. Tenemos relaciones profundas con ellos para desarrollar y apoyar estas experiencias y contenido XR a través de las herramientas 3D de Unity", dijo Parisi. "Muchas de las herramientas de creación democratizadas que no son para codificadores o desarrolladores o diseñadores profesionales están integradas en nuestro motor. Lo que es aún mejor es que puedes tomar modelos Blocks o Tilt Brush y llevarlos a otras aplicaciones de Unity como cualquier otro software eso entra en la Unidad ".

  En el lado de MR y VR, los grandes dispositivos y reproductores de software son Oculus, HTC y, por supuesto, Microsoft y su ecosistema de realidad mixta de Windows. Unity crea aplicaciones 3D para todas ellas, pero Microsoft está borrando un poco las líneas entre la realidad mixta y la virtual, dijo Parisi. HoloLens es un dispositivo de realidad mixta, pero los auriculares de realidad mixta de Windows son VR.

  "La industria todavía se está enfrentando a lo que deberíamos llamar todo esto", dijo Parisi. "Dependiendo de si está diseñando contenido que combina lo digital con el mundo real en lugar de entrar en un mundo completamente inmersivo, tiene diferentes desafíos. En realidad virtual, los desafíos de rendimiento son mayores. Debe crear un mundo completamente sintético. Eso significa PC auriculares VR basados ​​en 90 cuadros por segundo, lo que aumenta el rendimiento. La realidad mixta es menos intensiva, pero también tiene que adaptarse en tiempo real a todo el entorno que está procesando ".

• La evolución de la creación de contenido en 3D

  Unity es una herramienta de creación 3D democratizada para desarrollar contenido inmersivo. Hay versiones gratuitas, Plus y Pro que puede comprar por cuotas de suscripción mensuales, y es libre de regalías. Entonces, lo que construyes con Unity es tuyo. Actualmente, Unity admite la construcción de alrededor de 30 plataformas diferentes, desde teléfonos inteligentes y sistemas operativos de PC hasta una gran cantidad de sistemas de juegos, televisores inteligentes y auriculares VR.

  Recientemente, Unity se ha utilizado para crear una amplia gama de contenido y experiencias inmersivas. Estos van desde una serie del Festival de Cine de Sundance llamada Spheres, que permite a los espectadores explorar una colisión cósmica de dos agujeros negros en realidad virtual, hasta el juego CocoVR de Disney, que utiliza proyecciones de 360 ​​grados que transportan a los jugadores a la Tierra de los Muertos de la película de Pixar.

  Parisi también habló sobre el uso de Unity para crear divertidos juegos de realidad virtual como Beat Saber y experiencias aumentadas, incluida la aplicación MLB At Bat AR, que permite a los espectadores de béisbol apuntar sus teléfonos inteligentes al juego y ver las estadísticas en la pantalla sobre los jugadores.

  Unity puede construir todos estos tipos de aplicaciones, pero hay muchos matices a tener en cuenta en el diseño. Las experiencias basadas en PC son más potentes, lo que permite modelos 3D más grandes en entornos más ricos, y los auriculares como Oculus Rift y HTC Vive también le ofrecen controladores de entrada junto con el seguimiento posicional y a escala de habitación para tener en cuenta. Parisi dijo que tiene que diseñar para ese tipo de aplicación de manera diferente de lo que lo haría para una experiencia de visualización de 3 grados de libertad en un auricular como Google Daydream View. No es tan fácil como presionar un botón, pero Unity ha trabajado para garantizar que el contenido 3D que cree pueda moverse de un dispositivo a otro sin demasiada codificación.

  Más allá de las aplicaciones de juegos y entretenimiento para experiencias AR / VR, una de las preguntas que Unity ha enfrentado últimamente es cómo mejorar su entorno de creación 3D para atender a diferentes industrias, niveles de habilidad y casos de uso. Al igual que con las herramientas de desarrollo de bajo código destinadas a satisfacer tanto a los codificadores serios como a los usuarios no técnicos, Unity está descubriendo formas de hacer que su interfaz, su tienda de activos y el resto de su plataforma funcionen para diferentes tipos de empresas y usuarios para expandir sus clientes. base.

  "Observamos estas diferentes industrias donde AR y VR están surgiendo. Podrían ser organizaciones automotrices, cinematográficas, de arquitectura, médicas u otras en las que está distribuyendo software a cientos de miles de asientos", dijo Parisi. "Se trata de mundos completamente diferentes, diferentes empresas, diferentes orígenes y herramientas de producción. Inicialmente nos enfocamos en las industrias de juegos y móviles porque ahí fue donde creció, pero ahora la rueda ha girado y es el momento adecuado para tomar ese libro de jugadas y traerlo a algunas de estas otras industrias ahora porque el mundo se está volviendo B2B ".



Limitaciones actuales de AR / VR

Por el momento, el mayor obstáculo para una adopción más generalizada de MR y VR no es la falta de contenido, sino las limitaciones de hardware en lo que respecta a la comodidad y la portabilidad frente a la potencia informática, dijo Parisi. El viaje tenso de los próximos auriculares Magic Leap sirve como un caso de estudio de texto para tratar de reducir un procesador lo suficientemente potente en un factor de forma lo suficientemente pequeño para el consumo masivo.

"Es desafiante crear una experiencia de realidad mixta que funcione caminando por la sala de estar en lugar de navegar por calles abiertas", dijo Parisi. "Estamos en un lugar donde todavía estamos pasando por iteraciones en el hardware para encontrar el punto óptimo entre la potencia informática y la portabilidad. Con un auricular VR, puede moverse hasta que sienta el inconveniente del cable. Necesitamos otro manera de transmitir esos datos. Ese cable es un dolor; rompe la inmersión. Estuve en otro lugar por un minuto, pero luego tuve algo enredado alrededor de mi pie ".

En el lado AR, las limitaciones son diferentes; se trata mucho más de la visión por computadora y la potencia de procesamiento para gráficos 3D en tiempo real. Cuando se trata de la visión por computadora y el uso de diferentes tipos de aprendizaje automático (ML) para llenar los vacíos y hacer que las experiencias AR / VR sean más inteligentes y más fluidas, ahí es donde entra el creciente departamento de IA de Unity.

• La estrategia de AI de Unity

  Unity está utilizando la IA de muchas maneras diferentes, desde mejorar el juego y el diseño del motor hasta rastrear el comportamiento del usuario y cambiar la forma en que los desarrolladores de juegos pueden monetizar sus aplicaciones. El equipo de inteligencia artificial, que cuenta con más de 100 empleados en todo el mundo, está dirigido por Danny Lange, vicepresidente de inteligencia artificial y aprendizaje automático de Unity.

  Lange se unió a Unity hace unos 18 meses después de haber sido Director de Machine Learning en Uber y Director General de Amazon Machine Learning. También trabajó en IBM y Microsoft. Llegó al mundo de los juegos con una perspectiva diferente sobre ML, y ha ayudado a convertir los esfuerzos tradicionales de ML de Unity en proyectos más ambiciosos.

  "Las empresas como Amazon y Uber están muy orientadas al aprendizaje automático. Viniendo de un mundo de autos autónomos en este entorno de juegos en 3D, quieres buscar el lugar perfecto para superar el límite de la inteligencia artificial", dijo Lange.

  "Cuando llegué, había una serie de esfuerzos de aprendizaje automático en marcha en los que traje experiencia en aprendizaje dinámico y sistemas dinámicos en los que básicamente se mejora el comportamiento", continuó Lange. "Esto es algo que hicimos mucho tanto en Amazon como en Uber. Ya sea que esté enviando libros o esté optimizando para una recolección sin fricciones para Uber, todo eso no es realmente personas sentadas y diseñándolas, son sistemas informáticos aprendiendo dónde decir dónde encontrar a su conductor de Uber. Y cuando llegué a Unity, vi una gran oportunidad para llevar esas ideas al mundo de los juegos ".

  Como Lange explicó, los proyectos de ML de Unity abarcan todo, desde el juego hasta la monetización. En un caso, el equipo busca grupos de usuarios que tienen ciertos patrones de gasto que los desarrolladores de Unity quieren monetizar a través de publicidad o compras en la aplicación. Luego, Unity presenta esos resultados a los desarrolladores para un compromiso a largo plazo más efectivo.

  La compañía también aplica ML para mejorar el juego, el diseño del motor y la ayuda con el proceso de creación de contenido. La estrategia general de Unity se divide esencialmente entre el lado del desarrollo en un nivel de servicio más alto y una investigación más avanzada de aprendizaje profundo en el lado académico. Lange dijo que esto también se cruza con lo que el departamento de Parisi está haciendo con el desarrollo XR, donde Unity brinda a los investigadores un entorno gráfico en 3D para probar nuevos algoritmos de ML.

  "AR y VR son en realidad dominios fantásticos para el aprendizaje automático y la inteligencia artificial. A menudo pienso en la inteligencia artificial como una realidad mejorada, y la realidad es difícil de manejar", dijo Lange. "Es difícil encontrar algoritmos fijos que entiendan todo en una habitación y puedan superponerse a esa habitación. Realmente no se puede codificar eso. Debe usar el aprendizaje automático y la inteligencia artificial para colocar objetos virtuales en una habitación que reconocen que una mesa es una superficie, y si la pones en el borde de una mesa, se caerá. Esas son áreas donde el aprendizaje automático juega un papel muy importante debido a este comportamiento dinámico del mundo real; comprender la profundidad y las dimensiones en los espacios virtuales. con el objetivo de sacar la vanguardia del aprendizaje profundo para revolucionar la forma en que estos juegos se crean y se comportan ".



Aprendizaje automático detrás de escena

En el lado del desarrollo y la jugabilidad, Lange retiró el telón sobre cómo Unity está entrelazando algoritmos ML en la experiencia para automatizar el proceso de creación e iteración.

"Capturamos muchos datos de comportamiento: cuando comienza un juego, cuánto tiempo jugaste, qué escenas atraviesas en ese juego", dijo Lange. "En ese sentido, estamos utilizando el aprendizaje automático y el análisis de datos en un contexto similar a lo que hacen Amazon o Google: recopilar datos de comportamiento y retroalimentarlos al desarrollador del juego. Es algo así como el análisis web, que le proporciona datos procesables. usar de inmediato para ver en qué niveles se estancan los jugadores, qué escenas no funcionan, etc."

Estos datos se pueden usar para optimizar factores como compras en la aplicación y publicidad, pero Lange dijo que los algoritmos ayudan a encontrar un equilibrio entre mostrar a los usuarios el contenido que les interesa y monetizar los juegos al extremo. En un nivel macro, explicó que se trata más de crear un ciclo de datos de comportamiento que se perpetúe a sí mismo para ayudar a los juegos a evolucionar orgánicamente, eliminando el trabajo manual del desarrollador de la ecuación.

"El aprendizaje automático es donde puedes tomar datos y comenzar a hacer conexiones", dijo Lange. "Cuando lo pones en un bucle, como lo que a menudo verás en un juego, los datos conducen a predicciones del juego y de los jugadores. Eso crea más datos de comportamiento, y ahora tienes un sistema que puede interactuar y aprender de los usuarios y cómo interactúan entre ellos. Uno de nuestros grandes esfuerzos es utilizar la tecnología de inteligencia artificial para crear juegos más orgánicos que evolucionen con el uso ".

• Agentes de aprendizaje automático

  La forma más importante en que Unity está haciendo esto es a través de ML Agents, una iniciativa beta de código abierto que convierte los juegos y las simulaciones 3D en campos de entrenamiento para agentes inteligentes autónomos. Esencialmente, Unity permite a los desarrolladores implementar estos agentes ML flexibles en cualquier escenario y actuarán como una esponja: aprendiendo y evolucionando de manera personalizada en función del entorno virtual en el que los coloque.

  "Mi definición de aprendizaje automático versus inteligencia artificial es que con el aprendizaje automático se recopilan datos, se entrena el sistema y eso es todo", explicó Lange. "La inteligencia artificial es cuando el sistema se capacita constantemente y se vuelve mejor y mejor. Queremos que los juegos puedan evolucionar, y una de nuestras iniciativas públicas para promover eso son los agentes de aprendizaje automático".

  Unity tiene varias audiencias objetivo para sus Agentes ML. Un escenario es para desarrolladores, permitiendo que estos personajes automatizados se muevan e interactúen con los jugadores. En lugar de codificar sus acciones, los agentes de ML aprenden a través del refuerzo mientras simulan diferentes niveles y ayudan a los desarrolladores a probar rápidamente los juegos que actúan como jugadores virtuales que prueban miles de niveles de juego en paralelo.

  Otro caso de uso para ML Agents se centra en la narrativa. Lange dijo que Unity está probando a los agentes tratando de averiguar qué hará un jugador a continuación y luego seguirlos paso a paso. La idea es comprender qué están haciendo los jugadores humanos y cómo el juego compensará esas decisiones en el esquema más amplio de la narrativa. En los juegos donde millones de jugadores están activos, los Agentes de ML pueden aprender y ajustar los niveles o las historias de un juego a gran escala.

  En la simulación "Goodboy" anterior, el equipo de Lange creó un juego móvil simple utilizando un modelo de aprendizaje automático del kit de herramientas ML-Agents de Unity. En el juego, el pequeño corgi obtiene un palo con movimientos lindos, todo sin ser codificado. En cambio, sus acciones y comportamientos están controlados por agentes ML. Unity planea trabajar con socios de plataforma para expandir Agentes ML a todas las plataformas compatibles de Unity.

  "Si piensas en ese tipo de capacidad dentro de un juego en lo que llamamos el nivel narrativo, no son los personajes que se mueven en el juego los que están necesariamente controlados, sino la narrativa del juego en sí. Así que básicamente tienes el juego tratando de convertirte en alguien caminos muy emocionantes. Así que puedes elegir ir a la izquierda o a la derecha en un camino y el juego básicamente organizará una serie de eventos en función de lo que predice que vas a hacer, cinco, 10, 15 movimientos a partir de ahora ". dijo Lange.

  "Puedes imaginar cómo podría funcionar eso en un juego multijugador", continuó. "Uno de los ejemplos clásicos: al principio de un juego, dos individuos se encuentran. Uno roba todo el oro de otro jugador, y luego se separan con mala sangre entre ellos. Entonces el juego aseguraría una narrativa donde cada jugador termina juntos en un lugar donde sobrevivir tendrán que trabajar juntos. Necesitan cruzar un puente, y solo pueden hacerlo juntos, de lo contrario estarán fuera del juego. Sería muy difícil codificar tu camino con mucha simulaciones, pero con ML Agents el juego puede crear dinámicamente ese tipo de simulaciones ".

• Construyendo mundos virtuales asistidos por IA

  La demostración "Pirámides" anterior es un entorno que muestra los resultados de un proyecto de aprendizaje de refuerzo llamado Curiosity, donde los Agentes ML exploran rápidamente un mundo para descubrir las recompensas ocultas en el mapa.

  Otro lado de las operaciones de IA de Unity implica el uso de ML para crear escenas y texturas más inmersivas al generar contenido 3D. Lange dijo que este es un campo más nuevo pero muy prometedor donde los sistemas autónomos dentro de un juego pueden generar contenido controlado por movimiento y completar movimientos naturales, aprendiendo cómo se mueve un personaje, humano o animal y luego imitando esa animación en un juego.

  "Tenemos miles de desarrolladores que prueban esto", dijo Lange. "En el aspecto académico, hemos comenzado a ver a muchos estudiantes y doctores de la NASA en el MIT y en el Instituto Paul Allen en Seattle lanzando cosas en Unity. Me acabo de reunir con desarrolladores en Londres para ver el desarrollo de NPC que realmente están presionando límite en rendimiento gráfico con iPhones y dispositivos Android ".

  Unity también tiene un motor llamado Extreme AI para mapear personalidades a personajes, similar a cómo Amazon Sumerian construye "hosts" infundidos por AI. Para los personajes no jugables en un juego, Unity ha comenzado a experimentar con esto para una simulación más natural en el último año o dos, dijo Lange.

  "Entonces, si quieres construir un robot o un auto sin conductor o diseñar una casa, puedes hacerlo en Unity y llenar esa casa con NPC", dijo Lange. "Puedes simular a 1, 000 familias que viven en esa casa y recopilar información sobre cómo se mueven los personajes. ¿Se abren las puertas de la manera correcta? ¿Hay suficiente luz en las habitaciones? Si haces esto en la nube, podrías tener 1, 000 casas diferentes con 1, 000 familias diferentes. Esto podría parecer que va más allá de los juegos en sí, pero subyacente a todo esto está la tecnología de juegos ".

• El futuro de las aplicaciones inmersivas

  A medida que las ambiciones de inteligencia artificial / AR / VR de la compañía se expanden, Unity está mirando más allá del juego para una nueva generación de aplicaciones 3D. Un ejemplo es la industria automotriz, para la cual Unity recientemente formó un equipo dedicado para ayudar a crear contenido AR / VR para clientes como Audi, Toyota, Lexus y Volkswagen. Parisi dijo que Unity está buscando aplicar el poder de su ecosistema de desarrolladores multiplataforma para llevar la creación de aplicaciones AR / VR a nuevas industrias.

  "Estamos cambiando la forma en que diseñas autos, haces películas; cómo haces todas estas cosas como una empresa que sabe cómo vender a los desarrolladores de juegos", dijo Parisi. "Como ejemplo, supongamos que Ford quiere crear una aplicación en su laboratorio de innovación. Tienen hardware y software de alta gama, y ​​luego aparece Rift y deciden hacerlo en una PC para juegos. Publican un anuncio y lo más probable es que alguien en el área de Detroit sea un programador de Unity. Que una persona comience a crear prototipos, se convierta en un equipo de innovación de tres personas, y luego comience a desarrollar nuevas formas de diseñar automóviles para reemplazar los prototipos físicos ".

  Parisi también ve un gran potencial para reducir la fricción cuando se trata de AR y comercio electrónico. El gran punto de inflexión que viene es la próxima ratificación del Consorcio World Wide Web (W3C) de WebXR, un nuevo estándar que permitirá que las experiencias AR y VR se ejecuten como aplicaciones web directamente en navegadores de escritorio y móviles.

  Imagine ver un anuncio de un nuevo electrodoméstico de cocina en su feed social, y luego arrastrar ese modelo 3D a un entorno de realidad mixta vinculado con su cámara para ver cómo se ve en su cocina. Para que ese tipo de tecnología de publicidad 3D funcione a gran escala, Parisi dijo que la experiencia web debe ser perfecta. Si tiene que instalar una aplicación para ver cada objeto 3D etiquetado con información virtual solo para conectarlo a su cámara, el modelo no funciona, pero Unity se ve a sí mismo como una herramienta junto con estándares como WebXR que pueden cerrar esas brechas de compatibilidad.

  Parisi imagina un futuro donde el factor de forma para las experiencias AR / VR es un dispositivo de entretenimiento autónomo, ya sea una experiencia en el hogar, una aplicación basada en la ubicación o una simulación empresarial para capacitación. También dijo que la interfaz de usuario debe ser completamente inmersiva. La tecnología aún no está allí, pero no cree que esté tan lejos como algunos podrían pensar.

  "Algunas personas piensan que pasarán décadas antes de que podamos obtener unos auriculares o gafas inmersivos realmente buenos con suficiente potencia informática", dijo Parisi. "Cuando se consideran todos los avances milagrosos en la miniaturización, todos estos aspectos informáticos (CPU, GPU, redes 5G) en unos pocos años podríamos mover parte de ese procesamiento al límite o hacia la nube. El factor de forma podría sea ​​cualquier cosa, pero el elemento común es definitivamente una interfaz de usuario inmersiva donde puede presionar un botón y experimentar personajes digitales totalmente realizados o entornos en capas que combinan el mundo digital y el real ".