Dentro de sumeria, la gran apuesta de amazon en realidad aumentada y virtual

Amazon está haciendo una gran entrada al espacio de realidad virtual y aumentada con Sumerian, una plataforma de desarrollo todo en uno que puede crear aplicaciones AR y VR para teléfonos inteligentes y auriculares y, muy pronto, aplicaciones AR / VR que se ejecutarán correctamente en tu navegador

Dentro de estas experiencias, Sumerian puede crear mundos virtuales inmersivos poblados por "anfitriones": personajes en 3D creados por la misma tecnología de inteligencia artificial que impulsa a Alexa.

Sumerian es agnóstico de plataforma. En lugar de desarrollar su propio dispositivo o auricular de marca, Amazon optó por la integración con las ofertas existentes. Sumerian se basa en estándares web abiertos y es compatible con ARKit de Apple y ARCore de Google, lo que significa que los creadores de aplicaciones pueden crear una aplicación Sumerian que se ejecute en Android, iOS, Oculus Rift, HTC Vive y más.

Como una nueva adición a Amazon Web Services, Sumerian tiene un precio utilizando el modelo basado en el uso de ese servicio en lugar de una suscripción y se conecta a otros servicios de AWS.

Amazon lanzó una vista previa de Sumerian en noviembre cuando se anunció por primera vez, pero antes de su lanzamiento esperado en mayo, PCMag obtuvo una mirada exclusiva dentro de Sumerian y algunas aplicaciones tempranas de clientes.

Kyle Roche, Gerente General de Amazon Sumerian, me llevó a través de una demostración de la plataforma de creación de aplicaciones 3D. Hice un recorrido por el editor de aplicaciones de arrastrar y soltar de Sumerian y la biblioteca de objetos 3D, su Visual State Machine para crear secuencias de comandos de escenas automatizadas complejas, y me metí en el proceso de creación de hosts artificialmente inteligentes, con los que puedes tener conversaciones completas dentro de estas experiencias virtuales.

También hablé con Marco Argenti, un vicepresidente que supervisa no solo AR / VR, sino también las divisiones AWS Mobile, Serverless Computing e IoT. Amazon tiene planes ambiciosos para Sumerian, y una visión aún más amplia para el papel de la realidad aumentada y virtual combinada con la IA jugará en nuestro futuro conectado.

• ¿Por qué Amazon está apostando por AR / VR?

  Entrar en una industria o campo completamente nuevo nunca ha detenido a Amazon antes. Solo mire Whole Foods, Amazon Video o sus esfuerzos en las industrias farmacéutica y de atención médica.

  Roche bromeó diciendo que el nombre sumerio proviene del libro de ciencia ficción Snow Crash (que Amazon en realidad está adaptando como una serie) y la idea de "anfitriones" vino de Westworld de HBO . Pero según Argenti, la decisión de Amazon de ingresar al espacio AR / VR en realidad se redujo a tres factores clave: la aparición de la realidad aumentada basada en teléfonos inteligentes; oportunidades de realidad virtual sin explotar en el mercado de empresa a empresa (B2B); y ayudar a los clientes de AWS a resolver problemas con cosas que ya estaban tratando de hacer.

  "Estas señales fueron lo suficientemente fuertes como para que realmente comenzáramos a entrar en el proceso de diseño sumerio. En la forma clásica de Amazon, comenzamos a trabajar hacia atrás desde los casos de uso del cliente y luego finalmente financiamos un equipo de desarrollo para construir el producto", explicó Argenti.

  Las aplicaciones B2B incluyen escenarios como señalización digital interactiva (piense en los gigantescos anuncios de hologramas parlantes de Blade Runner: 2049 ), capacitación virtual y una gran cantidad de casos de uso industrial de Internet de las cosas, como el uso de sensores para crear gemelos digitales y simulaciones complejas. Argenti también subrayó la importancia de que la AR basada en teléfonos inteligentes alcance un punto de inflexión a través de ARKit y ARCore.

  "La cámara se está convirtiendo en una herramienta muy poderosa para interactuar con la realidad y explorar el mundo que te rodea", dijo. "Los procesadores gráficos rápidos pueden superponer información en tiempo real, y los sensores pueden ayudar a construir una realidad en 3D. La idea es que tenga un sensor de alta calidad, alta definición y sensible al contexto en manos de miles de millones de personas".



Cómo Amazon construyó sumerio

Amazon comenzó a pensar en cómo se verían AR y VR para los clientes de AWS a fines de 2016, y una vista previa debutó en AWS re: Invent aproximadamente un año después. En el medio, sucedieron algunas cosas.

Primero, Amazon compró una startup sueca en quiebra llamada Goo Technologies; su entorno de creación 3D, Goo Create, se convirtió en la base del entorno de desarrollo integrado (IDE) de Sumerian.

El modelado visual en 3D de Goo Create también era un servicio en la nube basado en la web, pero Amazon dio un paso más al trasladar el back-end a AWS. Hay muchos beneficios al construir sobre la infraestructura de nube escalable que ya posee, pero uno grande es reducir drásticamente la latencia. Roche dijo que uno de los mayores puntos de venta de Sumerian es que a pesar de lo poderoso que es el editor, no hay nada que descargar o instalar. Durante la demostración, Sumerian se cargó desde una URL del navegador en segundos. Incluso hacer procesamiento de lenguaje natural (PNL) en tiempo real y generar animaciones elaboradas no lo ralentizó demasiado.

Al igual que con las plataformas de desarrollo de bajo código, Sumerian se puede usar en un nivel básico sin casi ninguna experiencia de desarrollador. Sin embargo, los codificadores y los científicos de datos pueden profundizar mucho más con las API programables y la interfaz de línea de comandos de Sumerian para personalizar escenas y escribir complejas lógicas de aplicaciones.

"Queremos una experiencia en la que hagas clic y estés inmediatamente en la escena", dijo Argenti. "Luego tienes herramientas de gráficos en 3D donde puedes arrastrar y soltar objetos. Sumerian es una herramienta visual que puede asociar lo que sucede cuando ocurren acciones o eventos, potencialmente sin escribir una línea de código".



Crear aplicaciones sumerias 3D

La filosofía de diseño más amplia que Amazon siguió con Sumerian es consolidar la experiencia de creación tanto como sea posible. Roche dijo que la idea era enmascarar muchas de las tareas de desarrollo repetitivas, por lo que el proceso básico para construir una aplicación sumeria es el mismo, independientemente de las plataformas AR y VR en las que finalmente lo publique.

Comienza con elegir una plantilla o saltar directamente a la creación de una nueva escena. Algunas de las plantillas predeterminadas de Sumerian incluyen escenas como espacios de oficina, salas de entrenamiento y almacenes, un buque de carga y una fogata al aire libre. El editor principal es compatible con WebGL y WebVR, y se presenta de la misma manera que muchas de las herramientas de bajo código que hemos probado.

A la izquierda hay un panel de entidades. Una entidad es esencialmente una tabla en una base de datos que lo ayuda a administrar los datos que se obtienen en su aplicación. Debajo de eso está la ventana de activos, que es donde puede buscar los objetos que desea incluir en una escena o abrir la biblioteca de activos completa de todos los modelos 3D de Sumerian. Roche dijo que Sumerian incorpora varias bibliotecas de objetos de código abierto y se integra con la API Sketchfab. Amazon también está interesado en integrarse con plataformas como TurboSquid y la biblioteca de objetos Poly AR / VR de Google, dijo. También puede importar sus propios activos en sumerio y soltarlos en una escena.

"El panel de activos puede servir como una zona de caída para una tubería de ajuste", explicó Roche. "Puede arrastrar los formatos de archivo 3D más comunes; los convertiremos, optimizaremos y almacenaremos para usted. Una de las cosas que hacemos en el back-end es que si está utilizando el mismo activo en varias escenas, nosotros "crearé un enlace de referencia para usted".

En el centro de la pantalla se encuentra el lienzo principal, donde puede arrastrar y soltar activos y modelos 3D en una escena. En la esquina del lienzo hay un botón para iniciar una vista previa de WebVR de su escena.

Debajo está el editor de la línea de tiempo, que funciona de manera similar a las herramientas de edición de video. A medida que arrastre animaciones y sonidos en cuadros y use la Máquina de estado visual para crear acciones, comportamientos de host y progresiones de eventos, todo se mostrará en la línea de tiempo, donde puede ajustar cómo un estado pasa a otro.

La columna de la derecha es el panel del inspector, que muestra los detalles de los componentes que está viendo y cómo puede personalizarlos. Para un modelo que tiene quizás cientos de variaciones diferentes, puede ajustar cosas como atributos y texturas sin tocar la escena.



Estrategia de Amazon: integrarse con todos

Sumerian juega no solo en el espacio de desarrollo 3D con plataformas como Unity, Unreal Engine y Vuforia, sino también en el ecosistema AR / VR más amplio junto con ARKit, ARCore y Windows Mixed Reality. Roche dijo que Sumerian aplica la filosofía de "construir una vez, ejecutar en cualquier lugar" a las aplicaciones AR / VR y especialmente a los desarrolladores empresariales.

"Los desarrolladores 3D profesionales o los animadores profesionales tienen un estudio que está trabajando con ellos. Pero la mayoría son desarrolladores web o móviles que aprenden algo como Unity en el trabajo", dijo Roche. "La unidad es genial, pero ser realmente bueno en eso es significativamente más difícil de lo que es tomar las habilidades que tienen, como si son buenos en JavaScript, y facilitarlos en 3D de esa manera. Así que decidimos centrarnos en eso parte del mercado ".

Sumerian admite varios estándares abiertos básicos: WebGL, WebAR, WebVR y el próximo marco de WebXR que traerá aplicaciones AR / VR a todos los dispositivos y navegadores en todas las plataformas. El Consorcio World Wide Web (W3C) votará para ratificar WebXR en los próximos meses. En ese punto, las aplicaciones sumerias podrán ejecutarse directamente en los navegadores.

Entre WebGL, WebVR y WebXR, Sumerian es completamente independiente de la plataforma, y ​​Sumerian publicó envoltorios nativos para integrarse directamente con ARKit y ARCore para aplicaciones AR basadas en teléfonos inteligentes. Roche dijo que Sumerian puede crear aplicaciones para cualquier plataforma que admita WebVR, lo que significa no solo Oculus Rift y HTC Vive, sino también Samsung Gear VR, Google Daydream View y otros. Sumerian también está trabajando estrechamente con el equipo de Google Chrome en WebXR para aplicaciones basadas en navegador.

El otro jugador importante en la sala es Microsoft. Si bien Amazon no fue tan lejos como para decir que Sumerian se integraría con el ecosistema de realidad mixta de Windows, Roche dijo que la última versión RS4 de Microsoft HoloLens incluye soporte WebAR, lo que significa que Sumerian puede ejecutar escenas HoloLens. Amazon también está mirando otros auriculares de compañías como Magic Leap y Meta, pero su enfoque le da a Sumerian el beneficio de la flexibilidad.

"Tomamos una decisión. Podríamos haber tomado el camino de hacer nuestra propia propiedad y empujar a los desarrolladores hacia eso", dijo Argenti. "Lo que decidimos en su lugar es ser lo más amplio posible para respaldar lo que creemos que será un mercado masivo. Una vez que todo se mueve a WebXR, todo el ecosistema del dispositivo viene con él. Vamos tras la base subyacente".

• Los anfitriones de IA de Sumerian son un cambio de juego

  Los anfitriones son uno de los puntos de venta más exclusivos de Sumerian. Un anfitrión es un personaje animado en 3D que puede colocar en una escena AR o VR. Los usuarios pueden hacer preguntas a los anfitriones, y los desarrolladores pueden escribir un conjunto complejo de acciones, comportamientos, gestos y movimientos que un anfitrión puede realizar mientras tienen conversaciones y recorren escenas. Amazon inspiró a los anfitriones de todo tipo de lugares, incluidos juegos en línea como Second Life y The Sims, dijo Roche.

  Sumerian actualmente tiene dos hosts predeterminados, Cristine y Preston, pero lanzará una serie completa de hosts en el transcurso de este año. Amazon construyó muchos matices en estos personajes de IA. Roche me mostró una demostración de Cristine donde arrastró al anfitrión a la escena y abrió el panel del inspector para personalizar sus emociones, expresiones faciales y gestos. Amazon generará automáticamente gestos a medida que el anfitrión habla basado en el procesamiento de la conversación en lenguaje natural. Entonces, si Cristine dice "Hola", podría provocar un gesto de saludo.

  Con algo llamado sistema de punto de interés, puede marcar una casilla en el editor para que los ojos del anfitrión siempre presten atención a la cámara. Entonces, si llevas un HTC Vive Pro caminando por un espacio de 360 ​​grados, el anfitrión puede seguirte. Si se trata de una aplicación AR conectada a la cámara de su teléfono inteligente, Roche explicó que el sistema de aprendizaje profundo Rekognition de Amazon puede realizar análisis faciales tanto de su ubicación como de su cara en el marco para que parezca que el anfitrión está mirando hacia atrás a través de su pantalla directamente a ti Te da la ilusión de contacto visual.

  Los clientes también pueden crear sus propios hosts personalizados desde cero utilizando Maya SDK de Amazon, pero Amazon proporciona el esqueleto básico desde el cual puede ajustar la apariencia, el dialecto y las inflexiones, el idioma y más de un host. A largo plazo, Amazon está pensando en formas de facilitar la creación de hosts. Argenti habló sobre la idea de un generador de host para avatares en primera persona, o usar el reconocimiento facial para unir personajes representados con personas reales.

  "Junto con Rekognition, si generamos procesalmente tantos de estos personajes como sea posible, podemos intentar emparejarlo con el avatar más cercano. Tomaremos su foto y realizaremos el reconocimiento facial inverso y lo emparejaremos con un personaje aleatorio para darle un host que se parece a una versión tuya ".

  Argenti explicó cómo la integración de otros servicios de AWS como el servicio de procesamiento de lenguaje natural Amazon Comprehend podría hacer que los hosts sean aún más realistas. Comprender analiza el texto para extraer metadatos sobre cosas como el estado de ánimo y el análisis de sentimientos. Por lo tanto, un anfitrión podría tener una expresión o forma facial diferente o hablar en función del estado de ánimo de la persona con la que está interactuando.

  "Si están enojados, tal vez el anfitrión los tranquilice", dijo Argenti. "Hay una evolución no solo en la forma en que transmitimos la información, sino también en cómo la presentamos a través de un análisis profundo de los sentimientos".



Tirando de los servicios de voz detrás de Alexa

Los anfitriones no son muy buenos si no pueden hablar. No puede decir "Hola Alexa" en una aplicación sumeria de la misma manera que puede activar Cortana en Windows Mixed Reality. En cambio, Amazon utiliza las API de reconocimiento de voz automático y comprensión del lenguaje natural detrás de Alexa para permitir que los anfitriones tengan conversaciones.

Sumerian está integrado con Amazon Lex y Amazon Polly. Polly es un servicio de texto a voz que convierte el texto en guiones que un anfitrión puede hablar. Lex es un motor de PNL para construir interfaces de conversación, que es cómo los hosts pueden entender y responder a lo que los usuarios dicen dentro de una aplicación AR o VR. Sumerian actualmente admite más de dos docenas de idiomas a través de Polly, y hay una función de sincronización de labios que hará coincidir los movimientos de la boca del anfitrión con la cadencia del idioma o el habla.

"La voz es un medio que realmente tiene sentido mientras estás inmerso en AR o VR", dijo Argenti. "Quiero hablar con un personaje si puedo verlo parado allí. Así que tomamos dos de estas herramientas del grupo de IA e intentamos realmente personificarlas. Queremos que la escena pueda escucharnos y respondernos. Entonces puedes tomar un flujo Lex completo como lo harías con un chatbot y simplemente arrastrarlo al personaje. En muchos sentidos, en realidad es más fácil que desarrollar una habilidad Alexa ".



Lógica de secuencias de comandos en mundos inmersivos

Visual State Machine de Sumerian es donde puede diseñar secuencias complejas y simulaciones virtuales. Utilizando el editor visual de la línea de tiempo o la interfaz JavaScript completa, los creadores y desarrolladores de aplicaciones pueden guiar la lógica para controlar cómo los hosts u otros objetos en sus escenas responden a diferentes acciones. Por ejemplo, Sumerian incluye un objeto de dron volador que podrías escribir para volar.

Todo esto se vuelve más complicado cuando introduces objetos del mundo real en la ecuación. Como Argenti también supervisa las divisiones de informática sin servidor e IoT en AWS, habló sobre cómo conectar Sumerian a servicios de AWS como Lambda y Greengrass puede abrir más posibilidades para simulaciones complejas. Greengrass es una forma de que los modelos de aprendizaje automático se ejecuten localmente en dispositivos IoT. Piense en un entrenamiento de modelo ML sobre los datos que obtiene de una máquina en una planta de fábrica, y luego inserte ese algoritmo en sumerio para simular esa misma máquina usando IA.

"Realmente podría haber un mundo simulado en AR y VR donde cada personaje u objeto sea inteligente en el entrenamiento de aprendizaje automático en el mundo real", dijo Argenti. "En última instancia, desea intentar recrear la realidad de la manera más realista posible. Hoy podemos acercarnos, pero aún no está del todo desde el punto de vista conductual para simular cómo funcionan realmente las cosas".



Meteorólogo simulado de Weatherbug

Cuando Amazon me llevó a través de algunas demostraciones de Sumerian para clientes, inicialmente me sorprendió cuando la primera fue una aplicación meteorológica.

Pero como explicó el gerente general de WeatherBug, Olivier Vincent, la realidad virtual tiene mucho más sentido para los datos climáticos de lo que parece. A medida que las personas comenzaron a verificar su clima en las aplicaciones en lugar de mirar pronósticos en la televisión, Vincent dijo que los informes meteorológicos han perdido uno de sus mejores detalles: su meteorólogo local frente a una pantalla verde.

"El clima se trata de decirte lo que está sucediendo en un momento dado en un lugar determinado. Puedes hacerlo de una manera agradable en 2D en tu aplicación para un vistazo rápido, pero sabíamos cuán populares han sido los meteorólogos y las mujeres a lo largo de los años". dijo Vincent. "Entonces, la idea es reintroducir a esa persona del clima dentro de una experiencia más inmersiva en la aplicación".

WeatherBug construyó una escena sumeria con un estudio de noticias virtual con un escritorio de anclaje y pantallas verdes, y dejó al anfitrión Cristine predeterminado de Amazon como meteorólogo. La aplicación extrae datos meteorológicos actuales para su ubicación que el anfitrión luego le leerá como parte de un pronóstico del tiempo personalizado. Desde la aplicación principal WeatherBug, Vincent lanzó el visor de realidad virtual que se amplió a través de un modelo 3D de Manhattan cuando Cristine dio el pronóstico, completo con altas y bajas temperaturas y copos de nieve cayendo.



Addison, el cuidador virtual

La empresa de tecnología de gestión de salud con sede en Nuevo México Electronic Caregiver tuvo una experiencia sumeria muy diferente.

La compañía ofrece tecnología para personas mayores como un dispositivo portátil con un botón de ayuda médica, pero también creó una solución llamada Addision Care, que reduce los costos de atención domiciliaria y utiliza AI conversacional para evaluar los riesgos de caídas de los pacientes mayores. La compañía está lanzando un quiosco a farmacias, hospitales y médicos que analiza la marcha de un paciente mediante el aprendizaje automático. El software también utiliza Addison, un host sumerio personalizado, para guiar a los usuarios a través de un cuestionario verbal sobre su historial de caídas.

"Hacer que los adultos mayores adopten la tecnología no es tan fácil", dijo Bryan Chasko, director de tecnología de Electronic Caregiver. "A medida que mejore, la tecnología de voz atraerá a ese mercado. Nunca lograrás que se sienten frente a un teclado y un mouse, pero con Addison solo pueden tener una conversación".

Electronic Caregiver ha estado trabajando en Addison durante años, desarrollando el personaje 3D usando Amazon Lex y Polly. La compañía es uno de los clientes de AWS que ayudó a Amazon a conceptualizar los puntos débiles que podría resolver con Sumerian y cómo automatizar la tubería de creación de aplicaciones AR / VR.

Judah Tveito, desarrollador virtual de Electronic Caregiver, dijo que Sumerian tomó procesos en los que habían estado trabajando durante meses y lo convirtió en unos pocos clics. La compañía también está trabajando en una aplicación móvil de Addison.

El cuidador electrónico finalmente imagina a Addison como un cuidador virtual en el hogar, dijo Chasko. Para los usuarios mayores que viven solos, la IA puede hacer cosas como recordarles que tomen medicamentos o llamar automáticamente al 911 si hay una caída u otra emergencia médica.

"Uno de los mayores problemas que creemos que esto puede abordar es el aislamiento que sienten las personas mayores cuando viven solos", dijo Chasko. "Realmente queremos tener un ambiente hogareño permanente las 24 horas del día, los 7 días de la semana, donde cuando no estás hablando con Addison estás en el baño y te caes, solo poder gritar, 'Necesito ayuda' podría salvar muchas vidas ".



The Moneymakers: B2B e IoT

Amazon habló mucho sobre cómo las aplicaciones sumerias podrían vivir en señalización digital interactiva. Imagine que alguien camina por el lobby de un hotel, un centro comercial o un estadio y ve a un anfitrión caminando junto a ellos en una pantalla. Puede sonar un poco espeluznante, pero los anfitriones también pueden procesar información contextual como la ubicación para convertir el anuncio en una conversación personalizada. Argenti ve a los anfitriones como extensiones virtuales de la marca de una empresa que podrían cambiar de acuerdo con lo que una empresa necesita.

"Si coloca estas aplicaciones en algún lugar con una cámara, puede imaginarse a un personaje 3D interactuando personalmente con usted: sabiendo quién es usted, tal vez la última vez que estuvo en el lugar o incluso lo último que ordenó", dijo Argenti.

"Un crucero es un buen ejemplo. El anfitrión podría decir 'Oye, en función de dónde te encuentres en el barco en este momento, tu reserva en 20 minutos, no vas a lograrlo. ¿Quieres que lo retrase? ¿15 minutos? También hay un aspecto visual de las experiencias que está recreando. Un anfitrión que le hable sobre viajar se verá diferente de uno que le hable sobre sus estrategias financieras. Agregar información de ubicación podría hacer que los caracteres cambien dependiendo de dónde se encuentran, la forma en que se visten y la forma en que se mueven, las inflexiones que tienen ".

Amazon está explorando una gama de aplicaciones B2B e IoT para clientes sumerios. En el frente industrial, Argenti dijo que Nokia creó un sistema con sensores y visualizaciones para monitorear el ambiente dentro de los contenedores de envío para medir cosas como la temperatura interior y la absorción de impactos sin abrirlos realmente.

"Se puede imaginar un mundo de AR donde estamos conectando millones de dispositivos a AWS y obteniendo una gran cantidad de datos sensoriales provenientes del mundo real", dijo. "Entonces podemos usar AR con triangulación para identificar un objeto y mostrar información relevante encima de él. Hay una gran aplicabilidad en todo lo que abarca desde servicio y reparación hasta monitoreo, seguridad, etc."

También existen amplias posibilidades de comercio electrónico cuando trabaja con activos virtuales. Cualquier modelo 3D en sumerio que provenga del propio catálogo de compras de Amazon tiene el potencial de ganar una tarifa de referencia de desarrollador si lo agrega a una escena AR / VR. Es una forma para que tanto las empresas como las pequeñas empresas y los desarrolladores independientes de AWS moneticen sus aplicaciones sumerias.

Argenti visualiza muchas oportunidades de cruce entre Sumerian y la división minorista de Amazon.

"Podemos unir parte del trabajo que nuestro equipo minorista está haciendo para el hogar, la electrónica y otros artículos de alto valor para crear modelos 3D", dijo. "Entonces puedes usarlos para un paso fotorrealista de un espacio. ¿Cómo configuro un loft moderno? ¿Qué tipo de muebles organizamos?"



Todo vuelve a AWS

La construcción de puentes para todos los dispositivos y plataformas AR / VR es una forma inteligente de reducir la barrera de entrada al desarrollo AR / VR, no solo para las empresas B2B sino también para los desarrolladores en general. Al mismo tiempo, el incentivo comercial más convincente detrás de Sumerian es como una herramienta para impulsar un uso más amplio de AWS. Eso es cierto tanto para los clientes existentes que prueban el nuevo servicio como para los nuevos usuarios sumerios que luego comienzan a usar el almacenamiento, la informática, el procesamiento, la inteligencia artificial y otros servicios de Amazon porque todos están integrados en la experiencia. El modelo de precios también es atractivo, porque Amazon no impone tarifas iniciales. AWS solo cobra por lo que usa.

Todo es parte de lo que Amazon ve como un bucle más grande donde todo fluye a través de AWS. Los datos provienen de un dispositivo IoT, se procesan mediante una función AWS Lambda, se implementan en AWS Greengrass para llegar a AWS IoT donde entrena un módulo de aprendizaje automático y, finalmente, se extrae como un modelo 3D en una visualización AR en sumerio.



La visión de Amazon para nuestro futuro AR / VR

Amazon espera que Sumerian pueda contribuir a estimular a la industria a fabricar productos de mercado masivo en 3D y reducir el costo. Por el lado de AR, Argenti dijo que los habilitadores básicos están en su lugar gracias a ARKit y ARCore. Dijo que el punto de inflexión llegará cuando haya suficientes aplicaciones y contenido de video de los desarrolladores. En el lado de la realidad virtual, los grandes cambios que Amazon espera ver son el hecho de que el hardware baje de precio, se vuelva menos complicado de usar y se vuelva inalámbrico.

"Cuando eso sucede y puedes usar una experiencia de realidad virtual como un par de anteojos, la realidad virtual despegará", dijo Argenti. “Creo que debe ser tan natural como ver un video en una tableta o encender un televisor antes de que esté listo para el consumo general al mismo nivel que las otras pantallas que tenemos hoy. Desarrollar todo un ecosistema a su alrededor de creadores de contenido, anunciantes, usuarios finales y empresas que atienden a esos usuarios es cómo lo hace ".

Argenti también subrayó la importancia de la inmersión en experiencias de realidad virtual y mixta. Otro de los casos de uso objetivo de Amazon para aplicaciones sumerias es la educación y la capacitación. Ya sea que esté aprendiendo cómo usar un dispositivo médico, dar servicio a un vehículo o aprender un nuevo idioma, dijo que se trata de dejarlo en un entorno que se sienta lo más visceralmente posible como el mundo real.

"Podrías sentarte en un bistro francés y aprender el idioma sin estar allí", dijo. “Los avatares del anfitrión te están hablando en francés. Los menús están en francés. Y luego, dentro de esa realidad, podría tocar automáticamente un menú y verlo traducir, pasando el dedo sobre un elemento para ver cómo las palabras cambian a un idioma diferente. Gran parte de la educación es contextual y, por lo tanto, como herramienta de aprendizaje, tener una experiencia que involucre todos tus sentidos es poderosa ”.