Grabar sonido espacial con ARKit y moverse a través de formas de onda 3D virtuales

El artista de código Zach Lieberman ha aprovechado el nuevo marco ARKit de Apple en iOS 11 para construir una aplicación de audio espacial de prueba de concepto trippy que se puede usar para grabar sonido en realidad aumentada y reproducirlo literalmente moviéndose a través de formas de onda 3D virtuales.

Aquí hay un video rápido que muestra esto en acción (asegúrese de activar el sonido)

Prueba rápida de grabar sonido en el espacio y reproducirlo moviéndolo (¡el video tiene audio!) #Openframeworks pic.twitter.com/GdZcK3rj1L

- zach lieberman (@zachlieberman) 6 de septiembre de 2017

Lo construyó utilizando ARKit y OpenFrameworks, un kit de herramientas de C ++ de código abierto para la codificación creativa.

Puedo ver los usos de esto en los museos como una especie de instalación artística interactiva: imagina grabar composiciones musicales de esta manera con notas y ritmos que ocupan patrones espaciales que las personas podrían reproducir moviéndose a través de formas de onda 3D.

Incluso se podría configurar una instalación o una pista de fitness dedicada donde las personas pudieran correr a través de un curso para reproducir música pregrabada. O, ¿qué tal una búsqueda del tesoro en la realidad aumentada donde debes encontrar pistas de audio por toda la casa?

Las posibilidades son infinitas: si puede hacer audio espacial con ARKit, no es difícil imaginar palabras de realidad aumentada, tweets, emoji, partituras flotantes, etc..

Aquí hay más demostraciones de Zach que muestran cómo ARKit detecta puntos de objetos en tiempo real.

Prueba rápida que anima los datos de la nube de puntos pic.twitter.com/34mQvuKXNd

- zach lieberman (@zachlieberman) 1 de septiembre de 2017

Otro pic.twitter.com/5RSFSzSg5N

- zach lieberman (@zachlieberman) 31 de agosto de 2017

Es genial mirar los puntos de características y ver el modelo que está construyendo (thx @xavitribo) pic.twitter.com/8rqObs8seI

- zach lieberman (@zachlieberman) 31 de agosto de 2017

La demostración de Zach recuerda la serie The Light Barrier del estudio Kimchi and Chips, un proyecto que crea dibujos volumétricos en el aire utilizando cientos de proyecciones de video calibradas. Como se demuestra en el video incrustado a continuación, estas proyecciones de luz se fusionan en un campo de niebla para crear objetos gráficos que se animan a través del espacio físico como lo hacen en el tiempo.

Hoy temprano, le mostramos la aplicación de medición definitiva del desarrollador Rinat Khanov, llamada MeasureKit, que puede usar para medir casi cualquier cosa, como la altura de una persona, la distancia a los objetos, el ángulo entre dos puntos y más, apuntando su iPhone a los objetos..

¿Qué le parece esta nueva demostración de ARKit??