Американский художник смог визуализировать звук в дополненной реальности при помощи iPhone

Зак Либерман создал приложение для iPhone, которое визуализирует аудио.

Он произносит несколько звуков, которые врываются на экран в виде белых клякс, оставляя за собой след в воздухе. А когда он перемещает свой смартфон обратно сквозь возникшие структуры, звуки воспроизводятся в реверсе, как при вращении пластинки в обратном направлении.

Все это похоже на то, будто его телефон и звуки путешествуют сквозь портал времени, но Либерман объясняет Wired это по-другому: «Я просто записываю аудио в пространстве».

Реальность, конечно, значительно сложнее. Либерман, который помогает управлять Школой поэтических вычислений (School For Poetic Computation) в Нью-Йорке, создал свою звуковую карту с использованием ARKit от Apple и кодировочным набором OpenFrameworks. Как и во всех остальных приложениях на основе ARKit, Либерман применил систему SLAM – одновременную локализацию и отображение, – которая использует датчики и камеру телефона, чтобы построить карту границ и контуров комнаты с низким разрешением.

Используя эту информацию, Либерман может записывать звук через микрофон смартфона, обрабатывать и визуализировать его в своем приложении, а затем помещать изображения в конкретных местах пространства. Можно произвести шумы в разных углах помещения, а затем увидеть следы звуковых волн именно в тех местах, где телефон их зафиксировал. Перемещая смартфон туда-сюда по этим волнам, можно слышать, как аудио звучит в прямом или обратном порядке.

Это приложение наглядно демонстрирует, как работает дополненная реальность, и какой в ней есть потенциал. Как и многие другие художники, использующие дополненную реальность, Либерман рассматривает свое приложение скорее как эксперимент. «Вот смотрите: у нас есть камера и микрофон в пространстве. Что это означает? – задается вопросом он. – Важно думать о том, как продвигать взаимодействие с этим в разных направлениях».