Что такое камера Time-of-Flight и как она работает?

Friday, April 26, 2024

Гонка за улучшение смартфонов все больше и больше фокусируется на наборе камер и всем, что они предлагают. Вполне вероятно, что вы слышали последние новости, связанные с камерами Time-Flight, поскольку производители начинают использовать их в телефонах. Но что это такое? Давайте выясним!

Принцип работы камеры Time-of-Flight

Камера Time of Flight использует скорость света для измерения расстояния. Она измеряет «Время полета» отраженного светового луча, т.е. количество времени, затрачиваемое на обратную дорогу к датчику, рассчитывается по скорости частиц света для построения так называемого дальнего изображения сцены. Все это означает, что при точном измерении ключевых точек фокусировки аппаратное и программное обеспечение камеры может создавать более четкие снимки.

Технология Time-Flight (время полета)

Камеры времени пролета (ToF) состоят из датчика, который использует крошечный лазер для излучения инфракрасного света. Этот свет отражается от всего, что находится перед камерой, и возвращается обратно в датчик. При этом измеряется отрезок времени, в течение которого свет отражается, и который переводится в информацию о расстоянии, которую можно использовать для создания карты глубины.

Камеры времени полета фактически измеряют время, необходимое для прохождения света от камеры к пользователю или окружающей среде и отражения от датчика.

До сих пор большинство телефонов полагалось на стерео-зрение, в котором для расчета грубой глубины использовались две камеры, но этот метод не работает при слабом освещении или в темноте, и он не очень точен.

Лучшим методом, в котором также используется инфракрасный свет, является структурированное световое освещение, при котором точечный рисунок проецируется на сцену или лицо, а датчик измеряет расстояние между точками и смотрит на искажения в узоре для расчета глубины. Эта технология хорошо работает на близком расстоянии, вплоть до вытянутой руки, для таких вещей, как распознавание лиц, поэтому Apple применила ее с камерой TrueDepth Camera for Face ID.

Time-Flight работает аналогичным образом, но не использует шаблон точек. Поскольку эти методы основаны на использовании инфракрасного света, они хорошо работают в условиях низкой освещенности и даже в темноте. Камера времени пролета освещает сцену однородным потоком света, и камера смотрит на каждый отдельный пиксель в изображении. Датчик синхронизируется с невероятно чувствительными часами, способными измерять крошечные промежутки времени, отражаемые скоростью отскока света. С информацией о глубине, назначенной каждому пикселю, вы получите богатую карту глубины.

«Это единственный метод, который действительно точен при измерении расстояния».

«Это единственный метод, который действительно точен при измерении расстояния», - сказал доктор Лафосс. «Это единственный метод, который не является интерполяцией или расчетом, а скорее мерой расстояния».

Применение для Time-Flight

Существуют различные потенциальные приложения для точного картирования глубины, поэтому эта технология распространится на большое количество телефонов. Вы найдете камеру времени полета в LG G8 ThinQ и в Honor View 20, но реализация технологии в этих устройствах отличается.

LG соединила датчик времени полета со своей 8-мегапиксельной фронтальной камерой, чтобы создать то, что она называет Z Camera - ось Z обозначает глубину для 3D-изображений. Это позволяет разблокировать лица и что-то под названием Hand ID, еще одна безопасная биометрия, которая считывает узоры вен в вашей руке. Он также используется для жестов Air Motion, позволяя вам махать рукой над G8 ThinQ, чтобы запускать различные действия, такие как воспроизведение и приостановка музыки, не касаясь устройства.

В Honor View 20 камера времени полета сопряжена с 48-мегапиксельным сенсором как часть основной камеры, обращенной назад. Она предоставляет информацию о глубине, которая улучшает портретный режим, создавая действительно точный эффект «боке» с четким рельефом объекта и размытым фоном. Но это еще не все, что она может делать с основной камерой телефона.

«Значение времени полета действительно на расстоянии от среднего до большого; Подумайте о таких приложениях, как дополненная реальность», - сказал доктор Лафосс. «Если камера времени полета находится сзади, то вы знаете, что речь идет не о распознавании лиц, а о том, как ощущать окружающую среду и то, что у вас перед собой».

Возможно, вы уже опробовали некоторые приложения и игры с дополненной реальностью в прошлом, но Time-Flight камеры могут значительно повысить точность и объединить ваше реальное окружение с игровым процессом и персонажами для совершенно нового уровня игры. Это может быть стрельба по зомби в вашем коридоре или наблюдение за тем, как предмет мебели, который вы хотите купить, будет выглядеть в вашей гостиной.

отображение окружения

Существует также потенциал для более глубокого социального взаимодействия. Вместо FaceTime с Animojis вы можете получить более полное представление о 3D.

«Аватар вашего друга не летает в воздухе, а на самом деле сидит на диване рядом с вами».

«Датчики времени полета могут точно отображать ваше окружение, поэтому аватар вашего друга не парит в воздухе, а фактически сидит на диване рядом с вами», - сказал доктор Лафосс.

Основная технология не нова. В датчике Microsoft Kinect была установлена камера времени полета, и военные использовали эту технологию для получения информации о глубине в течение многих лет. Но доктор Лафосс сказал, что улучшения в технологии позволили интегрировать требуемые элементы во все меньшие форм-факторы, и новые приложения для него способствуют его внедрению в телефонах.

Time-Flight как дополненная реальность

Эта технология также жизненно важна для носителей дополненной реальности или смешанной реальности - таких как Microsoft HoloLens или Magic Leap - для работы, потому что этим системам требуется очень точное представление о вашей среде.

Еще одна область, где могут помочь камеры времени полета, - это навигация в помещении. Если в облаке есть трехмерная карта вашего здания, то датчик может в любой момент точно определить, где вы находитесь.

Производители, продолжают совершенствовать датчики, что делает их меньше и энерго-эффективнее. Я уверен, что в ближайшем будущем камера времени полета появится во все большем количестве смартфонов, и есть серьезные слухи о том, что Apple включит ее в следующий iPhone.

Дополненная реальность была захватывающей, когда она только появилась, но, испытав ее, было трудно избежать ощущения, что технология не оправдала шумиху. Времяпролетные камеры в сочетании с улучшенной вычислительной мощностью и более высокой скоростью соединения могут помочь воплотить это оригинальное видение в жизнь.