TOF 카메라란 무엇인가? 기본 원리

안녕하세요. 취업한 공대누나입니다.

오늘은 새로운 프로젝트에 참여하며 조사하게 된 ToF 카메라에 대해서 한 번 이야기 해보려고 합니다.

---

1. TOF 카메란?

일반적인 카메라는 2D로 이미지를 저장하는 것입니다.

하지만 TOF 카메라는 3D 카메라의 한 종류입니다.

 

TOF란 Time Of Flight의 약자로, 비행 시간을 말합니다.

즉 신호(근적외선, 초음파, 레이저등)을 쏘아서 반사되어 오는 시간을 측정하여 거리를 계산하는 방식입니다. TOF 카메라는 이러한 TOF 방식을 사용하여 아래와 같이 거리(Depth) 이미지를 출력해주는 카메라를 말합니다.

 

이미지 출처 : https://elec4.co.kr/article/articleView.asp?idx=24912

---

2. TOF 카메라의 원리

TOF 카메라의 이미지 센서는 각각의 셀이 2개의 Receptor 쌍으로 구성되어 있습니다.

반사되어 빛을 감지하는 부분을 우리는 Receptor라고 합니다.

Receptor들은 In Phase Receptor(하늘색)와 Out Phase Receptor(붉은색) 쌍으로 구성되어 있습니다.

In Phase Receptor 빛을 쏠 때만 활성화되어 빛을 감지하고, Out Phase Receptor는 빛을 쏘지 않을 때 활성화되어 빛을 감지합니다. 

 

그러핟면 사물이 바로 앞에 있는 경우를 생각해보도록 하겠습니다.

이러한 경우 빛이 갔다가 반사되어 돌아오는 시간이 매우 짧기 때문에 LED의 점멸 주기가 그대로 빛의 수신 주기(Returning Light)가 됩니다. 따라서, 이 경우에는 In Phase Receptor들만 빛을 수신하게 되고 Out Phase Receptor들은 빛을 수신하지 못하게 됩니다.

 

이번엔 카메라로부터 떨어져 있어서 빛의 발신부와 수신부 사이에 시간차가 발생한다고 가정해 보겠습니다. 이럴경우 빛이 갔다가 되돌아오는 시간이 있기 때문에 수신부에 도달하는 빛은 LED 점멸 주기와 시간차가 발생하게 됩니다. 그런데 In Phase와 Out Phase를 활성화시키는 주기는 LED 점멸 주기와 일치하기 때문에 아래 그림처럼 In Phase Receptor와 Out Phase Receptor에 누적되는 빛의 양(녹색 부분)에 차이가 발생합니다.

 

 

조금 더 수식적으로? 알아보도록 하겠습니다.

우리가 우선 알아야 할 것은 다시 갔다오는데 걸리는 시간인 td입니다.

이 때, 광원에서 나온 빛이 물체를 맞고 다시 In Phase Receptor에 들어가는 비율을 S0라고 하고, Out Phase Receptor에 들어가는 비율을 S1이라고 가정해보도록 하겠습니다.

우리가 구하고자 하는 td에 해당하는 부분이 S1의 면적에 해당하게 됩니다. 그래서 전체 중에 S1이 차지하는 비율을 알게 되면 시간에 대한 값을 알 수 있는 것입니다.

 

또한 '거리 = 속력 x 시간'이라는 공식을 우리는 알고 있습니다. 그래서 우리가 구하고자 하는 Distance의 값은 아래의 식과 같습니다.

 

빛은 사물까지 갔다가 돌아오는 것이기 때문에 실제 사물까지의 거리는 빛의 이동거리의 절반이 되게 됩니다.

 

---

3. TOF 카메라는 어디에 활용할까요?

증강현실(AR, Augmented Reality)을 구현하는데 필요한 부품 중 하나입니다. 특히 스마트폰의 증강현실은 카메라를 이용해서 인식된 주변 환경에 가상의 요소들을 결합하는 형태로 만들어집니다. 이 역시 카메라를 이용하기 때문에 피사체와의 거리나 피사체의 형상을 정확히 측정하는 기술이 요구됩니다.

또한 3D 센서를 사용하게 되면 제스처(동작)으로 기기를 제어할 수 있어 별도의 터치 없이 인간과 기계의 상호작용이 가능하게 됩니다.

그래서 우리는 ToF 기술을 이용해서 메타버스의 근간이라고 할 수 있는 생체 인증이나 동작 인식, VR, AR등을 구현할 수 있습니다.