Light field camera and its applications

1. Light field camera andits applications 2014-02-11 Yeong-Jun Cho

2. Contents • Introduction • Light field cameras • Applications • Conclusion

3. Introduction • Light-filed or Plenoptic or Directional camera Lytro camera Raytrix

4. Introduction • Plenoptic function 공간에 대한 시각 정보는 어떻게 표현 될까?

5. Introduction • Plenoptic function • A single view • Ray directions

6. Introduction • Plenoptic function • A single view and color • Function of wavelength • Color image from single point of view

7. Introduction • Plenoptic function • And time t • Time

8. Introduction • Plenoptic function • Multiple views All possible views (관측자의 3차원 위치)

9. Introduction • Plenoptic function - By Adelson Light field 정보 Plenoptic function을 구하게 되면 특정 장소에 대한 모든 Light field 정보를 얻게 됨 ▶ 장소의 완벽 재현 가능 그러나 일반적인 2D 카메라로는 Plenopticfunction를 실측하기 어려움

10. Introduction • 일반적인 2D카메라 <2D 카메라 영상 생성> 물체의 한점으로부터 나오는 빛들이 렌즈 통과 후 영상 센서의 한 점에 모여 적분 됨. ▶ 개별 빛들의 세기 및 방향에 대한 정보를 잃게 됨.

11. Light-field cameras • Light field 획득 방식 • 다수 카메라 배열 방식 (Multiple camera array) • 렌즈 배열 방식 (Lens array)

12. Light-field cameras • Light field 획득 방식 • 다수 카메라 배열 방식 (Multiple camera array) < Stanford 대학의 100대의 카메라로 이루어진 카메라 배열 (2005) > • 카메라 시야각(FoV)을 겹치게 배열 • 고해상도의 Light field 정보를 획득 Multiple camera array를 이용한 가려진 영역 복원

13. Light-field cameras • Light field 획득 방식 • 다수 카메라 배열 방식 (Multiple camera array) < Stanford 대학의 100대의 카메라로 이루어진 카메라 배열 (2005) > 장점 단점 • 비싼 시스템 구축 비용 • 카메라 배치, 신호이득(gain) 차이로 인한 색상 불일치▶ 카메라 Calibration 필요 • 카메라 자체 부피로 인한 한계 • 넓은 FoV획득가능 • 고해상도의 Light field 정보를 획득

14. Light-field cameras • Light field 획득 방식 • 렌즈 배열 방식 (Lens array)

15. Light-field cameras • Light field 획득 방식 • 렌즈 배열 방식 (Lens array) Object Camera lens Image sensor <렌즈 배열 방식의 light field 획득 개념> <2D 카메라 영상 생성> (2,3) (2,4) • 일반디지털 카메라 기반으로Micro Lens Array를 영상 센서 앞에 위치시킴▶ 방향별로 분리된 빛 정보를 저장 (2,3) Microlens array (3,3) (3,4) Image sensor

16. Light-field cameras • Light field 획득 방식 • 렌즈 배열 방식 (Lens array) Object Camera lens Image sensor <렌즈 배열 방식의 light field 획득 개념> <2D 카메라 영상 생성> • 일반디지털 카메라 기반으로Micro Lens Array를 영상 센서 앞에 위치시킴▶ 방향별로 분리된 빛 정보를 저장 <렌즈 배열 방식으로 얻은 Light field raw image>

17. Light-field cameras • Light field 획득 방식 • 렌즈 배열 방식 (Lens array) Object Camera lens Image sensor <렌즈 배열 방식의 light field 획득 개념> (2,3) (2,4) 장점 단점 • 낮은 해상도 • 획득 가능한 light field 정보가 제약됨▶ 카메라 aperture width 에 의존적 • 저렴한 시스템 구축 비용 • 소형화 가능 • 카메라 간 보정 문제가 단순 (2,3) Microlens array (3,3) (3,4) Image sensor

18. Applications • Novel view synthesis / Depth estimation …. <Light field camera raw image 예시> <Image sensor> <Light-field camera로 획득된 다시점 영상> • Micro Image 내에서 같은 화소 위치에 있는 값들의 조합/재배치를 통해 시점이 서로 다른 다시점 영상 획득 가능 • ▶ 각 Pixel은 어떠한 신호처리도 필요 없이 간단히 조작됨 • Micro Image 의 화소들에 대한 R,t정보를 미리 알고 있으므로생성된 다시점 영상을 이용해 별도의 calibration 없이 depth estimation 추정 <추정된 depth 예시>

19. Applications • 실시간 HDR(High Dynamic Range) 영상 생성 • Using light field camera… • 서로 다른 노출을 가지는 이미지를 복합하여전체적으로 안정된 밝기 값을 가지는 이미지 획득 • 정지 영상에 대해서만 적용 가능 <Low exposure (small aperture width)> <HDR 영상 생성> <High exposure (large aperture width)> Aperture width • Light field camera의 경우 각각의Micro lens의 aperture width를 각기 다르게 공정 • 비디오 영상에 대해서도HDR 기법 적용이 가능함 Micro lens <Micro lens array> Micro lens 각각 다른 aperture width를 가짐

20. Applications • Super-resolution 영상 획득 • Multi-frame 기반의 super-resolution

21. Applications • Digital Refocusing Digital Refocusing by Ray-Tracing [1] 예제 영상 Imaginary image plane Imaginary image plane Image sensor Image sensor [1] Ren Ng et al. ‘Light Field Photography with a Hand-held PlenopticCamera’ , Stanford Tech Report STSR 2005-02

22. Conclusion • Light field camera • 다수카메라 배열 방식, Micro lens 배열 방식 • 분리된 빛 정보를 획득 • 상용화 제품 : Lytro camera (2012) • Issues • Micro lens calibration • Super-resolution • Applications to computer vision

23. Thank you