Mathematical model for obtaining a stereoscopic image from several wide-angle cameras of an aircraft

A. Shcherbakov; B. Moroz

doi:10.34185/1562-9945-1-138-2022-03

Автор(и)

A. Shcherbakov
B. Moroz

DOI:

https://doi.org/10.34185/1562-9945-1-138-2022-03

Ключові слова:

FOV, стереопанорама, об’єктив «риб’яче око», спотворення, стереозображення, 360° відео, VR, калібрування

Анотація

Актуальність теми дослідження не викликає сумніву, оскільки запропоновано вдосконалити систему стереоскопічного відеозображення. Тим самим буде синте-зовано нову математичну модель отримання стереопанорами, яка приймає відеопотік із широкоформатних камер типу "риб'яче око". Така модель повина знизити витрати на панорамну відео систему, залишаючи високу якість вихідного зображення, без ви-димих швів склеювання фрагментів у відеоряді. Мета роботи - створення математичної моделі для отримання стереоскопічного зоб-раження з декількох широкоформатних камер, зберігши при цьому вихідну якість відеоряду. Також, у цій роботі будуть запропоновані методи склеювання зображення та усунення дісторсії при синтезуванні панорамного зображення. У роботі пропонується використовувати метод сферичної розгортки. У якому на зміну паралельним площинам використовуються концентричні віртуальні сфери з цен-тром у системі координат системи. Пропонується система із двома ширококутними вертикально встановленими камерами типу "риб'яче око". Це дозволить отримати панорамну оцінку глибини шляхом проектування отриманих зображень із широкофор-матних камер на чотири віртуальні площини, розташовані паралельно до базової лінії. Незважаючи на це, картам диспаратності властиво низька роздільна здатність через обмеження матриці та високої дісторсії об'єктива "риб'яче око", тому оцінка глибини вертикальних структур паралельних базової лінії, часто відсутня. Поряд з цим пред-ставлений алгоритм всеспрямованого рухаючогося стереозображення, який обчислює глибину статичної сцени в 360 градусів за коротким відеофрагментом, знятим обер-таючоюсь камерою. Запропонована в цій роботі математична модель має більш ефективні та менш еко-номічно затратні параметри для створення стерео-панорами із оглядом 360 градусів. Для створення стереопанорами була представлена ефективна система реєстрації відеозображення, в якій використовувалося всього чотири широкоформатні камери з перетинаючимося кутами огляду, для захоплення відео. Точне розміщення камер дозво-лило відкалібрувати систему для склеювання панорамного зображення.

Посилання

C. Forster. Fast semi-direct monocular visual odometry [Text] / C. Forster, M. Pizzoli, and D. Scaramuzza // In IEEE Int. Conf. on Robotics and Automation. – 2014. – P. 15–22.

D. Scaramuzza. A flexible technique for accurate omnidirectional camera cali-bration and structure from motion [Text] / D. Scaramuzza, A. Martinelli, and R. Siegwart / Proceedings of the Fourth IEEE International Conference on Computer Vision Systems. – 2006, P. 45–45

D. Scharstein. Structure from motion using full spherical panoramic cameras [text] / D. Scharstein. A. Pagani and D. Stricker // In Int. Conf. on Computer Vision Workshops. –2011. P. 375–382.

W. Miled. Disparity map estimation using a total variation bound [Text] / W. Miled, J. C. Pesquet and M. Parent // Canadian Conf. Computer Robot Vision. –2006. P. 48–55.

D. Gallup. Real-Time Plane-Sweeping Stereo with Multiple Sweeping Directions [Text] / D. Gallup, J. Frahm, P. Mordohai, O. Yan, M. Pollefeys // Proceedings IEEE Conference on Computer Vision and Pattern Recognition. – 2007. – P. 1–8.

S. Im. All around depth from small motion with a spherical panoramic camera [Text] / S. Im, H. Ha, F. Rameau, H. Jeon, G. Choe, I. Kweon // Proceedings IEEE Conference on Computer Vision. – 2016. – P. 156–172.

C. Geyer. Catadioptric Projective Geometry [Text] / C. Geyer, K. Daniilidis. International Journal of Computer Vision. – 2001. – P. 223–243.

M. Schonbein. Omnidirectional 3d recon-struction in augmented manhattan worlds [Text] / M. Schonbein, A. Geiger. Proceedings IEEE Intelligent Robots and Systems. – 2014. – P. 716–723.

W. Gao. Dual-fisheye omnidirectional stereo [Text] / W. Gao, S. Shen. Proceedings IEEE Intelligent Robots and Systems. – 2017. – P. 6715–6722.

D. Scharstein. A taxonomy and evaluation of dense two-frame stereo corre-spondence algorithms [Text] / D. Scharstein, R. Szeliski, R. Zabih // Proceedings IEEE Workshop on Stereo and Multi-Baseline Vision. – 2001. – P. 131-140.

H. Hirschmuller. Evaluation of Stereo Matching Costs on Images with Radio-metric Differences [Text] / H. Hirschmuller, D. Scharstein // Proceedings IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2009. – P. 1582-1599.

C. Forster. Semidirect Visual Odometry for Monocular and Multicamera Systems [Text] / C. Forster, Z. Zhang, M. Zhang, M. Werlberger, D. Scaramuzza // Proceedings IEEE Transactions on Robotics. – 2016. – P. 249–265.

Sweep line algorithm. [Electronic resource] //

URL: https://en.wikipedia.org/wiki/Sweep_line_algorithm.

T. Svoboda. Epipolar geometry for panoramic cameras [Text] / T. Svoboda, T. Pajdla, and V. Hlavac // In IEEE Conference on Computer Vision and Pattern Recog-nition. – 1998. P. 218–231.

H. Hirschmuller. Stereo processing by semiglobal matching and mutual infor-mation [Text] / H. Hirschmuller // Proceedings IEEE Transactions on pattern analy-sis and machine intelligence. – 2008. – P. 328–341.