Video Stabilization Using Point Feature Matching

Abstract

In the last decade utilization of handheld video cameras have become quite popular however the videos captured by unprofessional users or by fixed and vehicle mounted cameras have resulted in shaky and unclear videos. In this work we aim to use a video stabilization algorithm using point feature matching technique to reduce the vibrations in acquired video sequences. The thesis presents motion estimation techniques, motion models, feature detection techniques, robust sampling consensus and mainly the RANSAC paradigm. Implementation of the feature points matching based stabilization algorithm was done using the MATLAB platform and applied to three different videos with jitter. The quality improvement in the video sequences after stabilization are demonstrated by comparing the mean of stabilized and unprocessed shaky videos, the normalized sum of absolute differences (NSAD), an singular value decomposition (SVD) based image quality metric, peak signal to noise ratio (PSNR) and translation in x and y directions. Results indicate that the stabilization of the videos would improve PSNR, NSAD and M-SVD values and help reduce the amount of translation in x and y-directions. After stabilization it was observed that PSNR values would improve on average by 5.3dB. Similarly NSAD and M-SVD values were respectively improved by 32.11 %, and 37.88 %. Finally the displacements in x and y directions were respectively reduced by 91.21 % and 92.39%. Keywords: RANSAC, SVD, feature detection, robust sampling consensus, motion estimation, normalized sum of absolute differences, PSNR.

ÖZ: Geçen yüzyıldan beri kişisel video kameraların kulanımı oldukça artmıştır. Fakat profesyonel olmayan kişilerin, sabit kameralar ve araçlara monte edilmiş kameralarca yakalanan birçok video sarsıntı ve bulanıklıga tabi kalmaktadır. Bu çalışmadaki hedefimiz öznitelik noktalasını çakıştıran bir video sabitleme algoritmesi kullanarak yakalanmış videolardaki ve bulanık oranlarını mümkün olduğunca azaltmaktadır. Bu tezde hareket kestirim teknikleri, hareket modelleri, özyinelik çıkarma teknikleri, gürbüz örnekleme ve RANSAC paradigması hakkında bilgi verilmiş ve önerilen öznitelik noktalarına bağlı sabitleme algoritması kullanılarak üç farklı sallantılı video dizinindeki sarsıntlar mümkün olduğunca sabitlenmeye çalışılmıştır. Özyinelik noktalarına bağlı sabitleme algoritması MATLAB platforumunda gerçekleştirilmiştir. Sabitleme sonrası videolarda nasıl bir iyileşme olduğu sabitlenmiş ve sabitlenmemiş videoların ortalaması kıyaslanarak, düzgelenmiş mutlak farkların toplamına (NSAD) bakılarak , tekil değer ayrışım metriği (SVD), doruk sinyal gürültü oranı (PSNR) ve x ve y yönlerindeki ortalama kayma oranlarına bakılarak belirlenmiştir. Sabitlenme sonrası PSNR, NSAD ve M-SVD değerlerinde iyileşmeler ve x ve y yönlerindeki kaymalarda ise azalma gözlenmiştir. PSNR değerlerindeki iyileşme ortalamada 5.3 dB iken NSAD ve M-SVD değerleri 32.11% ve 37.88% oranlarında iyileşmiştir. Yatay ve dikey konumlardaki kaymaların ise sabitleme sonrası ortalamada 91.21% ve 92.39% azaldığı gözlemlenmiştir. Anahtar Kelimeler: RANSAC, SVD, öznitelik sezimi, gürbüz örnekleme ve uzlaşma, hareket kestirimi.