Markov Localization of an Indoor Quadcopter using Deep Learning

Abstract

Localization is among one of the interesting subjects in robotics and can be spread from Unmanned Ground Vehicles (UGVs) to aerial ones. It is a point of interest for instance to localize robots in a warehouse or within an open area to define specific tasks. Unmanned Aerial Vehicles are also being used vastly indoors with GPSdenied environments. There are many localization methods recently being used in industry and research as such as Ultra-Wide Band (UWB), Bluetooth and (Global Positioning System) GPS. They have their own point of application in industry depending on their specifications. One of the best solutions is UWB with the least number of errors. In this thesis, we implemented a localization method based on Deep Learning. 16 patterns on the floor are used to make a specific map for localization. The proposed Deep Learning algorithm were able to detect each pattern correctly with 100% accuracy using majority voting for decision making in 3 seconds. The detection is performed real-time with the video feed of 30fps. Training and testing the network is done on Mobilenet which is based on Fast R-CNN deep learning architecture. All the processes are done on the quadcopter itself from navigation, control, and deep pattern detection using a single embedded computer. The quadcopter is equipped with a Raspberry Pi, Google Edge TPU embedded device with a flight controller in addition to a tracking and an RGB camera. The whole decision making of the patterns is performed via the embedded device connected to the Raspberry Pi in 30 fps and no pattern recognition process is employed on the ground computer. The drone odometry data is acquired via an Intel Realsense camera which provides IMU data to the drone. Only the codes for simple movements over the map have been sent to the drone from the ground station. Heading data is also provided by the tracking camera mounted on the quadcopter. Markov weights and the final decision weights have 100% confidence after each random path has been travelled over by the quadcopter. The drone was able to localize itself as a kidnapped robot, after flying over an average of two or maximum three patterns.

ÖZ: Lokalizasyon, robotic çalışmaları arasında yer alan ilgi çekici konulardan biridir ve İnsansız Kara Araçlarından (UGV'ler) hava araçlarına kadar kullanılmaktadır. Örneğin, belirli görevleri tanımlamak için bir depoda veya açık bir alanda robotları lokalize etmek önemli bir konudur. İnsansız Hava Araçları da GPS'in olmadığı ortamlarda büyük ölçüde iç mekanlarda kullanılmaktadır. UWB, Bluetooth ve GPS gibi son zamanlarda endüstride ve araştırmalarda kullanılan birçok lokalizasyon yöntemi bulunmaktadır. Spesifikasyonlarına bağlı olarak endüstride kendi uygulama noktalarına sahiptirler. En iyi çözümlerden biri, en az hataya sahip UWB'dir. Bu tezde Derin Öğrenmeye dayalı bir lokalizasyon yöntemi uyguladık. Lokalizasyon için belirli bir harita oluşturmak için zeminde 16 örüntü kullanıldı. Önerilen Derin Öğrenme algoritması, 3 saniyenin altında, çoğunluk oylaması yöntemini kullanarak her bir örüntüyü %100 doğrulukla tespit edebildi. Algılama, 30 fps'lik video beslemesi ile gerçek zamanlı olarak gerçekleştirimiştir. Ağın eğitimi ve testi, Fast RCNN derin öğrenme mimarisine dayalı Mobilenet temel alınarak yapıldı. Navigasyon, kontrol ve derin öğrenme dahil tüm işlemler quadcopter üzerinde gerçekleştirildi. Quadcopter, bir takip ve bir RGB kameraya ek olarak bir uçuş kontrol cihazına sahip bir Raspberry Pi, Google Edge TPU gömülü bir sistem ile donatılmıştır. Modellerin tüm karar verme işlemi Raspberry Pi'ye bağlı gömülü cihaz üzerinden 30 fps'de yapıldı ve yer bilgisayarında herhangi bir örüntü tanıma işlemi yapılmadı. Drone odometri verileri, drone'a IMU verileri sağlayan bir Intel Realsense kamera aracılığıyla elde edildi. Yer istasyonundan drone'a sadece harita üzerindeki basit hareketler için kodlar gönderildi. Yön verileri ayrıca quadcopter üzerine monte edilmiş izleme kamerası tarafından sağlanmaktadır. Markov ağırlıkları ve nihai karar ağırlıkları, quadcopter tarafından her rastgele yol kat edildikten sonra %100 güven göstermiştir. Drone, ortalama iki veya en fazla üç örüntü üzerinde uçtuktan sonra, kaçırılmış bir robot olarak kendisini konumlandırmayı başarmıştır.