Localization is among one of the interesting subjects in robotics and can be spread
from Unmanned Ground Vehicles (UGVs) to aerial ones. It is a point of interest for
instance to localize robots in a warehouse or within an open area to define specific
tasks. Unmanned Aerial Vehicles are also being used vastly indoors with GPSdenied environments.
There are many localization methods recently being used in industry and research as
such as Ultra-Wide Band (UWB), Bluetooth and (Global Positioning System) GPS.
They have their own point of application in industry depending on their
specifications. One of the best solutions is UWB with the least number of errors.
In this thesis, we implemented a localization method based on Deep Learning. 16
patterns on the floor are used to make a specific map for localization. The proposed
Deep Learning algorithm were able to detect each pattern correctly with 100%
accuracy using majority voting for decision making in 3 seconds. The detection is
performed real-time with the video feed of 30fps. Training and testing the network is
done on Mobilenet which is based on Fast R-CNN deep learning architecture. All the
processes are done on the quadcopter itself from navigation, control, and deep
pattern detection using a single embedded computer. The quadcopter is equipped
with a Raspberry Pi, Google Edge TPU embedded device with a flight controller in
addition to a tracking and an RGB camera. The whole decision making of the
patterns is performed via the embedded device connected to the Raspberry Pi in 30
fps and no pattern recognition process is employed on the ground computer. The
drone odometry data is acquired via an Intel Realsense camera which provides IMU
data to the drone. Only the codes for simple movements over the map have been sent
to the drone from the ground station. Heading data is also provided by the tracking
camera mounted on the quadcopter.
Markov weights and the final decision weights have 100% confidence after each
random path has been travelled over by the quadcopter. The drone was able to
localize itself as a kidnapped robot, after flying over an average of two or maximum
three patterns.
ÖZ:
Lokalizasyon, robotic çalışmaları arasında yer alan ilgi çekici konulardan biridir ve
İnsansız Kara Araçlarından (UGV'ler) hava araçlarına kadar kullanılmaktadır.
Örneğin, belirli görevleri tanımlamak için bir depoda veya açık bir alanda robotları
lokalize etmek önemli bir konudur. İnsansız Hava Araçları da GPS'in olmadığı
ortamlarda büyük ölçüde iç mekanlarda kullanılmaktadır.
UWB, Bluetooth ve GPS gibi son zamanlarda endüstride ve araştırmalarda kullanılan
birçok lokalizasyon yöntemi bulunmaktadır. Spesifikasyonlarına bağlı olarak
endüstride kendi uygulama noktalarına sahiptirler. En iyi çözümlerden biri, en az
hataya sahip UWB'dir.
Bu tezde Derin Öğrenmeye dayalı bir lokalizasyon yöntemi uyguladık. Lokalizasyon
için belirli bir harita oluşturmak için zeminde 16 örüntü kullanıldı. Önerilen Derin
Öğrenme algoritması, 3 saniyenin altında, çoğunluk oylaması yöntemini kullanarak
her bir örüntüyü %100 doğrulukla tespit edebildi. Algılama, 30 fps'lik video
beslemesi ile gerçek zamanlı olarak gerçekleştirimiştir. Ağın eğitimi ve testi, Fast RCNN derin öğrenme mimarisine dayalı Mobilenet temel alınarak yapıldı.
Navigasyon, kontrol ve derin öğrenme dahil tüm işlemler quadcopter üzerinde
gerçekleştirildi. Quadcopter, bir takip ve bir RGB kameraya ek olarak bir uçuş
kontrol cihazına sahip bir Raspberry Pi, Google Edge TPU gömülü bir sistem ile
donatılmıştır. Modellerin tüm karar verme işlemi Raspberry Pi'ye bağlı gömülü cihaz
üzerinden 30 fps'de yapıldı ve yer bilgisayarında herhangi bir örüntü tanıma işlemi
yapılmadı. Drone odometri verileri, drone'a IMU verileri sağlayan bir Intel Realsense
kamera aracılığıyla elde edildi. Yer istasyonundan drone'a sadece harita üzerindeki
basit hareketler için kodlar gönderildi. Yön verileri ayrıca quadcopter üzerine monte
edilmiş izleme kamerası tarafından sağlanmaktadır.
Markov ağırlıkları ve nihai karar ağırlıkları, quadcopter tarafından her rastgele yol
kat edildikten sonra %100 güven göstermiştir. Drone, ortalama iki veya en fazla üç
örüntü üzerinde uçtuktan sonra, kaçırılmış bir robot olarak kendisini
konumlandırmayı başarmıştır.
