Markov Chains and Markov Processes

Abstract

Markov chain, which was named after Andrew Markov is a mathematical system that transfers a state to another state. Many real world systems contain uncertainty. This study helps us to understand the basic idea of a Markov chain and how is been useful in our daily lives. For some times there had been suspense on distinct predictions and future existences. Also in different games there had been different expectations or results involved. That is the reason why we need Markov chains to predict our expectation for the future. In this thesis we specifically talk about Markov Chains and how it has been processed, the gaming tactics which gives us a clue in a game that requires expectation. Also, we gave some applications of Markov chains such as Random walk, Games of chance, Queuing chain etc. Keywords: Stochastic Process, Conditional Expectation, Markov chain, Random Walk, Birth and Death Chains

ÖZ: Andrew Markov’dan sonra adlandırılan Markov zinciri durumlar arası geçişleri çalışan matematiksel bir modeldir. Gerçek hayatta birçok olay belirsizlik içerir. Bu çalışma Markov zincirinin temel fikrini anlamaya yardımcı olmayı ve günlük yaşamdaki kullanımını belirtmeyi amaçlamaktadır. Farklı oyunlarda farklı beklentiler veya sonuçlar yer almaktadır. Gelecek için yapılacak tahminlerde Markov zincirleri önem taşımaktadır. Bu tezde özellikle Markov Zincirlerinin tanım ve özellikleri, oyun taktikleri, ayrıca Rastgele yürüyüş, şans oyunu, kuyruk zinciri gibi Markov zincirlerinin bazı uygulamaları çalışılmıştır. Anahtar Kelimeler: Stokastik Süreç, Koşullu Beklenti, Markov Zinciri, Rasgele Yürüyüş, Doğum ve Ölüm Zincirleri