Hebb Rule Method in Neural Network for Pattern Association

Abstract

ABSTRACT: In the process of the development of intelligent systems the artificial neural network plays an important role as a paradigm for pattern recognition, pattern association, optimization, prediction, and decision making problems. This master thesis focuses on analysis of Hebb rule for performing a pattern association task. The application of Hebb rule enables computing optimal weight matrix in heteroassociative feedforward neural network consisting of two layers: input layer and target output layer. The Hebb algorithm is applied to both binary and bipolar data representations. The advantages of bipolar representation of training patterns compared to binary representation of training patterns are presented. Two different ways for calculating weight matrix are used: the results of application of the Hebb algorithm, and the outer products. New input vectors which can be similar and not similar to training input vectors are tested. A new input vector differing from the training input vector in fewer components should produce the reasonable response as the same output vector. Keywords: Neural network, Hebb rule, pattern association, binary and bipolar vectors, outer products. ………………………………………………………………………………………………………………………… ÖZ: Yapay sinir ağı akıllı sistemlerin oluşumu sürecinde önemli rol alır ve örüntü tanıma, örüntü ilişkilendirme, optimizasyon, öngörü, ve karar verme problemlerinde paradigma olarak kullanılır. Bu tez Hebb kuralını kullanarak örüntü ilişkilendirme görevinin incelenmesine odaklanır. Hebb kuralını uygulamakla zit ilişkili ileri beslemeli sinir ağında optimal ağırlık matrisi hesaplanır. Bu ağ iki katmandan oluşmaktadır: giriş ve hedef çıkış katmanları. Hebb algoritması ikili ve iki kutuplu veri representasyonu için uygulanır. Eğitim örüntülerin iki kutuplu representasyonunun ikili representasyona nazaran daha avantajlı olduğu gösterilir. Ağırlık matrisinin hesaplanması iki farklı yöntemle hayata geçirilir: Hebb algoritmasının uygulanmasından elde edilen sonuçlar, ve dış çarpımlar yöntemi. Eğitim giriş vektörlerine benzer olan ve benzer olmayan yeni giriş vektörleri test edilir. Eğitim giriş vektöründen daha az bileşenle farklanan yeni giriş vektörü uygun cevap olarak aynı çıkış vektörünü üretmelidir. Anahtar Kelimeler: Sinir ağı, Hebb kuralı, örüntü ilişkilendirme, ikili ve iki kutuplu vektörler, dış çarpımlar.