Evolution of a heterogeneous hybrid extreme learning machine

Abstract

Hybrid optimization algorithms have gained popularity as it has become apparent there cannot be a universal optimization strategy which is globally more beneficial than any other. Despite their popularity, hybridization frameworks require more detailed categorization regarding: the nature of the problem domain, the constituent algorithms, the coupling schema and the intended area of application.This thesis proposes a hybrid algorithm named heterogeneous hybrid extreme learning machine (He-HyELM) for finding the optimal multi-layer perceptron (MLP) with one hidden layer that solves a specific problem. This is achieved by combining the extreme learning machine (ELM) training algorithm with an evolutionary computing (EC) algorithm.The research process is complemented by a series of preliminary experiments prior to hybridization that explore in depth the characteristics of the ELM algorithm. He-HyELM uses a pool of custom created neurons which are then embedded in a series of ELM trained MLPs. A genetic algorithm (GA) evolves these homogeneous networks into heterogeneous networks according to a fitness criterion. The GA utilizes a proposed intelligent novel crossover operator which uses a mechanism to rank each hidden layer node with purpose to guide the evolution process. Having analysed the proposed He-HyELM algorithm in Chapter 5, an enhanced version of the proposed algorithm is presented in Chapter 6. This enhanced version makes the mutation operator self-adaptive with aim to reduce the number of parameters need tuning.Both He-HyELM and SA-He-HyELM approaches are tested in three regression and three classification real-world datasets with purpose to test their performance. These experiments showed that both versions improved generalization when compared with the best homogeneous network found during the ELM empirical study in Chapter 3.Finally, in Chapter 7 we summarize the key findings and contributions of this work.

Οι υβριδικοί αλγόριθμοι βελτιστοποίησης έχουν κερδίσει δημοτικότητα καθώς έχει γίνει προφανές ότι δεν μπορεί να υπάρξει μια καθολική στρατηγική βελτιστοποίησης που να είναι πιο ωφέλιμη από οποιαδήποτε άλλη. Παρά τη δημοτικότητά τους, τα πλαίσια υβριδισμού απαιτούν πιο λεπτομερή κατηγοριοποίηση σχετικά με: τη φύση του τομέα του προβλήματος, τους αλγόριθμους που τα συνθέτουν, το σχήμα σύζευξης και την επιδιωκόμενη περιοχή εφαρμογής. Αυτή η διατριβή προτείνει έναν υβριδικό αλγόριθμο που ονομάζεται ετερογενής υβριδική ακραία μηχανή μάθησης για την εύρεση του βέλτιστου πολυστρωματικού perceptron με ένα κρυφό επίπεδο που επιλύει ένα συγκεκριμένο πρόβλημα. Αυτό επιτυγχάνεται συνδυάζοντας τον αλγόριθμο εκπαίδευσης της ακραίας μηχανής μάθησης με έναν αλγόριθμο εξελικτικής υπολογιστικής. Η ερευνητική διαδικασία συμπληρώνεται από μια σειρά προκαταρκτικών πειραμάτων πριν από τον υβριδισμό που διερευνούν σε βάθος τα χαρακτηριστικά του αλγορίθμου ακραίας μηχανής μάθησης. Η ετερογενής υβριδική ακραία μηχανή μάθησης χρησιμοποιεί μια δεξαμενή νευρώνων που στη συνέχεια ενσωματώνονται σε μια σειρά πολυστρωματικών perceptrons εκπαιδευμένων με ακραία μηχανή μάθησης. Ένας γενετικός αλγόριθμος εξελίσσει αυτά τα ομοιογενή δίκτυα σε ετερογενή δίκτυα σύμφωνα με ένα κριτήριο καταλληλότητας. O γενετικός αλγόριθμος χρησιμοποιεί έναν προτεινόμενο, έξυπνο νέο τελεστή διασταύρωσης που χρησιμοποιεί έναν μηχανισμό ταξινόμησης για κάθε κόμβο κρυφού στρώματος με σκοπό να καθοδηγήσει την εξελικτική διαδικασία. Έχοντας αναλύσει τον προτεινόμενο αλγόριθμο στο Κεφάλαιο 5, μια βελτιωμένη έκδοση του προτεινόμενου αλγορίθμου παρουσιάζεται στο Κεφάλαιο 6. Αυτή η βελτιωμένη έκδοση καθιστά τον τελεστή μετάλλαξης αυτοπροσαρμοστικό με στόχο τη μείωση του αριθμού των παραμέτρων που χρειάζονται προσαρμογή. Οι δύο αυτές προσεγγίσεις εξετάζονται σε τρία σύνολα δεδομένων παλινδρόμησης και σε τρία σύνολα δεδομένων ταξινόμησης με σκοπό να ελεγχθεί η απόδοσή τους. Αυτά τα πειράματα έδειξαν ότι και οι δύο εκδόσεις βελτίωσαν τη γενίκευση σε σύγκριση με το καλύτερο ομοιογενές δίκτυο που βρέθηκε κατά την εμπειρική μελέτη στο Κεφάλαιο 3. Τέλος, στο Κεφάλαιο 7 συνοψίζουμε τα βασικά ευρήματα και τις συνεισφορές αυτής της εργασίας.