Εφαρμογή αλγορίθμων μηχανικής εκμάθησης για εξόρυξη και κατηγοριοποίηση πληροφοριών περιεχομένου στα οπτικοακουστικά μέσα

Abstract

This thesis aims on the design and development of various classification schemes for multimedia content, deriving from radio and TV productions, while implementing differentiated data mining and machine learning techniques. More specifically, several taxonomy modules for digital audiovisual material are investigated, tested and proposed, in the context of TV and radio semantic analysis and processing, while targeting the functional content management and information retrieval. The methods that are being developed and presented, rely mainly on the extraction and evaluation of various audio and visual properties. Furthermore, the partial contribution of the contained audio and visual modalities of TV and radio signals is also being investigated. For these reasons, several specialized evaluation and ranking methods were utilized for the saliency detection of the extracted input properties, and moreover, various pattern recognition methods were employed for the development of efficient classification models for the radio and TV broadcasts. The implementations and extended experiments, that were conducted, targeted the formulation of generalised conclusions and classification rules, which further aim on the construction of generic intelligent information management systems for human-machine interaction, with the integration of the necessary automation and functionalities.

Η παρούσα διδακτορική διατριβή στοχεύει στη σύνθεση και ανάπτυξη σχημάτων ταξινόμησης πολυμεσικού περιεχομένου που προέρχεται από ραδιοφωνικές και τηλεοπτικές παραγωγές και μεταδόσεις, μέσω αλγοριθμικών τεχνικών εξόρυξης γνώσης και μηχανικής μάθησης. Ειδικότερα, δομούνται και προτείνονται διαδικασίες κατηγοριοποίησης ψηφιακού οπτικοακουστικού υλικού στα πλαίσια ραδιοτηλεοπτικής σημασιολογικής ανάλυσης και επεξεργασίας, αποσκοπώντας στη λειτουργική και εύχρηστη διαχείριση και ανάκτηση της πληροφορίας. Οι μέθοδοι που αναπτύσσονται και παρουσιάζονται, κατά κύριο λόγο βασίζονται στην εξόρυξη και αξιολόγηση ποικίλων ηχητικών και οπτικών παραμέτρων, έτσι ώστε να διερευνηθεί πολύπλευρα η πολυτροπική απόδοση του περιεχομένου. Ταυτόχρονα, αναζητούνται η συμβολή και η επιμέρους συνεισφορά της ηχητικής και οπτικής διάστασης που εμπεριέχεται στα ραδιοτηλεοπτικά σήματα. Στο πλαίσιο αυτό, χρησιμοποιήθηκαν εξειδικευμένες μέθοδοι αξιολόγησης και κατάταξης των προσδιοριζόμενων χαρακτηριστικών εισόδου, ενώ επιπρόσθετα εφαρμόστηκαν ποικίλες αλγοριθμικές τεχνικές αναγνώρισης προτύπων με σκοπό την ανάπτυξη αποδοτικών μοντέλων κατηγοριοποίησης δεδομένων του ραδιοτηλεοπτικού περιεχομένου. Οι υλοποιήσεις και τα πειράματα που διεξήχθησαν στόχευσαν στη διαμόρφωση γενικευμένων συμπερασμάτων και κανόνων κατηγοριοποίησης, που είχαν ως απώτερο σκοπό, να συμβάλλουν στην ανάπτυξη ευφυών συστημάτων διαχείρισης πληροφορίας για την επικοινωνία ανθρώπου-μηχανής, με την ενσωμάτωση της απαραίτητης λειτουργικότητας και αυτοματοποίησης.