Προσαρμοζόμενη πρόσβαση σε πολυμεσικό περιεχόμενο με βάση το εννοιολογικό πλαίσιο και το προφίλ του χρήστη

Abstract

The main research objective of this Thesis is to tackle issues related to multimedia content processing, search and retrieval, under the prism of context, as the latter is expressed in the fields of knowledge adaptation and information access. More specifically, the main research motivation was caused by two major research fields: (i) multimedia content personalization and (ii) multimedia content analysis based on visual context. It tackles issues such as data mining, thematic categorization of multimedia documents, multimedia personalization, retrieval and ranking of personalized multimedia documents, knowledge-assisted analysis optimization through visual context exploitation, mid-level visual analysis and context utilization, contextual image classification problems, etc. Towards this direction, it presents research results and indicative implementations/applications, in order to facilitate the proposed interpretation.

Αντικείμενο της παρούσης διδακτορικής διατριβής είναι η αντιμετώπιση θεμάτων ανάλυσης, αναζήτησης και ανάκτησης πολυμεσικού περιεχομένου με προσαρμογή στο εκάστοτε εννοιολογικό πλαίσιο της πρόσβασης σε αυτό. Δύο είναι οι κεντρικοί άξονες που αποτέλεσαν το κίνητρο αλλά και τον προσανατολισμό της έρευνας στη συγκεκριμένη θεματική περιοχή: (i) η προσωποποιημένη πρόσβαση στο πολυμεσικό περιεχόμενο, προσαρμοζόμενη στις προτιμήσεις των χρηστών και στο διαθέσιμο ιστορικό πρόσβασης σε αυτό και (ii) η αποδοτική ανάλυση και αναζήτηση του πολυμεσικού περιεχομένου με βάση το εννοιολογικό πλαίσιο. Προκειμένου να πραγματοποιηθεί μια εμπεριστατωμένη και όσο το δυνατόν πλήρης παρουσίαση των ερευνητικών πεπραγμένων, παρουσιάζονται τόσο θεωρητικά αποτελέσματα, όσο και εφαρμογές. Συγκεκριμένα, τα περιεχόμενα της διατριβής χωρίζονται στις ακόλουθες τέσσερις βασικές ενότητες: • Εξόρυξη δεδομένων και κατηγοριοποίηση. Η ενότητα αυτή επιχειρεί να παρουσιάσει ορισμένες βασικές μεθοδολογίες αντιμετώπισης ερευνητικών θεμάτων ιδιαίτερου ενδιαφέροντος που άπτονται άμεσα των περιοχών της εξόρυξης δεδομένων και της κατηγοριοποίησης πολυμεσικών εγγράφων. Συγκεκριμένα, προτείνεται αρχικά μια επέκταση της κλασικής μεθόδου της ιεραρχικής συσταδοποίησης, η οποία χρησιμοποιεί μια ασαφή επιλογή χαρακτηριστικών γνωρισμάτων για τον καθορισμό της μετρικής που καθορίζει τις αποστάσεις των συστάδων μεταξύ τους. Η τεχνική αυτή οδηγεί σε μία μείωση των διαστάσεων των χαρακτηριστικών γνωρισμάτων και βρίσκει εφαρμογή σε περιπτώσεις συνόλων δεδομένων που χαρακτηρίζονται από υψηλές διαστάσεις, όπως ακριβώς είναι αυτά που απαντώνται κατά την ανάλυση πολυμεσικής πληροφορίας. Στη συνέχεια, προτείνοντας μια νέα μεθοδολογία βελτιστοποίησης της ανωτέρω τεχνικής συσταδοποίησης που βασίζεται στη χρήση μίας τεχνικής κατηγοριοποίησης, αντιμετωπίζονται κάποια από τα θεμελιώδη προβλήματα των ιεραρχικών αλγορίθμων συσταδοποίησης, όπως είναι η ευαισθησία τους σε λάθη στα αρχικά βήματα. Τα αποτελέσματα της αρχικής συσταδοποίησης βρίσκουν εφαρμογή στην ασαφή θεματική κατηγοριοποίηση εγγράφων πολυμεσικής πληροφορίας. Στη διαδικασία ορίζεται, μοντελοποιείται και λαμβάνεται υπόψη το ταξινομικό εννοιολογικό πλαίσιο με ιδιαίτερα ελπιδοφόρα αποτελέσματα. Τέλος, παρουσιάζεται μια βελτιωμένη εκδοχή της παραπάνω πρότασης κατηγοριοποίησης, η οποία λαμβάνει υπόψη της μια σειρά από υπηρεσίες εξαγωγής συμπερασμάτων, προκειμένου να προσδιοριστεί αποτελεσματικά η σημασιολογία των εγγράφων. • Προσωποποιημένη πρόσβαση. Η προσωποποίηση του πολυμεσικού περιεχομένου εξετάζεται από την σκοπιά των προτιμήσεων των χρηστών και του ιστορικού χρήσης που δημιουργείται. Δίνεται ιδιαίτερη έμφαση στη χρήση και δημιουργία κατάλληλων οντολογιών για την αναπαράσταση της απαιτούμενης γνώσης, στη χρήση στοιχείων που πηγάζουν από τη θεωρία της ασαφούς σχεσιακής άλγεβρας, στην τροποποίηση και χρήση κατάλληλων ασαφών σημασιολογικών σχέσεων, καθώς και στην επιρροή που ασκεί η έννοια του εννοιολογικού πλαισίου στη διαδικασία ανάκτησης πληροφοριών. Ειδικότερα, προτείνεται η χρήση ασαφών σχέσεων ως επέκταση των σχέσεων που λαμβάνουν λογικές τιμές 0 ή 1 και εμφανίζονται στις κλασικές οντολογίες, καθώς είναι πολύ πιο εκφραστικές κατά την αναπαράσταση της γνώσης και πολύ πιο κοντά στην αναπαράσταση των πραγματικών συνθηκών ζωής. Οι σχέσεις αυτές υλοποιούνται ακολουθώντας τα τελευταία πρότυπα του Σημασιολογικού Ιστού, όπως είναι οι γλώσσες RDF και OWL, καθώς και η τεχνική reification. Στη συνέχεια, ορίζεται και παρουσιάζεται η έννοια του εννοιολογικού πλαισίου, η οποία στην παρούσα ερευνητική εργασία είναι διττή και λαμβάνει δύο από τις πολλαπλές πιθανές εκφάνσεις της: αυτή του ταξινομικού εννοιολογικού πλαισίου και αυτή του εννοιολογικού πλαισίου κατά το χρόνο εκτέλεσης. Και στις δύο περιπτώσεις, όμως, ορίζεται (με τη χρήση και τον κατάλληλο συνδυασμό ασαφών σημασιολογικών σχέσεων) και περιγράφεται η μεθοδολογία εκτίμησης του εννοιολογικού πλαισίου, ξεκινώντας από ένα ασαφές σύνολο σημασιολογικών οντοτήτων μιας οντολογίας. Καθορίζεται η απαιτούμενη αναπαράσταση γνώσης και εξετάζονται ζητήματα που αφορούν στον ορισμό, στην εξαγωγή και στη χρήση προτιμήσεων και κατατομών (προφίλ) χρηστών. Τέλος, παρουσιάζονται τα αποτελέσματα της ερευνητικής δραστηριότητάς μας πάνω σε θέματα σχετικά με την ανάκτηση προσωποποιημένης πολυμεσικής πληροφορίας. Συζητείται η αυτόματη θεματική κατηγοριοποίηση πολυμεσικών εγγράφων μέσω της ιεραρχικής συσταδοποίησης των οντοτήτων που περιέχουν, η αναπαράσταση, η ανίχνευση και ο χειρισμός των προφίλ των χρηστών στο σημασιολογικό επίπεδο με τη χρήση του εννοιολογικού πλαισίου και η ανίχνευση προφίλ χρηστών από μεταδεδομένα, με χρήση της συσταδοποίησης υψηλών διαστάσεων και της ασαφούς επιλογής χαρακτηριστικών γνωρισμάτων. • Εννοιολογικό πλαίσιο και οπτική πληροφορία. Ανάμεσα στους κύριους στόχους της ερευνητικής εργασίας μας βρίσκεται και η πραγματοποίηση υψηλού επιπέδου ανάλυσης και μοντελοποίησης πολυμεσικών εγγράφων¹, με απώτερο στόχο την αυτόματη κατηγοριοποίηση και σημασιολογική αναζήτησή τους. Παρουσιάζεται, λοιπόν, στην τρίτη ενότητα, μια πρωτότυπη μεθοδολογία ανάλυσης της πληροφορίας κειμένου αλλά και της οπτικής πληροφορίας, η οποία βασίζεται σε γνώση αποθηκευμένη σε οντολογίες (ontologies), η ανάπτυξη των οποίων βασίζεται σε συγκεκριμένες δομές και προηγείται χρονικά των αλγορίθμων ανάλυσης. Καθώς οι οντολογίες αποτελούν ένα μέσο διαχείρισης και οργάνωσης της γνώσης με σκοπό την εξαγωγή συμπερασμάτων, η χρήση τους έχει σημαντικά αποτελέσματα όσον αφορά στις επιδόσεις αρχειοθέτησης, κατηγοριοποίησης και αναζήτησης της πολυμεσικής πληροφορίας. Στη συνέχεια παρουσιάζεται ο ρόλος του εννοιολογικού πλαισίου κατά την ανάλυση πολυμεσικής πληροφορίας, ενώ προτείνονται τεχνικές μοντελοποίησής του, καθώς και μεθοδολογίες υπολογισμού του. Στο πεδίο της ανάλυσης, το εννοιολογικό πλαίσιο ορίζεται (όπως και στην περίπτωση της προσωποποίησης περιεχομένου) και πάλι με τη βοήθεια οντολογιών και πληροφορίας κατηγοριοποίησης. Τέλος, γίνεται μια εκτενής αναφορά στις εφαρμογές της χρήσης του εννοιολογικού πλαισίου σε τεχνικές και υλοποιήσεις κατά τη διαδικασία ανάλυσης πολυμεσικής πληροφορίας και εξετάζονται τα αποτελέσματα της έρευνάς μας σε τομείς όπως η βασισμένη σε γνώση ανάλυση εικόνων, η κατάτμηση εικόνων και η εξαγωγή σημασιολογικών συμπερασμάτων με χρήση ενός γενετικού αλγορίθμου. • Εννοιολογικό πλαίσιο ταξινόμησης. Στο τελευταίο μέρος της διατριβής επεκτείνεται η ερευνητική εργασία μας πάνω στα ενδιάμεσου επιπέδου χαρακτηριστικά γνωρίσματα των εικόνων και στην εκμετάλλευση της αντίστοιχης πληροφορίας. Ειδικότερα, εστιάζουμε στην αναγνώριση υψηλού επιπέδου εννοιών μέσα σε πολυμεσικά έγγραφα με την εισαγωγή καινοτόμων παραστάσεων, όπως είναι οι οντότητες ενδιάμεσου επιπέδου και οι αντίστοιχες οντολογίες τους. Εισάγονται τρία σχετικά είδη, τα οποία επεκτείνουν την ανεπτυγμένη στην προηγούμενη ενότητα κλασική θεώρηση της επίδρασης του εννοιολογικού πλαισίου, τόσο προς την κατεύθυνση των σημασιολογικών εννοιών, όσο και των τύπων περιοχής (region types). Μοντελοποιείται και υλοποιείται η απαιτούμενη γνώση, καθορίζονται οι σχέσεις μεταξύ των νέων ειδών και εξηγείται πώς οι προτεινόμενοι αλγόριθμοι και μεθοδολογίες διαχείρισης του οπτικού εννοιολογικού πλαισίου μπορούν να συνδυαστούν αποδοτικά για να επιτευχθεί ο στόχος της σημασιολογικής πολυμεσικής ανάλυσης. Τέλος, παρουσιάζονται ποικίλα πειραματικά αποτελέσματα από την εν λόγω ενσωμάτωση του εννοιολογικού πλαισίου στη διαδικασία της ανάλυσης, μέσω της εξαγωγής τύπων περιοχών και ομάδων οντοτήτων.