Data mining for enhanced marketing decision making: applications in consumers’ behavior data in online and offline environment using a machine learning model

Abstract

An excessive amount of data is daily generated, and the customer’s journey becomes extremely complicated. Industries and decision makers struggle to follow the new trends and they invest huge budgets trying to close the gap between the data and the consumer’s behavior. The need of using artificial intelligence (AI) models which combine marketing data and computer science methods seems imperative. Data mining, machine learning (ML), and deep learning methods act complementary to marketing science through the data classification, the user profiling, the content optimization techniques using data analysis, management, representation methods, and tools to generate highly accurate results. The thesis consists of two parts: the theoretical and the practical. The theoretical part bridges the gap between marketing and informatics engineering by conducting a literature review on cornerstone marketing and computer science definitions including physical and digital marketing, consumer behavior, AI, and ML. It also states the research motivation, scope, significance, and questions. The practical part examines the online and offline consumer’s behavior by using a decision-making method, which analyzes the consumers data, and it helps the decision-makers to understand potential opportunities and needs. A method which combines decision trees (DTs) and genetic algorithms (GA) through a wrapping technique is introduced. This method is known as the GA wrapper and its logic is based on optimal features selection. The used method can generate results through users’ data processing aiming to assist decision makers to take faster decisions. Consumers’ data may originate from the digital or the physical environment including official repositories, surveys, and corporate social media pages insights. The goal is to generate optimized subsets from the initial number of attributes maintaining the initial prediction accuracy. The GA wrapper passes through four stages including design, implementation, verification, and application. Towards the completion of the thesis goal to generate optimal features there are certain objectives which had to be met. Using a recursive approach, the GA wrapper properties broke down into certain objectives. These objectives had to be examined and evaluated prior the GA wrapper model design, implementation, verification, and application phases and they include a series of tests and examinations. The thesis structure is based on recursive reasoning for each one of the objectives. Prior the GA wrapper design stage, there are two case studies of users’ data applied on decision trees classification techniques to show the innovative nature of DTs. Moving backwards before the DTs applications, a comparative analysis between two of the most efficient classification techniques which maximize the advantages of collaborating with a genetic algorithm, the decision trees’ induction and the Bayesian’s learning takes place, to indicate the best technique for the current datasets. Continuing to the earliest stages of this study, a statistical analysis of collected users’ data is conducted to reveal the appropriate data correlations needed for ML classification. These objectives apart from creating a cohesion among the thesis stages they generate new knowledge.Finally, the findings are exceeding the initial author’s expectations. The GA Wrapper manages to generate highly accurate results from a series of data indicating best practices. This research introduces a ML method which can be applied to a wide range of consumers’ or users’ behavior data, helping decision makers perform better strategies, mitigate the decision-making risk, and increase customer’s engagement.

Καθημερινά παράγεται υπερβολικός όγκος δεδομένων και το ταξίδι του καταναλωτή γίνεται εξαιρετικά περίπλοκο. Οι βιομηχανίες και οι υπεύθυνοι λήψης αποφάσεων προσπαθούν να ακολουθήσουν τις νέες τάσεις και επενδύουν τεράστια ποσά χρημάτων προσπαθώντας να μεταφράσουν τα δεδομένα τα οποία συλλέγονται από την συμπεριφορά των καταναλωτών σε πληροφορία. Η ανάγκη χρήσης μοντέλων τεχνητής νοημοσύνης τα οποία θα συνδυάζουν δεδομένα μάρκετινγκ και μεθόδους επιστήμης υπολογιστών είναι επιτακτική. Η εξόρυξη δεδομένων, η μηχανική μάθηση και οι μέθοδοι βαθιάς μάθησης λειτουργούν συμπληρωματικά στην επιστήμη του μάρκετινγκ μέσω της ταξινόμησης δεδομένων, της βελτιστοποίησης περιεχομένου και των τεχνικών εξατομίκευσης των χρηστών χρησιμοποιώντας μεθόδους ανάλυσης, διαχείρισης και αναπαράστασης δεδομένων για τη παραγωγή αποτελεσμάτων υψηλής ακρίβειας.Η διδακτορική διατριβή αποτελείται από δύο μέρη: Το θεωρητικό και το πρακτικό. Το θεωρητικό μέρος περιλαμβάνει εισαγωγικές και σημαντικές έννοιες των επιστημών του μάρκετινγκ και της μηχανικής της πληροφορικής όπως έννοιες φυσικού και ψηφιακού μάρκετινγκ, συμπεριφορά καταναλωτή, τεχνητή νοημοσύνη, μηχανική μάθηση, κ.α. Το πρακτικό μέρος εξετάζει τη συμπεριφορά των καταναλωτών χρησιμοποιώντας μια μέθοδο λήψης αποφάσεων, το οποίο αναλύει τα δεδομένα των καταναλωτών και βοηθά τους υπεύθυνους λήψης αποφάσεων να κατανοήσουν πιθανές ευκαιρίες και ανάγκες. Αυτή η μέθοδος είναι σε θέση να παράγει αποτελέσματα μέσω της επεξεργασίας δεδομένων των χρηστών με στόχο να βοηθήσει τους υπεύθυνους λήψης αποφάσεων να λαμβάνουν ταχύτερες αποφάσεις. Το συγκεκριμένο μοντέλο εισάγει μια μέθοδο η οποία συνδυάζει δέντρα απόφασης και γενετικούς αλγόριθμους μέσω μιας τεχνικής περιτύλιξης η οποία βασίζεται στην επιλογή βέλτιστων χαρακτηριστικών. Ο στόχος είναι να δημιουργηθούν βελτιστοποιημένα υποσύνολα μέσα από έναν αρχικό αριθμό χαρακτηριστικών διατηρώντας την αρχική ακρίβεια πρόβλεψης. Η μέθοδος περιτύλιξης περνά από τέσσερα στάδια, συμπεριλαμβανομένου του σχεδιασμού, της υλοποίησης, της επαλήθευσης και της εφαρμογής. Τα δεδομένα των καταναλωτών προέρχονται από επίσημα αποθετήρια, ερωτηματολόγια, και εταιρικές σελίδες κοινωνικής δικτύωσης. Προς την ολοκλήρωση της δημιουργίας μιας εξελιγμένης μεθόδου που μπορεί να επιλέξει βέλτιστα χαρακτηριστικά, υπάρχουν ορισμένοι στόχοι που έπρεπε να επιτευχθούν. Χρησιμοποιώντας μια αναδρομική προσέγγιση, οι ιδιότητες της μεθόδου περιτυλίγματος του γενετικού αλγορίθμου αναλύθηκαν σε επιμέρους στόχους. Αυτοί οι στόχοι έπρεπε να εξεταστούν και να αξιολογηθούν πριν από τις φάσεις σχεδιασμού, υλοποίησης, επαλήθευσης και εφαρμογής του μοντέλου περιτυλίγματος του γενετικού αλγορίθμου και περιλαμβάνουν μια σειρά εφαρμογών και δοκιμών. Αρχικά, υπάρχουν δύο περιπτώσεις μελετών στις οποίες τα δεδομένα των χρηστών εφαρμόζονται σε τεχνικές ταξινόμησης δέντρων αποφάσεων για να δείξουν την καινοτόμο φύση των τεχνικών αυτών. Με μια αναδρομική προσέγγιση και πριν από αυτές τις εφαρμογές κατηγοριοποίησης δεδομένων, λαμβάνει χώρα μια συγκριτική ανάλυση μεταξύ δύο εκ των πιο αποτελεσματικών τεχνικών ταξινόμησης που μεγιστοποιούν τα πλεονεκτήματα της συνεργασίας με έναν γενετικό αλγόριθμο, την επαγωγή των δέντρων απόφασης και τη μάθηση του Μπέϋζιανής λογικής, με στόχο να υποδείξει την καλύτερη τεχνική για εφαρμογή στα τρέχουσα σύνολα δεδομένων. Συνεχίζοντας αναδρομικά, στα πρώτα στάδια αυτής της μελέτης, διεξάγεται μια στατιστική ανάλυση των δεδομένων των χρηστών που συλλέγονται για να αποκαλυφθούν οι συσχετίσεις δεδομένων που απαιτούνται για την ταξινόμηση των δεδομένων σε τεχνικές κατηγοριοποίησης όπως πχ. δένδρα αποφάσεων.Η μέθοδος περιτυλίγματος καταφέρνει να παράγει αποτελέσματα υψηλής ακρίβειας μέσα από μια σειρά από δεδομένα συμπεριφοράς καταναλωτών υποδεικνύοντας βέλτιστες πρακτικές. Αυτό το έργο εισάγει ένα ευέλικτο μοντέλο μηχανικής μάθησης το οποίο μπορεί να εφαρμοστεί σε ένα ευρύ φάσμα δεδομένων συμπεριφοράς καταναλωτών ή χρηστών, βοηθώντας τους υπεύθυνους λήψης αποφάσεων να εκτελέσουν τη στρατηγική τους μετριάζοντας τον κίνδυνο λήψης αποφάσεων.