Recommender systems with Bayesian aspect models and the effect of approximate inference
Date
2018-03
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: Recommender systems form an important part of the modern world. These
systems allow users to find relevant items in often huge item collections. Collaborative filtering is a pervasive and popular form of recommender that recommends to users based on their histories and the histories of other users.
The field was long dominated by two forms of collaborative filtering: neighbourhood methods and matrix factorisation models. The two approaches were
based on the assumption that the better the prediction of the rating a user would give an item, the greater the quality of the recommendations. This assumption has been criticised as being misleading. One major criticism is that the recommender systems are not being evaluated on the quality of the actual recommendation list. The systems are instead being evaluated on how well they perform a proxy task: predicting ratings. Another criticism is that it leads to recommenders that overfit to popular items that have the majority of the observed feedback. One possible improvement is to instead evaluate recommender systems by how effectively they rank items by determining how many relevant items they can return for a user in their top N results. However, traditional, popular forms of collaborative filtering perform these tasks poorly. To address this we turn to Bayesian aspect models. These models come from the field of topic modelling. These aspect models are unsupervised models that express co-occurrence data in terms of latent aspects, where aspects are collections of thematically related items. The best known and most powerful aspect model is Latent Dirichlet Allocation, and preliminary literature suggests that it performs very well for recommendation tasks. A drawback to these Bayesian aspect models is that exact inference is intractable and we need to turn to approximate inference techniques. In this document we verify the performance of Latent Dirichlet Allocation for recommendation, and investigate the effect of approximate performance on the results for recommendation tasks.
AFRIKAANSE OPSOMMING: Aanbevelingstelsels speel 'n belangrike rol in die moderne w^ereld. Hierdie stelsels stel gebruikers in staat om relevante items op te spoor in (dikwels) groot versamelings data wat oor verskeie domeine kan strek. Samewerkende filtrering maak gebruik van die soortgelykhede tussen 'n gebruiker se geskiedenis en dié van ander gebruikers om aanbevelings te maak. Hierdie veld was lank gedomineer deur twee vorme van samewerkende filters: buurtmodelle en matriksfaktorisering. Die twee benaderings was gegrond op die veronderstelling dat 'n beter voorspelling van die telling wat 'n gebruiker aan 'n item sou gee, noodwendig ook sal lei tot hoër gehalte aanbevelings. Hierdie aanname blyk misleidend te wees { die tellings wat 'n gebruiker gee is nie direk ekwivalent aan die nuttigheid van 'n aanbeveling nie. Verder lei dit ook tot 'n oormatige fokus op popul^ere items wat volop in die beskikbare data voorkom. Gevolglik het die veld verskuif na nuwe vorme van evaluering. 'n Moontlike benadering is om eerder aanbevelingstelsels te baseer op hoeveel van die items in die boonste N aanbevelings relevant vir die gebruiker was. Die tradisionele gewilde vorme van samewerkende filtrering vaar nie juis goed met hierdie tipe evaluering nie. Om meer toepaslike stelsels te ontwikkel, wend ons ons tot Bayesiese aspekmodelle. Hierdie modelle is gewild in die veld van onderwerpsmodellering. Hierdie tipe van modelle kan sonder eksplisiete toesig assosiasies maak tussen items wat dikwels saam in tematies-verwante data voorkom. Die bekendste en sterkste aspekmodel is die sogenaamde latente Dirichlet-toekenningtegniek. Voorlopige ondersoeke dui daarop dat dit belofte vir aanbevelingstake mag inhou. 'n Nadeel van hierdie Bayesiese modelle is dat presiese inferensie wiskundig onhaalbaar is { dit noop mens om dit met benaderingstegnieke te takel. In hierdie dokument verifieer ons die nuttigheid van latente Dirichlet-toekenning vir aanbeveling, en ons ondersoek ook die rol wat benaderingstegnieke ten opsigte van aanbevelingstake speel.
AFRIKAANSE OPSOMMING: Aanbevelingstelsels speel 'n belangrike rol in die moderne w^ereld. Hierdie stelsels stel gebruikers in staat om relevante items op te spoor in (dikwels) groot versamelings data wat oor verskeie domeine kan strek. Samewerkende filtrering maak gebruik van die soortgelykhede tussen 'n gebruiker se geskiedenis en dié van ander gebruikers om aanbevelings te maak. Hierdie veld was lank gedomineer deur twee vorme van samewerkende filters: buurtmodelle en matriksfaktorisering. Die twee benaderings was gegrond op die veronderstelling dat 'n beter voorspelling van die telling wat 'n gebruiker aan 'n item sou gee, noodwendig ook sal lei tot hoër gehalte aanbevelings. Hierdie aanname blyk misleidend te wees { die tellings wat 'n gebruiker gee is nie direk ekwivalent aan die nuttigheid van 'n aanbeveling nie. Verder lei dit ook tot 'n oormatige fokus op popul^ere items wat volop in die beskikbare data voorkom. Gevolglik het die veld verskuif na nuwe vorme van evaluering. 'n Moontlike benadering is om eerder aanbevelingstelsels te baseer op hoeveel van die items in die boonste N aanbevelings relevant vir die gebruiker was. Die tradisionele gewilde vorme van samewerkende filtrering vaar nie juis goed met hierdie tipe evaluering nie. Om meer toepaslike stelsels te ontwikkel, wend ons ons tot Bayesiese aspekmodelle. Hierdie modelle is gewild in die veld van onderwerpsmodellering. Hierdie tipe van modelle kan sonder eksplisiete toesig assosiasies maak tussen items wat dikwels saam in tematies-verwante data voorkom. Die bekendste en sterkste aspekmodel is die sogenaamde latente Dirichlet-toekenningtegniek. Voorlopige ondersoeke dui daarop dat dit belofte vir aanbevelingstake mag inhou. 'n Nadeel van hierdie Bayesiese modelle is dat presiese inferensie wiskundig onhaalbaar is { dit noop mens om dit met benaderingstegnieke te takel. In hierdie dokument verifieer ons die nuttigheid van latente Dirichlet-toekenning vir aanbeveling, en ons ondersoek ook die rol wat benaderingstegnieke ten opsigte van aanbevelingstake speel.
Description
Thesis (MScEng)--Stellenbosch University, 2018.
Keywords
Recommender systems (Information filtering), UCTD, Bayesian field theory, Approximate identities (Algebra), Inference