A framework for web based human and machine computation

Last years witnessed an explosion in the number of multimedia contents produced by users. Managing huge repositories of digital information calls for timely and efficient methods and tools for analysis and retrieval. The distribution of the analysis task on different computation nodes to maximize parallelization is a classic solution to this problem, typically referred to as Distributed Computing (DC). However, the analysis of multimedia contents brings specific requirements: one one hand, the nature of the analyzed information demands systems able to scale, thus involving a good amount of computational nodes. On the other hand, multimedia analysis is known to be a subtle task to be performed, as several state of the art solutions do not bring sufficient analysis quality; the recent trend of Human Computation (HC) acknowledges the needs for more correct processing by involving human beings in the multimedia content analysis tasks. At the same time of the development of these methodologies we have also seen the definitive explosion of the Web and its evolution. The Web has evolved from a mere content delivery network, where the contents are presented to the users, to a collaborative and social tool, where powerful client-side technology enable the usage of Web users as node for both automatic and human computation. To the best of our knowledge, no existing solutions are able to seamlessly exploit this massive workforce, which accounts for both machine computational power (Web Clients) and human computational power (the user brain). This thesis presents a framework for web-based human and machine computation able to take advantages of both human and distributed computation. We validated our approach by implementing several use case applications, which demonstrate the framework by stressing its architectural configurations.

Negli ultimi anni si è vista l’esplosione del numero di contenuti multimediali prodotti dagli utenti. La gestione di enormi archivi di informazioni richiede metodi e strumenti in grado di garantire l’efficienza e la rapidità dell’analisi e del recupero dei dati. Una classica soluzione per risolvere questo problema è l’uso della computazione distribuita. Questa tecnica permette di distribuire il calcolo su nodi diversi, in modo da massimizzare la parallelizzazione. L’analisi di contenuti multimediali ha dei requisiti particolari: da una parte la natura delle informazioni analizzate richiede sistemi in grado di essere distribuiti su più nodi, dall’altra, richiede anche una certa qualità nell’analisi. La computazione umana è una tecnica in grado di sopperire a questa esigenza tramite l’utilizzo di esseri umani nel processo di analisi, in modo da migliorare la qualità dei risultati ottenuti. Contemporaneamente allo sviluppo di queste tecnologie si è assistito anche alla definitiva esplosione, ed evoluzione, del Web, che si è trasformato da una semplice rete per la distribuzione dei contenuti fino a diventare uno strumento sociale per la collaborazione, in grado di utilizzare gli utenti come nodi di computazione sia automatica sia umana. Allo stato attuale delle conoscenze in nostro possesso, non siamo in grado di individuare soluzioni che supportino senza problemi questa enorme forza lavoro, permettendo lo sfruttamento sia della computazione umana, attraverso l’uso delle capacità intellettive degli esseri umani, sia quella automatica, attraverso l’uso dei client Web (Browsers). In questa tesi è presentato un framework Web per la computazione umana e automatica in grado di sfruttare al meglio le possibilità offerte da queste due soluzioni. Abbiamo, inoltre, validato il nostro lavoro implementando tre casi d’uso in grado di stressare le diverse configurazioni architetturali supportate.