Energy-aware visual analysis for wireless multimedia sensor networks

The potential of the Internet of Things is leading to a paradigm shift with an ambi- tious long-term vision, in which battery-operated sensing nodes are empowered with sight and are capable of complex visual analysis tasks. Unfortunately, this is out of reach with the current technology. This thesis addresses a comprehensive set of new methodologies to empower wireless sensor networks with vision capabilities compara- ble to those achievable by power-eager smart camera systems. The key tenet is that most visual analysis tasks can be carried out based on a succinct representation of the image, which entails both global and local features, while it disregards the under- lying pixel-level representation. Still, under severe energy and bandwidth constraints it is imperative to optimize the computation, the coding and the transmission of the visual features. On the coding side, this thesis tackles the problem by reversing the conventional compress-then-analyze paradigm. That is, image features are collected by sensing nodes, compressed with suitable coding algorithms, and delivered to final destination(s) in order to enable higher level visual analysis tasks by means of either centralized or distributed detectors and classifiers, somewhat mimicking the process- ing of visual stimuli in the early visual system. The transmission of visual features is subject to tight application-dependent requirements (bandwidth/delay guarantees), and may be affected by network conditions. Therefore, on the communication side, this thesis addresses the design of energy efficient tools for optimizing the operation of visual sensor networks, by facing the problem of allocating the available resources to multiple wireless camera nodes, developing cooperative schemes for speeding up the in-network processing of visual features and exploring the impact of spatio-temporal tradeoffs to the energy consumption of each node in the visual sensor network.

Il potenziale applicativo dell'Internet of Things sta portando a un cambio di paradigma accompagnato da un'ambiziosa visione a lungo termine, nella quale nodi sensore alimentati a batterie sono capaci di acquisire immagini e di compiere complessi compiti di analisi visuale. Sfortunatamente, questo obbiettivo non è ancora raggiungibile tramite la tecnologia odierna. Questa tesi propone un insieme di metodologie per dotare le reti di sensori wireless di capacità di analisi visuale comparabili con quelle delle moderne, e poco energeticamente efficienti, telecamere intelligenti. Il principio alla base di questa tesi è che la maggior parte dei compiti di analisi visuale possono essere portati a termine basandosi su una rappresentazione succinta dell'immagine, composta da features visive globali e locali, ignorando la rappresentazione canonica dell'immagine. Comunque, considerati i vincoli energetici e computazioni tipici delle reti di sensori, è necessario ottimizzare al massimo l'estrazione, la codifica e la trasmissione delle features visive. Dal punto di vista della codifica, questa tesi affronta il problema andando a operare un cambio di paradigma rispetto ai metodi tradizionali: ora i nodi camera acquisiscono features visive, le comprimono con algoritmi specializzati e le trasmettono a un controllore centrale che è in grado di utilizzarle per svolgere compiti di analisi. La trasmissione delle features visive può essere soggetta a diversi vincoli applicativi e strettamente dipendente dalle condizioni del canale wireless. Dal punto di vista della trasmissione quindi, questa tesi sviluppa degli strumenti in grado di ottimizzare il funzionamento della rete di sensori tramite l'allocazione ottima delle risorse, lo sviluppo di uno schema cooperativo per l'estrazione distribuita di features e l'analisi dei trade-off sulla copertura spaziale e sulla risoluzione temporale e il loro impatto sul consumo energetico della rete di sensori.