Responsive spectrum management for wireless local area networks: from heuristic-based policies to model-free reinforcement learning

Abstract

In this thesis, we focus on the so-called spectrum management's joint problem: efficient allocation of primary and secondary channels in channel bonding wireless local area networks (WLANs). From IEEE 802.11n to more recent standards like 802.11ax and 802.11be, bonding channels together is permitted to increase transmissions' bandwidth. While such an increase favors the potential network capacity and the activation of higher transmission rates, it comes at the price of reduced power per Hertz and accentuated issues on contention and interference with neighboring nodes. So, if WLANs were per se complex deployments, they are becoming even more complicated due to the increasing node density and the new technical features required by novel highly bandwidth-demanding applications. This dissertation provides an in-depth study of channel allocation and channel bonding in WLANs and discusses the suitability of solutions ranging from heuristic-based to reinforcement learning (RL)-based. To characterize channel bonding in saturated WLANs, we first propose an analytical model based on continuous-time Markov networks (CTMNs). This model relies on a novel, purpose-designed algorithm that generates CTMNs from spatially distributed scenarios, where nodes are not required to be within the carrier sense range of each other. We identify the key factors affecting the throughput and fairness of different channel bonding policies and expose critical interrelations among nodes in the spatial domain. By extending the analytical model to support unsaturated regimes, we highlight the benefits of allocating channels as wide as possible all together with adaptive policies to cope with unfair situations. Apart from the analytical model, this thesis relies on simulations to generalize channel bonding in dense scenarios while avoiding costly, sometimes unfeasible, experimental testbeds. Unfortunately, existing wireless network simulators tend to be too simplistic or too computational demanding. That is why we develop the Komondor wireless network simulator, with the essential advantage over other well-known simulators lying in its high event processing rate. We then deviate from analytical models and simulations and tackle real measurements through the Wi-Fi All-Channel Analyzer (WACA), the first system specifically designed to simultaneously measure the energy in all the 24 bondable Wi-Fi channels at the 5 GHz band. With WACA, we perform a first-of-its-kind spectrum measurement in areas including urban hotspots, residential neighborhoods, universities, and even a football match in Futbol Club Barcelona’s Camp Nou stadium. Our experimental findings reveal the underpinning factors controlling throughput gain, from which we highlight the inter-channel correlation. %We show the significance of the gathered dataset for finding new insights, which would not be possible otherwise, given that simple channel occupancy models severely underestimate the potential gains. As for solution proposals, we first cover heuristic-based approaches to find satisfactory configurations quickly. In this regard, we propose dynamic-wise (DyWi), a lightweight, decentralized, online primary channel selection algorithm for dynamic channel bonding. DyWi improves the expected WLAN throughput by considering not only the occupancy of the target primary channel but also the activity in the secondary channels. Even when assuming significant delays due to primary channel switching, simulations reveal important throughput and delay improvements. Finally, we identify machine learning (ML) approaches applicable to the spectrum management problem in WLANs and justify why model-free RL suits it the most. In particular, we put the focus on the adequate performance of stateless variations of RL and anticipate multi-armed bandits as the right solution since i) we need fast adaptability to suit user experience in dynamic Wi-Fi scenarios and ii) the number of multichannel configurations a network can adopt is limited; thus, agents can fully explore the action space in a reasonable time.

En aquesta tesi ens centrem en el problema conjunt de la gestió de l'espectre: assignació de canals primaris i secundaris a xarxes d'àrea local sense fils (WLAN) amb channel bonding. Des de l'estàndard IEEE 802.11n fins a estàndards més recents com el 802.11ac, el 802.11ax i el 802.11be, s'han anat proposant amplades de banda més grans per permetre agrupar canals, augmentant així l'amplada de banda total per transmissió. Tot i que aquest augment en l'amplada de banda afavoreix la capacitat potencial de les xarxes, suportant així els requeriments de les noves aplicacions Wi-Fi, també redueix la potència per Hertz i accentua els problemes de contenció i interferència entre nodes veïns. En resum, si les xarxes WLANs ja eren complexes per se, s'estan tornant encara més complexes a causa de l'augment de la densitat de nodes i de les noves prestacions incloses als darrers estàndards. Primer proposem un model analític basat en xarxes Markov en temps continu (CTMN) per caracteritzar channel bonding en WLANs saturades. Aquest model es basa en un nou algorisme que genera CTMNs a partir d'escenaris distribuïts espaialment, on no és necessari que els nodes estiguin dins del rang de contenció de la resta. Identifiquem els factors claus que afecten el rendiment i l'equitat de les diferents polítiques de channel bonding i mostrem l'existència d'interrelacions crítiques entre nodes en forma de reacció en cadena. D'això se'n desprèn que no hi ha una política channel bonding òptima única per a cada escenari. En ampliar el model analític per donar suport a règims no saturats, destaquem els avantatges d'assignar els canals tan amplis com sigui possible a les WLAN i implementar polítiques d'accés adaptatiu per fer front a les situacions que poden aparèixer tant en termes de rendiment com d'equitat. A part dels models analítics, aquesta tesi es basa en simulacions per generalitzar escenaris evitant costosos bancs de proves experimentals, de vegades inviables. Malauradament, els simuladors de xarxes sense fils existents solen ser massa simplistes o molt costosos computacionalment. És per això que desenvolupem el simulador de xarxes sense fils Komondor, concebut com una eina de codi obert accessible (llesta per utilitzar) per a la investigació de xarxes sense fils. L’avantatge essencial de Komondor respecte d’altres simuladors sense fils coneguts rau en la seva elevada velocitat de processament d’esdeveniments. A continuació ens desviem de models analítics i simulacions i abordem mesures reals a través del Wi-Fi All-Channel Analyzer (WACA), el primer sistema que mesura simultàniament l'energia de tots els 24 canals que permeten channel bonding a la banda Wi-Fi dels 5 GHz. Amb WACA, realitzem un estudi únic de localitzacions que inclouen nuclis urbans, barris residencials, universitats i fins i tot un partit a al Camp Nou, un estadi ple amb 98.000 aficionats i 12.000 connexions Wi-Fi simultànies. Les dades experimentals revelen els factors fonamentals que controlen el guany de rendiment, a partir dels quals ressaltem la correlació entre canals. També mostrem la importància del conjunt de dades recopilades per trobar nous factors claus, que d'una altra manera no seria possible, atès que els models d'ocupació de canals simples subestimen els guanys potencials. Pel que fa a solucions, primer discutim propostes basades en heurístiques per trobar configuracions satisfactòries ràpidament. En aquest sentit, proposem dinàmicament (DyWi), un algorisme de selecció de canal primari en línia, descentralitzat i eficient per xarxes channel bonding. DyWi millora el rendiment esperat tenint en compte no només l’ocupació del canal primari objectiu, sinó també l’activitat dels canals secundaris. Fins i tot quan suposem retards significatius a causa del canvi de canal primari, observem millores importants en termes de rendiment i retard. Finalment, identifiquem els enfocaments d’aprenentatge automàtic (o machine learning) aplicables al problema de la gestió de l’espectre a les WLAN i justifiquem per què l'aprenentatge del tipus reinforcement learning (RL) és el més adient. En particular, ens centrem en el rendiment adequat de les variacions d'RL sense estats i proposem multi-armed bandits com la solució adequada, ja que i) necessitem una adaptabilitat ràpida per millorar l’experiència d’usuari en escenaris Wi-Fi dinàmics i ii) el nombre de configuracions multicanal que una xarxa pot adoptar és limitat; per tant, els agents poden explorar completament l’espai d’acció en un temps raonable.