Profiling KPIs in highly scalable networks

Abstract

As redes de nova geração, como as redes Software Defined Networks (SDN) [55], são redes de larga escala e diversidade no fluxo de dados que geram. Os dados são provenientes dos inúmeros dispositivos que constituem as redes e, como tal, a monitorização destes dispositivos e do fluxo de dados que por eles passa, é uma necessidade cada vez mais presente, levando a que sejam criados sistemas de monitorização e controlo dos mesmos. A monitorização dos dados é essencial para garantir a boa qualidade do serviço de rede, ajudando a detetar falhas, e identificando padrões e métricas úteis para o negócio. Uma solução que visa fornecer estes tipos de serviços é o produto Service Quality Manager (SQM) da empresa Nokia. Este software tem a capacidade de agregar e avaliar a informação fornecida por dispositivos de rede, disponibilizando indicadores de desempenho, ou Key Performance Indicators (KPIs), configuráveis e úteis a outros sistemas, administradores de rede e outros utilizadores. A arquitetura atual do SQM usa uma abordagem monolítica que não tem a flexibilidade e a escalabilidade que se pretende. A sua evolução passa por definir uma arquitetura que permita responder aos desafios dos dias de hoje, transformando a presente solução num sistema distribuído, escalável e que consiga processar um grande volume de dados em tempo útil. A solução apresentada nesta tese baseia-se na arquitetura SMACK Stack (Spark, Mesos, Akka, Cassandra, Kafka)[40]. Na solução proposta, tal como na arquitetura SMACK Stack, pretende-se dividir as múltiplas responsabilidades da aplicação em diversas camadas. O objetivo é englobar várias tecnologias que cooperam entre si para criar uma solução distribuída e escalável em tempo real.

New-generation networks, such as Software Defined Networks (SDN) networks[55], are networks that have a large scale and diversity in the data flow they generate. The data comes from the numerous devices that constitute the networks and as such the monitoring of these devices and the data flow that passes through them is an increasingly needed, leading to the creation of monitoring and control software. Data monitoring is essencial to ensure good service quality, easily detecting failures, patterns and metrics that are useful for the business. One solution that provide these types of services is the Service Quality Manager (SQM) solution, presented by Nokia. This software has the ability to aggregate and evaluate the information provided by network devices, providing configurable and useful Key Performance Indicators (KPIs) to other systems, network administrators and other users. Since the present solution is a monolithic architecture solution it does not have the flexibility and scalability that is intended. It is intended to evolve the solution to an architecture that allows us to respond to the today’s challenges, transforming the present solution into a distributed system, easily scalable and able to process a large volume of data in real time. The solution presented in this thesis is based on the SMACK Stack [40] architecture. In the proposed solution, as in the SMACK Stack architecture, is to divide the multiple responsibilities of the application into several layers. The goal is to embrace a number of collaborative technologies to create a scalable, real-time solution.