Pattern identification in prices of products and services of Telco/CSPs companies

Abstract

Competition in the commercial market is increasingly fierce. In general, companies want to be able to predict the behavior of the market, in order to adapt the price of their products so that they can remain active and competitive in this market. It is well-known that the market is volatile and constantly changing, so every day there may be a change in the value of products. This is what makes the theme of this dissertation relevant, its goal is to find patterns of interest in the market, making it possible to provide valuable information to the company that will help decision making related to the prices of its products. This work was developed in partnership with the company Ritain.io, under the project zenPrice™ - Competitive intelligence SaaS, based on time series with the evolution of the price of a given product during a certain period of time, where the daily price is read and stored in an information repository. The identification of patterns in the market can be done through clustering procedures that allow finding groups of similar products taking into account the characteristics of the time series. Along this dissertation, features (or measures) are explored in the time, spectral and statistical domains. Furthermore, there is an analysis of the impact on the clustering process when different features are chosen. Since this work makes use of a high volume of data, it is convenient to consider a reduction in the dimensionality of the data before performing the clustering, in order to reduce the complexity of the problem and the need for computational resources. Therefore, this dissertation will focus on nonlinear methods for dimensionality reduction, more specifically the t-SNE, where the influence of different parameters is also studied. Using this method and the k-means clustering algorithm, 5 clusters were formed, where 3 of them are non-separable and 2 clusters are very cohesive and separable from the remaining 3.

A competição em mercado comercial é cada vez mais feroz. Em geral, as empresas querem conseguir prever o comportamento do mercado, para assim conseguirem adaptar o preço dos seus produtos com o objetivo de se manterem ativos e competitivos nesse mercado. É sabido que o mercado é volátil e está em constante mudança, pelo que, todos os dias poderá haver uma mudança no valor dos produtos. É aqui que o objetivo desta dissertação é importante, já que passa por encontrar padrões de interesse no mercado, permitindo que as empresas tenham acesso a informações valiosas que permitem uma melhor decisão relativamente aos preços dos seus produtos. Este trabalho foi desenvolvido em parceria com a empresa Ritain.io, no âmbito do projeto zenPrice™ - Competitive intelligence SaaS, com base em séries temporais com a evolução do preço de um determinado produto durante um período de tempo, onde o preço diário é lido e guardado num repositório de informação. A identificação de padrões no mercado pode ser feita através de procedimentos de clusterização que permitem encontrar grupos de produtos semelhantes tendo em conta as características das séries temporais. Nesta dissertação, exploram-se características (ou medidas) no domínio temporal, espectral e estatístico, e analisa-se o impacto da escolha destas no processo de clusterização. Uma vez que este trabalho faz uso de um elevado volume de dados é conveniente considerar uma redução da dimensionalidade dos dados antes de executar a clusterização, para reduzir a complexidade do problema em mãos e reduzir a necessidade de recursos computacionais. Esta dissertação irá focar métodos não lineares para redução de dimensionalidade, mais concretamente o t-SNE, onde se exploram também os efeitos de alteração dos seus parâmetros. Utilizando então este método e o algoritmo de clusterização k-means, foram formados 5 clusters, onde 3 deles são não separáveis entre si e 2 clusters são muito coesos e separáveis dos restantes 3.