Detekce podobností datových domén pomocí metod strojového učení

Abstract

Cieľom tejto práce je navrhnúť a zostrojiť systém, na základe ktorého by bolo možne efektívne porovnávať podobnosť v stĺpcoch tabuľky. Bolo preukázané, že vektorová reprezentácia stĺpca vytvorená pomocou rekurentnej neurónovej siete je schopná dobre zakódovať vlastnosti domény, ktorú reprezentuje. V porovnaní s TF-IDF metódou, ktorá je na tento účel najčastejšie používaná, RNN dosiahli zlepšenie až o \textbf{14,5\%}. Na základe výsledkov tejto práce bol implementovaný a nasadený systém na doporučovanie Business Terms v produkte Ataccama One.

This thesis describes the design and implementation of a system for comparing the similarity of columns in an arbitrary database. We have shown that our system, based on recurrent neural networks, outperforms the industry standard TF-IDF method by \textbf{14.5\%}. We therefore, conclude that our system is capable of learning to effectively recognize the domain properties of data in the database. We deployed the described system in Atacama One, where it is responsible for Business Terms recommendations.