LyricSIM: A novel dataset and benchmark for similarity detection in Spanish song lyrics
Por favor, use este identificador para citar o enlazar este ítem:
http://hdl.handle.net/10045/137147
Título: | LyricSIM: A novel dataset and benchmark for similarity detection in Spanish song lyrics |
---|---|
Título alternativo: | LyricSIM: Un nuevo dataset y benchmark para la detección de similitud en letras de canciones en español |
Autor/es: | Benito-Santos, Alejandro | Ghajari, Adrián | Hernández, Pedro | Fresno Fernández, Víctor | Ros, Salvador | González-Blanco García, Elena |
Palabras clave: | Semantic textual similarity | Annotation task | Dataset | Benchmark | Cultural heritage | Song lyrics | Similitud semántica en textos | Tarea de anotación | Conjunto de datos | Letras de canciones |
Fecha de publicación: | sep-2023 |
Editor: | Sociedad Española para el Procesamiento del Lenguaje Natural |
Cita bibliográfica: | Procesamiento del Lenguaje Natural. 2023, 71: 149-163. https://doi.org/10.26342/2023-71-12 |
Resumen: | In this paper, we present a new dataset and benchmark tailored to the task of semantic similarity in song lyrics. Our dataset, originally consisting of 2775 pairs of Spanish songs, was annotated in a collective annotation experiment by 63 native annotators. After collecting and refining the data to ensure a high degree of consensus and data integrity, we obtained 676 high-quality annotated pairs that were used to evaluate the performance of various state-of-the-art monolingual and multilingual language models. Consequently, we established baseline results that we hope will be useful to the community in all future academic and industrial applications conducted in this context. | En este trabajo presentamos un nuevo conjunto de datos y benchmark orientados a la tarea de similitud semántica en letras de canciones. Nuestro conjunto de datos, originalmente formado por 2775 pares de canciones en Español, fue anotado en un experimento de anotación colectivo por 63 anotadores nativos. Después de recoger y refinar los datos para asegurar un alto grado de consenso e integridad en los datos, obtuvimos 676 pares anotados de alta calidad que fueron empleados para evaluar el rendimiento de diferentes modelos del lenguaje monolingües y multilingües pertenecientes al estado del arte. En consecuencia, obtuvimos unos resultados base que esperamos sean de utilidad a la comunidad en todas aquellas aplicaciones académicas e industriales futuras que se realicen en este contexto. |
Patrocinador/es: | This research has been carried out in the framework of the Grant LyrAIcs Grant agreement ID: 964009 funded by ERC-POCLS, and in the framework of the Grant CLS INFRA reference 101004984 funded by H2020-INFRAIA-2020-1. It has also received funding from the project ISL: Intelligent Systems for Learning (GID2016-39) in the call PID 22/23, and from FAIRTRANSNLP-DIAGNOSIS: Measuring and quantifying bias and fairness in NLP systems, grant PID2021-124361OB-C32, funded by MCIN/AEI/10.13039/501100011033 and by ERDF, EU A way of making Europe. Alejandro Benito-Santos acknowledges support from the postdoctoral grant ”Margarita Salas”, awarded by the Spanish Ministry of Universities. |
URI: | http://hdl.handle.net/10045/137147 |
ISSN: | 1135-5948 |
DOI: | 10.26342/2023-71-12 |
Idioma: | eng |
Tipo: | info:eu-repo/semantics/article |
Derechos: | © Sociedad Española para el Procesamiento del Lenguaje Natural. Distribuido bajo Licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 |
Revisión científica: | si |
Versión del editor: | https://doi.org/10.26342/2023-71-12 |
Aparece en las colecciones: | Procesamiento del Lenguaje Natural - Nº 71 (2023) Investigaciones financiadas por la UE |
Archivos en este ítem:
Archivo | Descripción | Tamaño | Formato | |
---|---|---|---|---|
PLN_71_12.pdf | 1,24 MB | Adobe PDF | Abrir Vista previa | |
Este ítem está licenciado bajo Licencia Creative Commons