Classificação automática de emoções a partir de letras e áudios de músicas

Abstract

RESUMO: As músicas fazem parte do cotidiano das pessoas. Além de serem uma forma de comunicação, elas são utilizadas como forma de entretenimento, ou ainda em tratamentos médicos e terapias. Como forma de comunicação, pode-se dizer que as músicas podem expressar emoções. Além disso, acredita-se que a busca de músicas pelas pessoas está relacionada ao que elas estão sentindo naquele momento. Surge, assim, o desafio de oferecer músicas identificadas por emoções a usuários de conteúdo musical. Isso é um problema especialmente para os provedores de música, já que há uma elevada quantidade de músicas nos repositórios e a tarefa de rotular essas músicas por emoções é cara e complexa. Dessa forma, se torna necessário criar mecanismos automáticos para tal tarefa. Existem diversos trabalhos na literatura que abordam esse problema. Na maioria deles, letras ou áudios das músicas são utilizados como fonte de informação para a extração de características, que, por sua vez, alimentam algoritmos de aprendizagem de máquina. Muitos desses trabalhos são voltados para a língua inglesa e poucos tratam músicas latinas. Visando preencher essa lacuna, este trabalho teve como objetivo classificar as músicas da Latin Music Mood Database (LMMD) por emoções utilizando características extraídas das letras e áudios. As características foram avaliadas individualmente, por combinação unimodal (características da mesma fonte de informação) e por combinação multimodal (características das duas fontes de informação). A partir das características extraídas, três abordagens de classificação foram propostas, a saber: classificação simples, na qual as músicas foram classificadas diretamente em emoções; classificação em etapas, na qual as músicas foram classificadas primeiramente em valência, excitação e quadrante e, posteriormente, em emoções; e classificação por ensemble, na qual as músicas foram classificadas diretamente em emoções utilizando os ensemble Adaboost e Bagging. Como a LMMD é desbalanceada em relação às emoções e isso afetava o desempenho dos classificadores, a técnica Synthetic Minority Over-sampling Technique (SMOTE) foi aplicada. Os experimentos mostraram que a classificação em etapas com a aplicação da técnica SMOTE obteve melhores resultados em relação às outras abordagens.

ABSTRACT: Music is part of people's daily lives. In addition to being a form of communication, they are used as a form of entertainment, or even in medical treatments and therapies. As a form of communication, it can be said that songs express emotions. In addition, it is believed that people's search for music is related to their feelings at that moment. Thus, the challenge arises of offering music identified by emotions to users of musical content. This is a problem especially for music providers, as there are a lot of songs in the repositories and the task of labeling them by emotions is expensive and complex. Thus, it becomes necessary to create automatic mechanisms for this task. There are several works in the literature that address this problem. In most of them, lyrics or audios of the songs are used as a source of information for extracting features that feed machine learning algorithms. Many of these works focus on the English language and only a few deals with Latin music. To fill this gap, we classify the songs in the Latin Music Mood Database (LMMD) by emotions, using features extracted from lyrics and audios. The features were evaluated individually, using a unimodal combination (features of the same information source) and a multimodal combination (features of the two sources of information). From these features, three classification approaches were proposed, namely: simple classification, in which the songs were classified directly into emotions; classification in stages, in which the songs were classified first in valence, excitement and quadrant and, later, into emotions; and classification by ensemble, in which the songs were classified directly into emotions using Adaboost and Bagging. As the LMMD is unbalanced in relation to emotions and this affected the performance of the classifiers, the Synthetic Minority Over-sampling Technique (SMOTE) technique was applied. The experiments showed that the classification in stages with the application of the SMOTE technique obtained better results in relation to the other approaches.