Classificação de gêneros musicais utilizando convolutional neural network e data augmentation

Abstract

Resumo: Esta dissertação de mestrado aborda o problema de classificação de músicas em gêneros musicais, que é uma tarefa de reconhecimento de padrões aplicada em recuperação de informação. Ao invés de manipular diretamente o sinal de áudio, sugerimos utilizar o domínio visual, imagens de espectrogramas. Essas imagens vem sendo empregadas com sucesso nessa finalidade desde 2011 e o principal atributo visual delas é a textura. O diferencial deste trabalho é a abordagem utilizada para classificação e as técnicas de manipulação e aumento da base de dados que são empregadas. Para classificação usamos as redes neurais convolucionais, CNNs. Elas são técnicas de aprendizagem profunda, {deeplearning, e vem sendo bastante utilizadas na literatura de reconhecimento de padrões. A aprendizagem profunda e as CNNs foram inspiradas no cérebro humano e no sistema visual dos mamíferos, respectivamente. Uma dificuldade recorrente quando se utiliza CNNs é o overfitting, que ocorre normalmente devido a uma quantidade insuficiente de amostras de treino. Para solucionar esse problema propomos explorar técnicas de data augmentation que incluem meios de segmentar o espectrograma e a manipulação direta do sinal do áudio como, por exemplo, alteração da tonalidade da música e separação de elementos harmônicos e percussivos do áudio. Essas técnicas devem gerar mais amostras para o treino da rede neural e são empregadas até mesmo no conjunto de teste, já que esse emprego se mostrou adequado em outros trabalhos. Os experimentos deste trabalho foram executados utilizando The Latin Music Database e o melhor resultado obtido é superior ao resultado encontrado que utiliza apenas CNN e próximo do estado da arte

Abstract: In thiswork, wepresent a master dissertation addressing automatic music genre classification as a patter recognitiontask. The content of the music pieces were described using features obtained in the visual domain, by using spectrograms created from the audio signal. This kind of image has been successfully used in thistasksince 2011 by exploring the main visual attribute that can be found in this kind of image (i.e. texture). In this work, the patterns were described by using representation learning. For this, convolutional neural networks (CNN) were used. CNN is a deep learning architecture and it has been widely used in the literature of pattern recognition. Deep learning is inspired in the human brain and CNNs in the mammal visual system. Overfitting is a recurrent problem when a classification problem is addressed by using CNN, it may occur due to the combination of lacking of training samples and a high dimensionality space. To address this problem we propose to explore data augmentation techniques. In this application domain, examples of data augmentation techniques are: cropping spectrogram images, changing the pitch of a music piece and separating harmonic and percussive components of the sound. Such procedures are implemented in both training and testing sets. In this work we present results obtained with The Latin Music Database and the best accuracy we acquired is close to the state of the art and outcome the best system we known based only in CNN