Classificação multirrótulo de gênero cinematográfico : uma abordagem multimodal

Abstract

Resumo: Classificação de gêneros cinematográficos se mostra uma tarefa desafiadora, atraindo cada vez mais a atenção de pesquisadores. O número de usuários que fazem uso das vantagens da classificação automática de filmes por gênero cresce rapidamente devido a popularização de serviços de streaming de filmes. Neste trabalho, é realizada a classificação multirrótulo de gêneros cinematográficos utilizando uma abordagem multimodal. Para esse propósito, foi criada uma base de dados composta pelos trailers, legendas, sinopses e pôsteres, obtidos a partir dos filmes contidos no repositório The Movie Database (TMDb). A base de dados foi cuidadosamente coletada e organizada, além de ser disponibilizada como uma das contribuições deste trabalho. Cada filme da base foi categorizado a partir de um conjunto de 18 rótulos de gênero. As características foram extraídas das fontes de informação disponíveis utilizando diferentes tipos de descritores, especificamente Mel Frequency Cepstral Coefficients (MFCCs), Statistical Spectrum Descriptor (SSD), Local Binary Pattern (LBP), histograma RGB, Long-Short Term Memory (LSTM) e Redes Neurais Convolucionais (CNN). Os descritores foram avaliados utilizando diferentes classificadores multirrótulo, como Relevância Binária e ML-kNN. Também foi investigado o desempenho da combinação de diferentes classificadores/características utilizando estratégias de late fusion, com as quais foram obtidos resultados encorajadores. Também foi realizado um estudo de ablação para verificar o impacto de cada fonte de informação nos resultados, identificando o impacto positivo das sinopses e o impacto negativo dos frames do trailer. Durante o desenvolvimento do estudo de ablação foram obtidos os melhores resultados deste trabalho. O melhor resultado alcançado, considerando a métrica F-Score, foi de 0,674, utilizando a estratégia de fusão com dois classificadores criados usando LSTM, um a partir das sinopses e outro a partir das legendas. Quando considerada a métrica AUC-PR, o melhor resultado foi de 0,725, obtido utilizando a mesma combinação de classificadores citados anteriormente. Esses resultados corroboram para a existência de complementaridade entre os classificadores baseados em diferentes fontes de informação, legenda e sinopse, para a classificação de gêneros cinematográficos, o que não havia sido estudado na literatura. Até aonde se sabe, este é o mais amplo estudo já realizado no que diz respeito ao uso de diferentes características e fontes de informação para a classificação multirrótulo de gêneros cinematográficos.

Abstrat: Movie genre classification is a challenging task that has increasingly attracted the attention of researchers. The number of movie consumers interested in taking advantage of automatic movie genre classification is growing rapidly thanks to the popularization of media streaming service providers. In this paper, is address the multi-label classification of the movie genres in a multimodal way. For this purpose, was created a dataset composed of trailer video clips, subtitles, synopses, and movie posters taken from the movie titles in the repository The Movie Database (TMDb). The dataset was carefully curated and organized, and it was also made available as a contribution of this work. Each movie of the dataset was labeled according to a set of eighteen genre labels. The features were extracted from these data using different kinds of descriptors, namely Mel Frequency Cepstral Coefficients (MFCCs), Statistical Spectrum Descriptor (SSD), Local Binary Pattern (LBP) with spectrograms, Long-Short Term Memory (LSTM), and Convolutional Neural Networks (CNN). The descriptors were evaluated using different classifiers, such as BinaryRelevance and ML-kNN. Was also investigated the performance of the combination of different classifiers/features using a late fusion strategy, which obtained encouraging results. An ablation study was conducted to verify the impact of each source of information on the results, identifying the positive influence of the synopses and the negative influence of the trailer's frames. During the application of the ablation study, the best results of this work were obtained. The best result achieved, considering the metric F-Score, was 0.684, using the fusion strategy with two classifiers created using LSTM, one from the synopses and the other from the subtitles. When considering the AUC-PR metric, the best result, 0,725, was also achieved by combining those classifiers. These results corroborate the existence of complementarity among classifiers based on different sources of information, synopsis and subtitles, to movie genre classification, what had not been presented in the literature. As far as we know, this is the most comprehensive study developed in terms of the diversity of features and multimedia sources of information to perform movie genre classification.