Colorização de sequências de imagens em tons de cinza utilizando descritores de textura e segmentação hierárquica

Abstract

Resumo: A colorização é considerada o processo de adicionar cores a imagens e filmes em escala de cinza. Atualmente há uma vasta quantidade de filmes e imagens em escala de cinza, Esses materiais, em muitos casos, demandam colorização uma vez que quando coloridos se tornam mais agradáveis ao ser humano, facilitando a percepção de detalhes da cena. A colorização manual é tarefa árdua, que exige do usuário a definição de uma determinada cor para cada ponto da imagem, o que normalmente é feito por segmentação manual tornando o processo lento. Desta forma, este trabalho propõe um método para realizar a colorização de vídeos de forma assistida. No método proposto nesta dissertação, o usuário define regiões e cores de um primeiro frame. Na sequência o algoritmo segmenta o frame atual e o próximo utilizando um algoritmo de segmentação automática que gera regiões de forma controlada, como segmentação hierárquica ou por superpixel. Extrai-se descritores de textura LBP e Gabor além de informações de intensidade e então se realiza a comparação de cada região entre os dois frames encontrando a melhor correspondência. Por fim, as cores são propagadas na imagem por meio de um algoritmo que utiliza uma técnica de otimização para gerar cores mais naturais. Os experimentos realizados demonstraram que o método proposto gerou resultados superiores em relação à técnica manual, bem como em relação a técnicas do estado da arte, tanto no que se refere ao tempo, ao número de interações do usuário e quanto a qualidade final

Abstract: Colorization is considered the process of adding color to grayscale images and movies. Currently there are a vast amount of films and images in grayscale, these materials, in many cases, require colorization since to become more human-friendly, facilitating the perception of details of the scene. Manual colorization is an arduous task, requiring the user to define a specific color for each point in the image, which is usually done by manual segmentation, making the process slow. In this way, this work proposes a method to perform colorization of videos in an assisted way. In the method proposed in this dissertation, the user defines regions and colors of a first frame. The algorithm then segments the current and next frame using an automatic segmentation algorithm that generates regions in a controlled way, such as hierarchical or superpixel segmentation. We extract LBP and Gabor texture descriptors in addition to intensity information and then we compare each region between the two frames to find the best match. Finally, colors are propagated in the image through an algorithm that uses an optimization technique to generate more natural colors. The experiments demonstrated that the proposed method yielded superior results in relation to the manual technique, as well as in relation to state-of-the-art techniques, in terms of time, number of user interactions and final quality