Explainable deep learning applied to plastics sorting based on computer vision

Abstract

Recycling plastics is essential to reduce the environmental impact and resource depletion, as it can decrease energy and material usage per unit of output and so yield improved eco-efficiency. Sorting plastics is one of the stages of the recycling process, and it is necessary because there are different types of plastics, and recycling processes generally require a single polymer. There are various techniques for sorting plastic materials, including manual techniques, which are time-consuming and not very efficient, and Machine Learning (ML) and Deep Learning (DL) techniques, which have been producing good results, but they are black boxes. That means those models are not transparent and, consequently, they are not reliable. Explainable Artificial Intelligence (XAI) is a recent research topic that has been producing interesting results in the last few years and it is considered a solution to overcome those limitations in classical DL methods. Thus, this work aims to combine and apply DL and XAI techniques to plastics sorting. First, a systematic literature review (SLR) was conducted on XAI applied to DL, to identify the main DL and XAI techniques in the literature, as well as the metrics to assess XAI techniques, the limitations and future research suggestions. Afterwards, CNNs, ResNet50, ResNet152, VGG19, and VGG16, and XAI techniques, Integrated Gradients and Guided Grad-CAM, were applied to the data images. Finally, DL metrics, accuracy, precision, recall, and F1-score, and XAI metrics, Max-Sensitivity and Infidelity, were employed to compare the methods. The results reveal that ResNet152 achieved the best performance, and Guided Grad-CAM produced better explanations, in general, although not for ResNet152. This dissertation is expected to further advance research on XAI applied to DL and contribute to the recycling of plastics, specifically to the essential step of sorting them.

A reciclagem de plásticos é essencial para reduzir o impacto ambiental e o esgotamento de recursos, uma vez que pode diminuir a utilização de energia e material por unidade de produção e, assim, produzir uma maior ecoeficiência. A separação de plásticos é uma das etapas do processo de reciclagem, e é importante pois existem diferentes tipos de plásticos e os processos de reciclagem requerem geralmente um único polímero. Existem várias técnicas de triagem de materiais plásticos, incluindo técnicas manuais, que consomem muito tempo e não são muito eficientes, e técnicas de Machine Learning (ML) e Deep Learning (DL), que têm vindo a produzir bons resultados, mas são caixas pretas. Isto significa que estes modelos não são transparentes e, consequentemente, não são confiáveis. A Inteligência Artificial Explicável (XAI) é um tema recente que tem produzido resultados interessantes nos últimos anos e é considerada uma solução para ultrapassar essas limitações nos métodos clássicos de DL. Assim, este trabalho visa combinar e aplicar técnicas de DL e XAI à triagem de plásticos. Primeiro, foi realizada uma revisão sistemática da literatura (SLR) sobre XAI aplicada ao DL, para identificar as principais técnicas de DL e XAI na literatura, bem como as métricas para avaliar as técnicas de XAI, as limitações e as sugestões para estudos futuros. Posteriormente, as CNNs ResNet50, ResNet152, VGG19, e VGG16, e as técnicas de XAI Integrated Gradients e Guided Grad- CAM, foram aplicadas às imagens. Finalmente, foram utilizadas as métricas de DL acurácia, precisão, recall, e F1-score, e as métricas de XAI Max-Sensitivity e Infidelity, para comparar os métodos. Os resultados revelam que a ResNet152 alcançou o melhor desempenho, e Guided Grad-CAM produziu melhores explicações, em geral, embora não para a ResNet152. Esperase que esta dissertação contribua para o avanço nas pesquisas sobre XAI aplicada a DL e contribua para a reciclagem de plásticos, especificamente para a etapa essencial da triagem.