MannAR : um método de interpretação de imagens de autômatos aplicado às tecnologias assistivas para deficientes visuais

Abstract

Resumo: Disciplinas da área de Ciência da Computação usam frequentemente gráficos e diagramas no processo de ensino e aprendizagem. Esse é o caso dos conteúdos em aulas de Teoria da Computação, Circuitos Digitais, Grafos, Estruturas de Dados, Engenharia de Software, entre outras. Visando contribuir com o campo de Tecnologia assistiva, definiu-se como primeiro passo na descrição automática de diagramas relacionados a Ciência da Computação o escopo de imagens de reconhecedores de linguagens formais, devido a Teoria da Computação ser uma das bases para a área. Para lidar com o desafio de passar de forma completa e acessível esse conteúdo a alunos, este trabalho propõe o MannAR (junção do nome do grupo Manna com Automata Recognition), um método de tradução de imagens de diagramas de estados de transição de mecanismos reconhecedores de linguagens formais para formatos alternativos que sejam acessíveis a deficientes visuais. Transmitir a informação que está presente em uma imagem digital envolve conceitos de Visão Computacional, Processamento de Imagens e Inteligência Artificial. As etapas deste trabalho são: investigação de ferramentas já existentes; criação de uma base de imagens de reconhecedores de linguagens formais; criação do método e implementação deste em um protótipo como prova de conceito; e realização de estudos de caso com usuários deficientes visuais. Os autômatos finitos da disciplina de Teoria da Computação foram escolhidos como prova de conceito do MannAR dando origem ao MannAR-FA. Como resultados têm-se um modelo de Rede Neural Convolucional que reconhece os tipos de autômatos em imagem (Autômatos Finitos, Autômatos de Pilha e Máquinas de Turing), a Base de imagens digitais de Autômatos, o método MannAR, e o protótipo MannAR-FA. Foram elaborados testes tanto para o método MannAR, como para a ferramenta MannAR-FA. O MannAR obteve um acerto de 72,5% na base de imagens AF80 e quando comparado a trabalhos relacionados obteve um desempenho superior. Relacionado à ferramenta, obteve-se sucesso em testes com usuários reais, nos quais apenas um erro foi relatado. Assim, considera-se o método proposto uma solução com melhor adaptabilidade aos diferentes usuários trazendo benefícios, não só a usuários com deficiência, mas para todos

Abstract: Computer Science disciplines often use graphics and diagrams in the teaching and learning process. This is the case of contents in classes of Computer Theory, Digital Circuits, Graphs, Data Structures, Software Engineering, among others. Aiming to contribute to the field of Assistive Technology, the first step in the automatic description of diagrams related to Computer Science was the scope of formal languages recognizers images, due to Computer Theory being one of the bases for the area. To deal with the challenge of passing this content completely and easily to students, this work proposes MannAR (junction of the name Manna group with Automata Recognition), a method of translating transitional states diagrams from mechanisms recognizing formal languages to alternative formats that are accessible to the visually impaired. Transmitting information that is present in a digital image involves Computational Vision, Image Processing and Artificial Intelligence concepts. The stages of this work are: existing tools investigation; formal language recognizers image base creation; a method creation and its implementation in a prototype as proof of concept; and conducting case studies with visually impaired users. The finite automata of the Computer Theory discipline were chosen as proof of concept of MannAR giving rise to MannAR-FA. As results, there is a Convolutional Neural Network model that recognizes the automata types in an image (Finite Automata, Pushdown Automata and Turing Machines), the Digital Automata Images Database, the MannAR method, and the MannAR-FA prototype. Tests were performed for both the MannAR method and the MannAR-FA tool. The MannAR achieved a 72.5% hit on the AF80 image base and when compared to related work it achieved superior performance. Related to the tool, we succeeded in testing with real users, which only one error was reported. Thus, the proposed method is considered a solution with better adaptability to the different users bringing benefits not only to users with disabilities, but to all