MannAR : um método de interpretação de imagens de autômatos aplicado às tecnologias assistivas para deficientes visuais

Resumo

Disciplinas da área de Ciência da Computação usam frequentemente gráficos e diagramas no processo de ensino e aprendizagem. Esse é o caso dos conteúdos em aulas de Teoria da Computação, Circuitos Digitais, Grafos, Estruturas de Dados, Engenharia de Software, entre outras. Visando contribuir com o campo de Tecnologia assistiva, definiu-se como primeiro passo na descrição automática de diagramas relacionados a Ciência da Computação o escopo de imagens de reconhecedores de linguagens formais, devido a Teoria da Computação ser uma das bases para a área. Para lidar com o desafio de passar de forma completa e acessível esse conteúdo a alunos, este trabalho propõe o MannAR (junção do nome do grupo Manna com Automata Recognition), um método de tradução de imagens de diagramas de estados de transição de mecanismos reconhecedores de linguagens formais para formatos alternativos que sejam acessíveis a deficientes visuais. Transmitir a informação que está presente em uma imagem digital envolve conceitos de Visão Computacional, Processamento de Imagens e Inteligência Artificial. As etapas deste trabalho são: investigação de ferramentas já existentes; criação de uma base de imagens de reconhecedores de linguagens formais; criação do método e implementação deste em um protótipo como prova de conceito; e realização de estudos de caso com usuários deficientes visuais. Os autômatos finitos da disciplina de Teoria da Computação foram escolhidos como prova de conceito do MannAR dando origem ao MannAR-FA. Como resultados têm-se um modelo de Rede Neural Convolucional que reconhece os tipos de autômatos em imagem (Autômatos Finitos, Autômatos de Pilha e Máquinas de Turing), a Base de imagens digitais de Autômatos, o método MannAR, e o protótipo MannAR-FA. Foram elaborados testes tanto para o método MannAR, como para a ferramenta MannAR-FA. O MannAR obteve um acerto de 72,5% na base de imagens AF80 e quando comparado a trabalhos relacionados obteve um desempenho superior. Relacionado à ferramenta, obteve-se sucesso em testes com usuários reais, nos quais apenas um erro foi relatado. Assim, considera-se o método proposto uma solução com melhor adaptabilidade aos diferentes usuários trazendo benefícios, não só a usuários com deficiência, mas para todos.