???item.export.label??? ???item.export.type.endnote??? ???item.export.type.bibtex???

Please use this identifier to cite or link to this item: https://tede.ufam.edu.br/handle/tede/7204
Tipo do documento: Tese
Título: Enabling deaf or hard of hearing accessibility in live theaters through virtual reality
Título(s) alternativo(s): Utilizando realidade virtual para habilitar o acesso aos teatros de pessoas com deficiência auditiva
Autor: Teófilo, Mauro Ricardo da Silva 
Primeiro orientador: Lucena Junior, Vicente Ferreira de
Primeiro membro da banca: Barreto, Raimundo da Silva
Segundo membro da banca: Silva Júnior, Waldir Sabino da
Terceiro membro da banca: Naves, Eduardo Lázaro Martins
Quarto membro da banca: Melo, Paulo Henrique da Fonseca
Resumo: Avanços recentes em Realidade Virtual (RV) fizeram dela uma tecnologia potencial para melhorar o entendimento entre surdos ou pessoas com deficiência auditiva. Com base nisso, este estudo visa estender esses avanços para permitir entretenimento ao vivo, como peças teatrais para pessoas com deficiência auditiva. Inicialmente, este trabalho apresenta uma pesquisa, que aborda alguns achados da pesquisa a respeito de acessibilidade utilizando sistemas de realidade virtual e aumentada, desde 1996 até os dias de hoje, e áreas como autismo, reabilitação motora, doença de Parkinson e inclusão para pessoas com deficiência auditiva. Após essa revisão inicial é apresentada uma solução em detalhes, que é um serviço de acessibilidade para habilitar acesso ao teatro ao vivo para surdos ou pessoas com deficiência auditiva, com o objetivo de ser uma solução concreta projetada para trazer acessibilidade usando tecnologia de realidade virtual combinada com reconhecimento automático de fala, previsão de frases e correção de fala para geração de textos e legendas em linguagem de sinais. Para avaliar a eficiência deste método, realizou-se um estudo quantitativo e qualitativo, cujos resultados mostraram que os espectadores alvo tinham um bom entendimento de todas as peças teatrais avaliadas e também uma boa satisfação com o método proposto. Os melhores resultados estão relacionados à legenda em texto. Em relação à legenda em língua de sinais, é uma tecnologia promissora, mas é necessário um grande esforço para iniciar o estabelecimento de um padrão para exibição em dispositivo de realidade virtual ou aumentada. Outra contribuição principal deste trabalho é apresentar os procedimentos e seus resultados executados avaliando a integração do reconhecimento automático de fala e correção de fala baseado na predição semântica. Cinco conjuntos de dados foram submetidos a dois diferentes sistemas de reconhecimento automático de fala e seus resultados ao módulo de correção de fala, considerando três grupos de pares para observar os erros semânticos e sintáticos apresentados pelos módulos, bem como seu desempenho sob diferentes configurações representativas de possíveis cenários de peças teatrais reais. Os sistemas de reconhecimento automático de fala apresentaram um erro de 50%, em média, quando aplicados ao áudio de uma reprodução real. O módulo de semelhança semântica apresentou um erro médio de 18% nas sentenças não modificadas pelo sistema de reconhecimento automático de fala. No entanto, a saída do módulo de similaridade semântica é afetada pelo erro introduzido pelos sistema de reconhecimento automático de fala. A correção de fala baseada na semelhança semântica apresentaria menos erros do que a sintaticamente.
Abstract: Recent advancements in Virtual Reality (VR) have made them a potential technology to improve understanding between Deaf or Hard of Hearing (DHH) and hearing people. Based on that, this study aims to extend these advances to enable live entertainment like theater plays to DHH people. At first, this work presents a survey, which covers some findings of the accessibility research using virtual and augmented reality systems, ranging years from 1996 to nowadays, and fields such as children, autism, motor rehabilitation, Parkinson disease, and inclusion for the impaired. After this initial review, it’s presented one solution in details, which is a live theater accessibility service for the deaf and hard of hearing people, aiming to be a concrete solution designed to bringing accessibility using virtual reality technology combined with Automatic Speech Recognition (ASR), Sentence Prediction and Speech Correction to generate text and sign language subtitling. In order to evaluate this method efficiency, a quantitative and qualitative study were performed and results showed that DHH spectators had good understanding of all evaluated theater plays and also good satisfaction using the proposed method. The best results are related to text subtitling. Regarding sign language subtitling, it is a promising technology, but a huge effort is necessary to start a standard for displaying definition in virtual or augmented reality device. Other main contribution of this work is to present the procedures and its results executed to evaluate the integration of ASR and Speech Correction based on Semantic Similarity of a solution designed to bring accessibility to DHH People in live theaters. Five datasets were submitted to two different ASRs and its outputs to the module of Speech Correction considering three groups of pairs to observe the semantic and syntactic errors presented by the modules as well as its performance under different configurations representative of possible scenarios of actual theatrical plays. The ASRs presented an error of 50% in average when applied to the audio of an actual play. The module for semantic similarity presented an average error of 18% on sentences not modified by the ASR. However, the output of the Semantic Similarity module is affected by the error introduced by the ASRs. Speech Correction based on Semantic Similarity would present less error than Syntactically based.
Palavras-chave: Realidade virtual
Acessibilidade
Distúrbios da audição
Área(s) do CNPq: CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO: SISTEMAS DE COMPUTAÇÃO
Idioma: eng
País: Brasil
Instituição: Universidade Federal do Amazonas
Sigla da instituição: UFAM
Departamento: Instituto de Computação
Programa: Programa de Pós-graduação em Informática
Citação: TEÓFILO, Mauro Ricardo da Silva. Enabling deaf or hard of hearing accessibility in live theaters through virtual reality. 2019. 105 f. Tese (Doutorado em Informática) - Universidade Federal do Amazonas, Manaus, 2019.
Tipo de acesso: Acesso Aberto
Endereço da licença: http://creativecommons.org/licenses/by/4.0/
URI: https://tede.ufam.edu.br/handle/tede/7204
Data de defesa: 12-Apr-2019
Appears in Collections:Doutorado em Informática

Files in This Item:
File Description SizeFormat 
Tese_MauroTeófilo_PPGI.pdf12,99 MBAdobe PDFThumbnail

Download/Open Preview


This item is licensed under a Creative Commons License Creative Commons