@MASTERSTHESIS{ 2019:343936459, title = {Uma abordagem para reconhecimento de emo??o por express?o facial baseada em redes neurais de convolu??o}, year = {2019}, url = "https://tede.ufam.edu.br/handle/tede/7320", abstract = "Desenvolver a percep??o emocional dos computadores ? uma tend?ncia tecnol?gica. O reconhecimento de emo??o comp?e sistemas cognitivos com aplicabilidade em diversas ?reas. A express?o facial ? uma maneira efetiva para reconhecer emo??es, sobretudo por ser menos intrusiva na coleta de dados, quando comparada aos outros m?todos, e pela facilidade de obter imagens da face diante da populariza??o das c?meras. Por meio das express?es faciais ? poss?vel classificar o grupo das emo??es b?sicas (alegria, medo, surpresa, tristeza, desgosto e raiva) e neutralidade. Atualmente, as redes neurais de convolu??o (CNN) tem sido o estado da arte para classifica??o de imagens. Diante desse contexto, esta disserta??o apresenta uma abordagem para reconhecer emo??es por express?o facial utilizando CNN denominada como Single Shot Facial Expression Recognition (SSFER) e o seu uso em um estudo de caso. Inicialmente, um estudo experimental foi realizado para avaliar quatro detectores de faces em bases de express?es faciais e na VOC-2007. O m?todo MMOD-CNN foi o melhor alcan?ando 91.89% de acur?cia. Posteriormente, um outro estudo experimental foi conduzido a fim de comparar cinco arquiteturas de CNNs alternando quatro classificadores na ?ltima camada com intuito de classificar express?es faciais. As CNNs foram: VGGNet, InceptionResNetV2, InceptionV3, MobileNetV2 e ResidualNet, e os classificadores: Softmax, SVM, Random Forest e KNN. A ideia ? que a CNN funcione como um extrator de caracter?sticas enviando um vetor unidimensional para o classificador definir a emo??o. A melhor combina??o foi a VGGNet com SVM alcan?ando 78.95% de acur?cia. Desta forma, a abordagem proposta (SSFER) venceu com uma diferen?a de 9.74% de acur?cia a API da Microsoft Cognitive Services em um compara??o avaliando bases de express?es faciais. De um modo geral, as emo??es alegria e surpresa foram as que tiveram maiores taxas de precis?o. Em contrapartida, as emo??es medo e raiva alcan?aram as menores taxas de precis?o. Um estudo de caso foi executado em um cen?rio real voltado para educa??o digital. Participaram vinte e sete estudantes do ensino m?dio com objetivo de responder um simulado do ENEM em uma plataforma digital. Durante a prova as express?es faciais dos estudantes foram coletadas, assim como, todas as intera??es com a plataforma. Ap?s o simulado, as express?es faciais foram processadas para correlacionar com as intera??es de cliques e desempenho no teste. An?lises de dados sugerem que a neutralidade pode estar relacionada ao estado de concentra??o e que estudantes passam a maior parte do tempo no estado de neutralidade. O estado de surpresa pode ser confundido aos bocejos possibilitando o reconhecimento de sonol?ncia. E os estudantes que alcan?aram as melhores notas no exame foram os que tiveram menor taxa de detec??o de surpresa. Por fim, a abordagem proposta demostrou ser positiva para ser utilizada em aplica??es gerais e, em particular, na educa??o digital.", publisher = {Universidade Federal do Amazonas}, scholl = {Programa de P?s-gradua??o em Inform?tica}, note = {Instituto de Computa??o} }