???jsp.display-item.social.title??? |
|
Please use this identifier to cite or link to this item:
https://tede.ufam.edu.br/handle/tede/8877
???metadata.dc.type???: | Dissertação |
Title: | Abordagens adversariais para explicação de imagens em redes neurais profundas |
???metadata.dc.creator???: | Junior, Antonio Jose Sobrinho |
???metadata.dc.contributor.advisor1???: | Cristo, Marco Antônio Pinheiro de |
???metadata.dc.contributor.referee1???: | Dalip, Daniel Hasan |
???metadata.dc.contributor.referee2???: | Santos, Eulanda Miranda dos |
???metadata.dc.description.resumo???: | O uso de modelos de previsão cada vez mais complexos tem se tornado comum em uma variedade de aplicações. Em muitas delas, a opacidade destes modelos representa um desafio na detecção de vícios ou injustiças relacionados ao processo decisório, o que pode contribuir para as percepção de desconfiança e discordância quanto aos fatores determinantes para os resultados, impactando o entendimento de seus usuários, principalmente quando estes modelos são usados como base para decisões consideradas críticas ou sensíveis. Tal desafio motiva o desenvolvimento de estratégias de explicação globais (por que o modelo toma certas decisões?) e locais (por que o modelo toma certas decisões para uma certa instância?). Nesta última, devido à complexidade da superfície de decisão obtida por modelos complexos, têm sido comum adotar análise de vizinhança com amostras sinteticamente geradas para (a) buscar a superfície de separação mais próxima, (b) isolar as características e (c) fornecer explicações que sustentem a amostra sintética de interesse (alvo de explicação) nesta região do plano. Neste trabalho propomos abordagens que combinam a utilização dos conceitos de modelos adversariais com o objetivo de explicação de instâncias. Partimos da suposição de que uma instância adversarial é um bom ponto de partida para a análise do menor esforço necessário para uma transição entre classes. Com base nisso, propomos meios de melhorar esta descrição inicial para que ela seja vista como mais apropriada pelo usuário para a qual a explicação é dada. Ao fim, a explicação consiste de uma descrição da sensibilidade dos atributos para a decisão tomada por um modelo complexo. As explicações fornecidas por nossos métodos para justificar classes incorretamente fornecidas, por uma CNN, para digitos manuscritos da coleção MNIST, foram avaliadas por usuários em testes cegos. Estes as consideraram significativamente melhores, em 68 a 74% dos casos, que as fornecidas por outros dois baselines da literatura, um dos quais também baseado em uma estratégia adversarial. |
Abstract: | Complex machine learning models have been increasingly adopted due its range of well-succeded applications. In many applications, the poor knowledge on the inside aspects of a complex model represents a challenge in detecting biases or injustices related to the decision-making process. That might directly affect the confidence on the model so its results may be considered not reliable, which can be risky when such models are responsible for critical or sensitive decisions. These problems motivate the development of methods to explain the reasons behind its decisions in a global (“Why did this model make this decision?”) or local (“Why was this category assigned to this sample?”) fashion. In this work, we focus on the local explanation problem. Given the complexity of the decision boundary on complex models, e.g. deep neural networks, it has been common to adopt explanation approaches based on neighborhood analysis, to specify the unique features and sensitivity of a sample in comparison to a neighbor class. The idea behind these approches is to find the closest separation surface which supports the samples we want to explain. Since many adversarial techniques explore this same region to fool machine learning models, it may be possible to use similar ideas to explain a class transition of a sample in terms of feature importance. Thus, in this work, we propose an approach that combines adversarial model concepts with instance explaining requirements. We asssume that an adversarial instance is a good starting point to estimate the minimum effort for a class transition. Then, we propose ways to improve this initial description to obtain one that is more suitable for users according to their perception. By means of blind tests, users have evaluated the explanations provided by our methods for justifying errors of a CNN when used to classify images of the MNIST dataset. In 68 to 74% of the judments, they considered the provided explanations significantly better than those provided by two other baselines published in the literature, one of which is also based on an adversarial strategy. |
Keywords: | Fast Gradient Sign Method Rede Neural Profunda MJSMA-SVM Strategy Deep Neural Network Explicador Baseado em Regras |
???metadata.dc.subject.cnpq???: | CIÊNCIAS EXATAS E DA TERRA: CIÊNCIA DA COMPUTAÇÃO |
???metadata.dc.subject.user???: | Explicação Aprendizagem de Máquina Modelos Complexos Superfície de Separação Amostras Adversariais |
Language: | por |
???metadata.dc.publisher.country???: | Brasil |
Publisher: | Universidade Federal do Amazonas |
???metadata.dc.publisher.initials???: | UFAM |
???metadata.dc.publisher.department???: | Instituto de Computação |
???metadata.dc.publisher.program???: | Programa de Pós-graduação em Informática |
Citation: | JUNIOR, Antonio Jose Sobrinho. Abordagens adversariais para explicação de imagens em redes neurais profundas. 2021. 84 f. Dissertação (Mestrado em Informática) - Universidade Federal do Amazonas, Manaus, 2021. |
???metadata.dc.rights???: | Acesso Aberto |
???metadata.dc.rights.uri???: | http://creativecommons.org/licenses/by/4.0/ |
URI: | https://tede.ufam.edu.br/handle/tede/8877 |
Issue Date: | 20-Aug-2021 |
Appears in Collections: | Mestrado em Informática |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Dissertação_AntonioSobrinho_PPGI.pdf | Dissertação_AntonioSobrinho_PPGI | 7.31 MB | Adobe PDF | Download/Open Preview |
This item is licensed under a Creative Commons License