@MASTERSTHESIS{ 2015:609992520, title = {Infer?ncia de contexto para dispositivos m?veis utilizando aprendizagem por refor?o}, year = {2015}, url = "http://tede.ufam.edu.br/handle/tede/4243", abstract = "Os avan?os das tecnologias de comunica??o sem fio e de hardware impulsionaram a populariza??o do uso de dispositivos m?veis. Cada vez mais, estes dispositivos ganham novos recursos de hardware (i.e., sensores e outros gadgets) e software (e.g., reconhecimento facial, de voz, gestos) a fim de que a intera??o humano-computador ocorra de forma mais natural. Esses recursos deram aos dispositivos m?veis uma capacidade maior de percep??o do ambiente e das condi??es nas quais os usu?rios se encontram, possibilitando o desenvolvimento de aplica??es cada vez mais proativas e sens?veis ao contexto. Um sistema sens?vel ao contexto ? capaz de modificar seu comportamento de acordo com os contextos inferidos do ambiente. Entretanto, interpreta??es err?neas dos dados coletados podem induzir a??es inapropriadas e indesejadas nas aplica??es. Embora exista uma variedade de t?cnicas de infer?ncia na literatura (e.g., regras, ontologias, que utilizam aprendizagem supervisionada e n?o supervisionada), em geral, elas n?o consideram se as infer?ncias foram de fato adequadas para os contextos do usu?rio. Al?m disso, a maioria dessas t?cnicas utiliza modelos est?ticos de infer?ncia (i.e., que n?o s?o capazes de se ajustar ? mudan?as nas condi??es do ambiente), o que representa uma limita??o dessas t?cnicas quando aplicadas ao dom?nio das aplica??es m?veis. Neste trabalho, ? proposta uma nova t?cnica de infer?ncia de contexto para aplica??es m?veis ? chamada de CoRe-RL ? que utiliza aprendizagem por refor?o a fim de que sejam produzidas infer?ncias cada vez mais adequadas aos contextos do usu?rio. Nesta t?cnica, a aprendizagem ocorre de maneira incremental e conforme o usu?rio interage com o sistema, permitindo que a infer?ncia seja ajustada por meio de recompensas (refor?os positivos) e puni??es (refor?os negativos) associadas aos contextos inferidos. Como os contextos est?o continuamente sendo aprendidos, a t?cnica proposta tamb?m permite ?s aplica??es um gerenciamento flex?vel de contextos, ou seja, ? poss?vel que novos contextos (r?tulos) sejam cadastrados e aprendidos ao longo do tempo. O funcionamento da t?cnica ? divido em duas etapas ? classifica??o e adapxiii ta??o. O CoRe-RL utiliza o m?todo dos K vizinhos mais pr?ximos (modificado) na classifica??o. A aprendizagem (adapta??o) ? baseada em exemplos, mas tamb?m faz ajustes sobre os modelos (ranking de caracter?sticas) que ponderam as caracter?sticas mais relevantes de cada contexto, na etapa de classifica??o. Com o intuito de testar e avaliar o desempenho da t?cnica proposta, foi desenvolvido, como estudo de caso deste trabalho, um aplicativo que implementa todas as funcionalidades e recursos do CoRe-RL. Atrav?s deste aplicativo, foram realizados experimentos pr?ticos de avalia??o da classifica??o e adapta??o, em dois cen?rios espec?ficos: no primeiro cen?rio havia um ?nico contexto; e no segundo haviam tr?s. Por meio dos experimentos pr?ticos, observou-se que, de acordo com o limiar de corte usado, ? poss?vel obter bons desempenhos na classifica??o mesmo com uma base pequena e com um ranking pouco ajustado. Al?m disso, demonstrou-se que o CoRe-RL melhora seu desempenho, convergindo para o desempenho ?timo, de acordo com a ocorr?ncia das intera??es.", publisher = {Universidade Federal do Amazonas}, scholl = {Programa de P?s-gradua??o em Inform?tica}, note = {Instituto de Computa??o} }