Corre˘c~ao de Perspectiva aplicado a Navega˘c~ao aut^onoma ... · Corre˘c~ao de Perspectiva...
1
Corre¸ c˜ ao de Perspectiva aplicado ` a Navega¸ c˜ ao autˆ onoma de VANTs atrav´ es de imagens Brayan Acevedo Jaimes 1 - Frank S. Torres 2 - Cristiano L. Castro 3 - Antˆ onio P. Braga 4 - ´ Elcio Hideiti Shiguemori 5 1 [email protected] 2 [email protected] 3 [email protected] 4 [email protected] 5 [email protected] 1-4 Programa de P´ os-Gradua¸c˜ ao em Engenharia El´ etrica - Universidade Federal de Minas Gerais - Belo Horizonte, MG, Brasil 5 Instituto de Estudos Avan¸cados - S˜ ao Jos´ e dos Campos, SP, Brasil Introdu¸ c˜ ao Imagens a´ ereas capturadas por v´ ıdeo cˆ amera em tempo real s˜ao comparadas com imagens georreferen- ciadas previamente embarcadas dentro da aeronave, para estimar a posi¸c˜ ao atual na regi˜ ao sobrevoada. Esta t´ ecnica ´ e conhecida como Casamento de Imagens, onde a posi¸c˜ ao atual ´ e estimada mediante a uniformiza¸ c˜ao das imagens via extra¸ c˜ao de bordas para depois calcular o maior grau de correla¸c˜ ao espacial e dessa forma definir a posi¸c˜ ao da aeronave. O casamento de imagens visa encontrar uma boa precis˜ ao na correspondˆ encia entre imagens (cˆ amera do VANT e imagem georreferenciada) com a mesma cena, capturadas em tempos diferentes. Al´ em disso, a posi¸c˜ ao e resolu¸ c˜aodacˆ amera faz que a imagem apresente distor¸ c˜ao e efeitos de perspectiva que afetam diretamente a estima¸c˜ ao da posi¸c˜ ao do VANT. De modo que as caracter´ ısticas de imagens a´ ereas com distor¸c˜ ao n˜ ao conseguem representar com precis˜ao a posi¸ c˜ao que esta sendo imageada. Considerando os problemas anteriormente mencionados, este trabalho apresenta os resultados da estima¸c˜ ao de posi¸c˜ ao de VANTs sobre um voo real aplicando a t´ ecnica de Casamento de Imagens e Corre¸ c˜ao de Perspectiva. Imagens capturadas por VANTs geralmente n˜ ao possuem visada nadir devido ao tipo de cˆamera acoplado, manobras de virada ou perturba¸c˜ oes no ambiente. Como solu¸c˜ ao, ´ e proposto um m´ etodo param´ etrico, que utiliza o conhecimento pr´ evio dos ˆangulos de inclina¸ c˜aoda aeronave, fornecidos pelos sensores inerciais da mesma. Estos ˆ angulos conformam os parˆ ametros de rota¸c˜ ao na matriz homogr´ afica H, que tamb´ em esta constitu´ ıda por parˆametros intr´ ınsecos da cˆamera. A maior contribui¸ c˜ao deste trabalho´ e que o m´ etodo toma como referˆ encia a informa¸ c˜aodosˆangulos de inclina¸ c˜ao do VANT para definir a homografia sem a necessidade de definir pontos de controle (Ground Control Points) ou utilizar outra imagem como referencia. Portanto, a metodologia ´ e inde- pendente da imagem e n˜ ao requer nenhum processo de identifica¸c˜ ao de padr˜oes nela. Os resultados obtidos mostram que o m´ etodo exige curto tempo de processamento na corre¸ c˜ao projetiva da imagem sendo, portanto, fact´ ıvel de ser implementado em condi¸ c˜oes reais de voo. Al´ em disso os resultados na estima¸c˜ ao de posi¸ c˜ao tiveram uma melhora pois o erro de estima¸c˜ ao foi reduzido. Objetivos • Melhorar a estima¸ c˜ao de posi¸ c˜ao em VANTs atrav´ es de imagens. • Garantir uma boa correspondˆ encia entre imagens (cˆ amera do VANT e imagem georreferenciada). • Dar maior robustez e precis˜ao na corre¸ c˜ao de perspectiva nas imagens Capturadas por VANTs. Metodologia O processo geral de retifica¸ c˜ao da imagem capturada pelo VANT ´ e mostrado na Figura 1(a). Este est´ a composto inicialmente pela leitura da imagem distorcida junto com os ˆangulos de inclina¸ c˜aodo VANT e os parˆ ametros da cˆamera. Depois,´ e calculada a matriz de rota¸c˜ ao e a matriz que define os parˆ ametros intr´ ınsecos da cˆ amera. Com isso, ´ e obtida a matriz homogr´ afica e por fim ´ e aplicada a transforma¸c˜ ao projetiva sobre a imagem para corrigir a distor¸c˜ ao geom´ etrica nela. (a)Corre¸c˜ ao de perspectiva. (b) Casamento de Imagens Figura 1: MetodologiaparaNavega¸c˜aoautˆ onoma de VANTs a trav´ es de imagens. Em seguida, a imagem capturada pelo VANT j´a corrigida´ e procurada sobre a imagem georreferen- ciada e posteriormente, calculou-se a diferen¸ca em metros com respeito ` aposi¸c˜ ao (latitude, longitude) que foi identificada e estimada sobre a imagem georreferenciada. A extra¸ c˜ao de caracter´ ısticas em cada imagem ´ e feita a trav´ es da extra¸ c˜ao de bordas utilizando o operador Canny. Isto com a fina- lidade de reduzir as diferen¸cas de ilumina¸c˜ ao entre elas. Uma vez que as duas imagens com bordas foram extra´ ıdas, ´ e calculada a matriz de correla¸c˜ ao espacial entre pixeis, onde ´ e identificado o ponto m´ aximo da matriz que indica a maior correla¸c˜ ao na compara¸c˜ ao entre as imagens (sub-regi˜ao e ge- orreferenciada). Esse ponto m´ aximo ser´ a definido como o pixel central que comp˜ oe o novo padr˜ao identificado que da a posi¸ c˜aogeogr´aficadoVANTeainforma¸c˜ ao de latitude e longitude estimada na imagem georreferenciada. Na figura 1(b) ´ e mostrado o procedimento de reconhecimento de padr˜ oes e aestima¸c˜aodeposi¸ c˜ao feita para cada uma das imagens que foram capturadas pelo VANT. Resultados Foram simulados v´arios trechos de rota sobre uma mesma regi˜ ao que, s˜ao mostrados a seguir. A Lati- tude e longitude real em vermelho, a latitude e longitude estimada com nossa metodologia ´ e mostrada em cor amarelo e em cor verde ´ e mostrado a estima¸c˜ ao de posi¸c˜ ao sem corre¸ c˜ao de perspectiva, onde s´ o o ajuste de rota¸c˜ ao foi feito. (a) Rota 1. (b) Rota 2. Figura 2: Resultado de simula¸ c˜ ao de cen´arios. (a) Rota 1. (b) Rota 2. Figura 3: Distˆ ancias obtidas por imagens aplicando corre¸ c˜ao de perspectiva e rota¸c˜ ao. M´ etodo Distˆ ancia m´ edia Desvio padr˜ ao Variˆ ancia FP(%) VP(%) Corre¸c˜ ao de perspectiva 36.0447 20.2698 410.8649 0 100 % Rota¸c˜ ao 50.0113 25.6991 660.4414 2.8571 % 97.1428 % Tabela 1: Desempenho da aplica¸ c˜aodeCorre¸c˜ ao de perspectiva vs. rota¸ c˜ ao para estima¸c˜ ao de posi¸c˜ ao na rota 1 M´ etodo Distˆ ancia m´ edia Desvio padr˜ ao Variˆ ancia FP(%) VP(%) Corre¸c˜ ao de perspectiva 42.8718 11.0206 121.4536 0 100 % Rota¸c˜ ao 49.0536 26.5257 703.6140 2.8571 % 97.1428 % Tabela 2: Desempenho da aplica¸ c˜aodeCorre¸c˜ ao de perspectiva vs. rota¸ c˜ ao para estima¸c˜ ao de posi¸c˜ ao na rota 2 Conclus˜ oes • A metodologia implementada na corre¸c˜ ao de perspectiva demostrou ser independente das carac- ter´ ısticas da imagem. Portanto, o processo n˜ ao ´ e afetado por mudan¸cas espectrais ou f´ ısicas pre- sentes nas imagens devido `a utiliza¸c˜ ao da informa¸c˜ ao dos ˆ angulos de inclina¸c˜ ao do VANT como referencia e ` autiliza¸c˜aodosparˆametrosintr´ ınsecos da cˆ amera para definir a homografia e fazer a transforma¸c˜ ao projetiva nas imagens. • Os resultados mostraram que quando foi aplicada a corre¸c˜ ao de perspectiva na estima¸ c˜aodeposi¸c˜ ao, esta melhorou pois fornece posi¸c˜ oes mais precisas e com menor distˆ ancia de separa¸c˜ ao comparado com a posi¸ c˜ao real. Tamb´ em apresenta uma menor variabilidade entre estima¸ c˜oes. • Em conclus˜ ao, no processo de navega¸c˜ ao autˆ onoma de VANTs atrav´ es de imagens, a corre¸ c˜aode perspectiva aplicada `as imagens capturadas pela aeronave obtiveram melhores resultados compa- rado com a aplica¸c˜ ao de apenas a rota¸c˜ ao de imagens. Isto porque a corre¸c˜ ao de perspectiva melhora a percep¸ c˜ao da imagem e o ajuste de rota¸ c˜ao ao longo dos trˆ es ˆ angulos de inclina¸c˜ ao do VANT (Yaw, Pitch, Roll). Em contrapartida, a rota¸c˜ ao resulta ser mais limitada pois o ajuste ´ efeitos´o no angulo Yaw. Referˆ encias [1] Gianpaolo Conte and Patrick Doherty. An integrated UAV navigation system based on aerial image matching. Proceedings of the IEEE Aerospace Conference, pages 1–10, 2008. [2] R. I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, ISBN: 0521623049, 2000. [3]Euler Horta, E. H Shiguemori, H. F. C. Velho, and A. P. Braga. Extra¸ c˜ao de caracter´ ısticas e casamento de padr˜ oes aplicados ` aestima¸c˜ ao de posi¸c˜ ao de um VANT. Congresso Brasileiro de Autom´ atica, 1:5045–5050, 2012. [4] Brayan Acevedo Jaimes, Cristiano Leite de Castro, and Frank Sill Torres. CORREC ¸ ˜ AO DE PERS- PECTIVA EM IMAGENS APLICADA ` A NAVEGAC ¸ ˜ AO AUT ˆ ONOMA DE VANTs. V.1:103–110, May 2016. Agradecimentos Ao IEAV e ao projeto PITER pelo banco de imagens fornecido.
Transcript of Corre˘c~ao de Perspectiva aplicado a Navega˘c~ao aut^onoma ... · Corre˘c~ao de Perspectiva...
Correcao de Perspectiva aplicado a Navegacaoautonoma de VANTs atraves de imagensBrayan Acevedo Jaimes1 - Frank S. Torres2 - Cristiano L. Castro3 - Antonio P. Braga4 - Elcio Hideiti Shiguemori5
[email protected] [email protected] [email protected] [email protected] [email protected]−4Programa de Pos-Graduacao em Engenharia Eletrica - Universidade Federal de Minas Gerais - Belo Horizonte, MG, Brasil5Instituto de Estudos Avancados - Sao Jose dos Campos, SP, Brasil
Introducao
Imagens aereas capturadas por vıdeo camera em tempo real sao comparadas com imagens georreferen-ciadas previamente embarcadas dentro da aeronave, para estimar a posicao atual na regiao sobrevoada.Esta tecnica e conhecida como Casamento de Imagens, onde a posicao atual e estimada mediantea uniformizacao das imagens via extracao de bordas para depois calcular o maior grau de correlacaoespacial e dessa forma definir a posicao da aeronave. O casamento de imagens visa encontrar umaboa precisao na correspondencia entre imagens (camera do VANT e imagem georreferenciada) coma mesma cena, capturadas em tempos diferentes. Alem disso, a posicao e resolucao da camera fazque a imagem apresente distorcao e efeitos de perspectiva que afetam diretamente a estimacao daposicao do VANT. De modo que as caracterısticas de imagens aereas com distorcao nao conseguemrepresentar com precisao a posicao que esta sendo imageada.
Considerando os problemas anteriormente mencionados, este trabalho apresenta os resultados daestimacao de posicao de VANTs sobre um voo real aplicando a tecnica de Casamento de Imagense Correcao de Perspectiva. Imagens capturadas por VANTs geralmente nao possuem visada nadirdevido ao tipo de camera acoplado, manobras de virada ou perturbacoes no ambiente. Como solucao,e proposto um metodo parametrico, que utiliza o conhecimento previo dos angulos de inclinacao daaeronave, fornecidos pelos sensores inerciais da mesma. Estos angulos conformam os parametros derotacao na matriz homografica H, que tambem esta constituıda por parametros intrınsecos da camera.A maior contribuicao deste trabalho e que o metodo toma como referencia a informacao dos angulosde inclinacao do VANT para definir a homografia sem a necessidade de definir pontos de controle(Ground Control Points) ou utilizar outra imagem como referencia. Portanto, a metodologia e inde-pendente da imagem e nao requer nenhum processo de identificacao de padroes nela. Os resultadosobtidos mostram que o metodo exige curto tempo de processamento na correcao projetiva da imagemsendo, portanto, factıvel de ser implementado em condicoes reais de voo. Alem disso os resultados naestimacao de posicao tiveram uma melhora pois o erro de estimacao foi reduzido.
Objetivos
• Melhorar a estimacao de posicao em VANTs atraves de imagens.
• Garantir uma boa correspondencia entre imagens (camera do VANT e imagem georreferenciada).
• Dar maior robustez e precisao na correcao de perspectiva nas imagens Capturadas por VANTs.
Metodologia
O processo geral de retificacao da imagem capturada pelo VANT e mostrado na Figura 1(a). Esteesta composto inicialmente pela leitura da imagem distorcida junto com os angulos de inclinacao doVANT e os parametros da camera. Depois, e calculada a matriz de rotacao e a matriz que define osparametros intrınsecos da camera. Com isso, e obtida a matriz homografica e por fim e aplicada atransformacao projetiva sobre a imagem para corrigir a distorcao geometrica nela.
(a) Correcao de perspectiva. (b) Casamento de Imagens
Figura 1: Metodologia para Navegacao autonoma de VANTs a traves de imagens.
Em seguida, a imagem capturada pelo VANT ja corrigida e procurada sobre a imagem georreferen-ciada e posteriormente, calculou-se a diferenca em metros com respeito a posicao (latitude, longitude)que foi identificada e estimada sobre a imagem georreferenciada. A extracao de caracterısticas emcada imagem e feita a traves da extracao de bordas utilizando o operador Canny. Isto com a fina-lidade de reduzir as diferencas de iluminacao entre elas. Uma vez que as duas imagens com bordasforam extraıdas, e calculada a matriz de correlacao espacial entre pixeis, onde e identificado o pontomaximo da matriz que indica a maior correlacao na comparacao entre as imagens (sub-regiao e ge-orreferenciada). Esse ponto maximo sera definido como o pixel central que compoe o novo padraoidentificado que da a posicao geografica do VANT e a informacao de latitude e longitude estimada naimagem georreferenciada. Na figura 1(b) e mostrado o procedimento de reconhecimento de padroes ea estimacao de posicao feita para cada uma das imagens que foram capturadas pelo VANT.
Resultados
Foram simulados varios trechos de rota sobre uma mesma regiao que, sao mostrados a seguir. A Lati-tude e longitude real em vermelho, a latitude e longitude estimada com nossa metodologia e mostrada
em cor amarelo e em cor verde e mostrado a estimacao de posicao sem correcao de perspectiva, ondeso o ajuste de rotacao foi feito.
(a) Rota 1. (b) Rota 2.
Figura 2: Resultado de simulacao de cenarios.
(a) Rota 1. (b) Rota 2.
Figura 3: Distancias obtidas por imagens aplicando correcao de perspectiva e rotacao.
Metodo Distancia media Desvio padrao Variancia FP(%) VP(%)
Correcao de perspectiva 36.0447 20.2698 410.8649 0 100 %Rotacao 50.0113 25.6991 660.4414 2.8571 % 97.1428 %
Tabela 1: Desempenho da aplicacao de Correcao de perspectiva vs. rotacao para estimacao de posicao na rota 1
Metodo Distancia media Desvio padrao Variancia FP(%) VP(%)
Correcao de perspectiva 42.8718 11.0206 121.4536 0 100 %Rotacao 49.0536 26.5257 703.6140 2.8571 % 97.1428 %
Tabela 2: Desempenho da aplicacao de Correcao de perspectiva vs. rotacao para estimacao de posicao na rota 2
Conclusoes
• A metodologia implementada na correcao de perspectiva demostrou ser independente das carac-terısticas da imagem. Portanto, o processo nao e afetado por mudancas espectrais ou fısicas pre-sentes nas imagens devido a utilizacao da informacao dos angulos de inclinacao do VANT comoreferencia e a utilizacao dos parametros intrınsecos da camera para definir a homografia e fazer atransformacao projetiva nas imagens.
• Os resultados mostraram que quando foi aplicada a correcao de perspectiva na estimacao de posicao,esta melhorou pois fornece posicoes mais precisas e com menor distancia de separacao comparadocom a posicao real. Tambem apresenta uma menor variabilidade entre estimacoes.
• Em conclusao, no processo de navegacao autonoma de VANTs atraves de imagens, a correcao deperspectiva aplicada as imagens capturadas pela aeronave obtiveram melhores resultados compa-rado com a aplicacao de apenas a rotacao de imagens. Isto porque a correcao de perspectiva melhoraa percepcao da imagem e o ajuste de rotacao ao longo dos tres angulos de inclinacao do VANT(Yaw, Pitch, Roll). Em contrapartida, a rotacao resulta ser mais limitada pois o ajuste e feito sono angulo Yaw.
Referencias
[1] Gianpaolo Conte and Patrick Doherty. An integrated UAV navigation system based on aerial imagematching. Proceedings of the IEEE Aerospace Conference, pages 1–10, 2008.
[2] R. I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. CambridgeUniversity Press, ISBN: 0521623049, 2000.
[3] Euler Horta, E. H Shiguemori, H. F. C. Velho, and A. P. Braga. Extracao de caracterısticas ecasamento de padroes aplicados a estimacao de posicao de um VANT. Congresso Brasileiro deAutomatica, 1:5045–5050, 2012.
[4] Brayan Acevedo Jaimes, Cristiano Leite de Castro, and Frank Sill Torres. CORRECAO DE PERS-PECTIVA EM IMAGENS APLICADA A NAVEGACAO AUTONOMA DE VANTs. V.1:103–110,May 2016.
Agradecimentos
Ao IEAV e ao projeto PITER pelo banco de imagens fornecido.
