Ingeniería Informática, Automática y Robótica: Claves para...
Transcript of Ingeniería Informática, Automática y Robótica: Claves para...
![Page 1: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/1.jpg)
Centro de Automática y Robótica Madrid
Ingeniería Informática, Automática
y Robótica:
Claves para la Agricultura del Futuro
Angela Ribeiro 28 de junio de 2016
![Page 2: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/2.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
Situación
La población mundial (2015): 7.300 millones de personas
Cada segundo aumenta en 3 individuos; 250.000 personas por día.
La población mundial (2050): 9.600 millones de personas.
1.000 millones más de bocas que alimentar en 12 años.
Hay que incrementar en un 70% la producción de alimentos.
Objetivo: Producción masiva, reduciendo el consumo de agua y pesticidas.
![Page 3: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/3.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
Concepto agronómico basado en la existencia de variabilidad en campo.
Agricultura de Precisión
Situación
Cómo, dónde y cuándo…
![Page 4: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/4.jpg)
Centro de Automática y Robótica
Visión Artificial
![Page 5: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/5.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
COSECHADORA Recogida de vídeos en
tiempo real - Cámara + DGPS + PC
Mapa riesgo
BIG DATA. Clasificadores. Aprendizaje automático.
SI pH = bajo ^ P ≠ alto ^ K ≠ alto ^ limo ≠ alto ^ arena ≠ bajo
ENTONCES Avena_loca = alto
MUESTREO EN CAMPO
PC portátil+DGPS+GIS
SISTEMAS MULTI-ROBOT
Navegación autónoma
Planificación y supervisión
APEROS INTELIGENTES
Control apertura/cierre
boquillas pulverización
VEHÏCULOA AUTÖNOMOS
Inspección de cultivos.
Detección de plagas
DETECCIÓN EN TIEMPO REAL
Visión artificial- Detección
malas hierbas y líneas de cultivo
![Page 6: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/6.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
Inspección terrestre
![Page 7: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/7.jpg)
Centro de Automática y Robótica
Uso de cámaras de profundidad para la caracterización de cultivos
Inspección terrestre
![Page 8: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/8.jpg)
Centro de Automática y Robótica
Uso de cámaras de profundidad para la caracterización de cultivos
Inspección terrestre
![Page 9: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/9.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
COSECHADORA Recogida de vídeos en
tiempo real - Cámara + DGPS + PC
Mapa riesgo
BIG DATA. Clasificadores. Aprendizaje automático.
SI pH = bajo ^ P ≠ alto ^ K ≠ alto ^ limo ≠ alto ^ arena ≠ bajo
ENTONCES Avena_loca = alto
MUESTREO EN CAMPO
PC portátil+DGPS+GIS
SISTEMAS MULTI-ROBOT
Navegación autónoma
Planificación y supervisión
APEROS INTELIGENTES
Control apertura/cierre
boquillas pulverización
VEHÏCULOA AUTÖNOMOS
Inspección de cultivos.
Detección de plagas
DETECCIÓN EN TIEMPO REAL
Visión artificial- Detección
malas hierbas y líneas de cultivo
![Page 10: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/10.jpg)
Centro de Automática y Robótica 10
Inspección aérea
Adquisición imágenes
Ortorectificación y mosaicado
Detección rodales de malas hierbas
Rodal 1 (x1,y1)
Rodal 3 (x3,y3)
Rodal 2 (x2,y2)
Etiqueta color
![Page 11: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/11.jpg)
Centro de Automática y Robótica
Inspección aérea
Controlador vuelo Controlador visual
Sistema visión
![Page 12: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/12.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
COSECHADORA Recogida de vídeos en
tiempo real - Cámara + DGPS + PC
Mapa riesgo
BIG DATA. Clasificadores. Aprendizaje automático.
SI pH = bajo ^ P ≠ alto ^ K ≠ alto ^ limo ≠ alto ^ arena ≠ bajo
ENTONCES Avena_loca = alto
MUESTREO EN CAMPO
PC portátil+DGPS+GIS
SISTEMAS MULTI-ROBOT
Navegación autónoma
Planificación y supervisión
APEROS INTELIGENTES
Control apertura/cierre
boquillas pulverización
VEHÏCULOA AUTÖNOMOS
Inspección de cultivos.
Detección de plagas
DETECCIÓN EN TIEMPO REAL
Visión artificial- Detección
malas hierbas y líneas de cultivo
![Page 13: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/13.jpg)
Centro de Automática y Robótica
Detección en tiempo real
2.15m
Desplazamientos debidos a la irregularidad del terreno
Traqueteo tractor frames borrosos
Tiempo real, 25 fps 0.04s para procesar cada frame
Detección de línea de cultivo y mala hierba
![Page 14: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/14.jpg)
Centro de Automática y Robótica
Detección de línea de cultivo y mala hierba
![Page 15: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/15.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
COSECHADORA Recogida de vídeos en
tiempo real - Cámara + DGPS + PC
Mapa riesgo
BIG DATA. Clasificadores. Aprendizaje automático.
SI pH = bajo ^ P ≠ alto ^ K ≠ alto ^ limo ≠ alto ^ arena ≠ bajo
ENTONCES Avena_loca = alto
MUESTREO EN CAMPO
PC portátil+DGPS+GIS
SISTEMAS MULTI-ROBOT
Navegación autónoma
Planificación y supervisión
APEROS INTELIGENTES
Control apertura/cierre
boquillas pulverización
VEHÏCULOA AUTÖNOMOS
Inspección de cultivos.
Detección de plagas
DETECCIÓN EN TIEMPO REAL
Visión artificial- Detección
malas hierbas y líneas de cultivo
![Page 16: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/16.jpg)
Centro de Automática y Robótica
Señales de control para las secciones
Cerrar/Abrir secciones
Electrónica Actuación
Percepción
![Page 17: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/17.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica 17
Tratamiento de precisión. Control de aperos
![Page 18: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/18.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
COSECHADORA Recogida de vídeos en
tiempo real - Cámara + DGPS + PC
Mapa riesgo
BIG DATA. Clasificadores. Aprendizaje automático.
SI pH = bajo ^ P ≠ alto ^ K ≠ alto ^ limo ≠ alto ^ arena ≠ bajo
ENTONCES Avena_loca = alto
MUESTREO EN CAMPO
PC portátil+DGPS+GIS
SISTEMAS MULTI-ROBOT
Navegación autónoma
Planificación y supervisión
APEROS INTELIGENTES
Control apertura/cierre
boquillas pulverización
VEHÏCULOA AUTÖNOMOS
Inspección de cultivos.
Detección de plagas
DETECCIÓN EN TIEMPO REAL
Visión artificial- Detección
malas hierbas y líneas de cultivo
![Page 19: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/19.jpg)
Centro de Automática y Robótica
Propone cambiar la forma tradicional de gestión de plagas en agricultura y silvicultura a partir de una flota reconfigurable y heterogénea de robots complementarios que incluye robots aéreos, para realizar la inspección de los cultivos, y robots terrestres con distintos aperos, para llevar a cabo el tratamiento.
Algunos datos
15 entidades; 19 grupos; 8 países; 4 años; 6,59 M€ (financiación CE)
Integrando drones y tractores autónomos
![Page 20: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/20.jpg)
Centro de Automática y Robótica
1. Unidades móviles: Vehículos terrestres autónomos de tamaño medio con el equipo a bordo para la navegación y la aplicación de los tratamientos. Vehículos aéreos hacer la inspección de campo.
2. Sistemas de percepción: Sistemas de detección precisa de malas hierbas, de elementos de guiado y de obstáculos.
3. Sistemas de actuación: Proporciona la actuación directa en el campo para la aplicación precisa de herbicidas o el control mecánico/térmico de malas hierbas Estación Base Gestor de la Misión: Este módulo se divide en el Planificador de
Misión que se encarga de la elaboración de la misión y el Supervisor Misión que se encarga de controlar el funcionamiento de unidades y volver a planificar si es necesario.
Interfaz Gráfica de Usuario (GUI): Interfaz con el usuario que permite seguir el funcionamiento de la flota así como simular su comportamiento.
4. Sistemas de comunicación y localización
Elementos del sistema
![Page 21: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/21.jpg)
Centro de Automática y Robótica
200W Panel Solar
1200 W Pila de combustible
Antenas GPS
Sistema de seguridad
Antena Comunicaciones Camera
Laser sick
Tractores autónomos
![Page 22: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/22.jpg)
Centro de Automática y Robótica
• 2 unidades aéreas (drones) equipadas con cámaras: • Detectar los rodales de mala hierba
• Monitorizar la operación de tratamiento
• Drone AR-200 (AirRobot) – Diámetro: 2,20 m
– Peso (estructura): 4,5 kg
– Peso con una batería de 10Ah: 6,3 kg
– Peso con una batería de16Ah: 7,7 kg
– Máxima carga (batería 10Ah): 3 kg
– Maximum Load (batería 16Ah): 1,6 kg
– Duranción vuelo: 40 minutos
– Rango de la señal: > 5000 m
Los drones
![Page 23: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/23.jpg)
Centro de Automática y Robótica
– Teledetección
– Sistema de percepción tierra
Adquisición imágenes aéreas
Patch 1: (x1, y1)
Patch 2: (x2, y2)
Orto-rectificación y mosaicado
Detección de rodales de mh
Los sistemas de detección
![Page 24: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/24.jpg)
Centro de Automática y Robótica
Barra
Macánica-térmica
Pulverizador árboles
Sistemas de actuación
Cereal
Maíz
Olivos
![Page 25: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/25.jpg)
Centro de Automática y Robótica
La arquitectura del Gestor de Misiones
![Page 26: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/26.jpg)
Centro de Automática y Robótica
Diagrama de estados del Despachador
![Page 27: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/27.jpg)
Centro de Automática y Robótica
Test de funcionamiento
![Page 28: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/28.jpg)
Centro de Automática y Robótica
Test de funcionamiento
![Page 29: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/29.jpg)
Centro de Automática y Robótica
Test de funcionamiento
![Page 30: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/30.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
Comportamiento coordinado
![Page 31: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/31.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
Detección de obstáculos
![Page 32: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/32.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
Interfaz Gráfica de Usuario
![Page 33: Ingeniería Informática, Automática y Robótica: Claves para ...web.fdi.ucm.es/posgrado/conferencias/AngelaRibeiro2016-slides.pdf · Inspección aérea Adquisición imágenes Ortorectificación](https://reader034.fdocuments.es/reader034/viewer/2022050718/5e17407a4363f6120040c010/html5/thumbnails/33.jpg)
Centro de Automática y Robótica Centro de Automática y Robótica
Grupo de Percepción Artificial (GPA)