Big data para apoyar la toma de decisiones en...

24
Hugo Dorado [email protected] Big data para apoyar la toma de decisiones en agricultura Datos Métodos Investigaciones

Transcript of Big data para apoyar la toma de decisiones en...

Page 1: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Hugo Dorado [email protected]

Big data para apoyar la toma de decisiones en

agricultura

DatosMétodos

Investigaciones

Page 2: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Más de 40.000 búsquedas por segundo de google!

6000 tweets por segundo!

1.6 billones de usuarios activos

http://www.internetlivestats.com/

“Hubo 5 exabytes de información creada entre comienzos de la civilización hasta el 2003, pero ahora esa información es creada cada 2 días.” Erick Schmidt, de google

¿Que viene pasando en la agricultura?

Page 4: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

4

A qué necesidad responde?

Qué sembrar, dónde, cómo, cuándo

• Experiencias exitosas• Incentivos• Tendencias-Mercados• Conocimiento de expertos

Diferentes de metodologías de extensión:• Top-Down• Agricultor por agricultor (Asistencias técnica)• Grupos (CropCheck, GTT, ECAs, parcelas demostrativas, benchmarking)

Tradicionalmente las decisiones por agricultores han sido basadas en:

Page 5: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Descubrir señales (combinación de factores) – Metodologías flexibles !!!

+ + =

Clima Suelo Manejo agronómico Productividad

% ? + % ? + %? = A Explicar (100 %)

PARA:

Factores no controlables Factores controlables

Qué proponemos ?

Alto

Bajo

Identificar las características que hace que el rendimiento varíe !!!

Page 6: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Información primaria: capturada a través de diferentes fuentes –Plataforma en línea

Información secundaria : Bases de datos existentes

Análisis

Reporte

CapturaLimpieza, organización, almacenamiento

Interpretación, validación

Divulgación

Motor cuyo combustible son los datos !

Cómo hacerlo? punto de partida

Selección de variables con experto

Transformación

Page 7: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Cómo? - métodos de análisis

Métodos basados en Machine learning

Redes neuronales artificiales (supervisadas, no supervisadas )

Random Forest

Conditional Forest

Regresión lineal múltiple (OLS)

Análisis factoriales (PCA, MCA, CATPCA)

Modelo lineal generalizado (GLM)

Modelos mixtos

Métodos estadísticos tradicionales

Lógica difusa

Page 8: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Casos de estudio

• (Caso 1) Clima, Suelo y Manejo Plátano en Colombia.

• (Caso 2) Suelo y manejo : Maíz en Córdoba

• (Caso 3) Manejo agronómico y Suelo: Banano en Magdalena (Información secundaria)

Page 9: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Plátano

Más de 800 lotes productivos – representando heterogeneidad de condiciones

Kg/sitio

Fre

cue

nci

a –

me

ro d

e lo

tes

Hipótesis

Caso de estudio Plátano en Colombia: Clima, Suelo y Manejo agronómico

Brecha de producción

Page 10: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Análisis factoriales: PCA- CATPCA. Modelos mixtos y BLUPS

Caso de estudio Plátano en Colombia: Clima, Suelo y Manejo agronómico

Productores con las mismas condiciones tenían una gran variación en rendimiento

Suelo y manejo: Caracterizado directamente de los lotes.Cllima: Worldclime

Page 11: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Análisis factoriales: PCA- CATPCA. Modelos mixtos y BLUPS

0,96

2,75

-2,93

1,96

-4,00

-3,00

-2,00

-1,00

0,00

1,00

2,00

3,00

4,00

C1S7 C3S7 C4S3 C4S7

Yie

ld(k

g/p

lan

t/ye

ar)

HEs

Cultivo asociado

Efectos de las zonas homólogasen el modelo mixto

Caso de estudio Plátano en Colombia: Clima, Suelo y Manejo agronómico

¿Vale la pena seguir sembrado dicho cultivo?

Page 12: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

14,6

4,2

-11,5

11,5

1,4 1,6

-2,1

1,7

-7,8

3,8

0,9

-3,2

1,22,9

-3,1

2,1

-15,00

-10,00

-5,00

0,00

5,00

10,00

15,00

20,00

C1S7 C3S7 C4S3 C4S7

Yie

ld(k

g/p

lan

t)

HEs

dominico

harton

mixture

other

Efectos de las variedades en las diferentes zonas homólogas

Cultivo asociado

Modelos mixtos estimación de modelos mixtos

Caso de estudio Plátano en Colombia: Clima, Suelo y Manejo agronómico

Page 13: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

El caso de Maíz en Córdoba – Productividad- FENALCE; Cómo sembrar ?

Temperatura máximatemperatura mínima

Precipitación acumuladaRadiación Solar

Humedad relativa

Clima

SueloManejo

238 eventos ciclos de producción en dos añosTiempo de datos (2014-2015)

Page 14: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Los factores más importantes asociados con la variación en rendimiento de maíz

en Córdoba

R2 = 45.79

Arboles condicionales

Cómo sembrar ? El caso de Maíz en Córdoba - Productividad

Relevance

Escorrentía (Drenaje)

Pendiente

Método de Cosecha

Cantidad total de P

Población a los 20 dias

2014-2015 238

Page 15: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

25 – 30 kg P /ha cantidad apropiada para maiz en Córdoba.

Cantidad de P (kg/ha)

Ren

dim

ien

to(k

g/h

a)

Total amount of P

Población a los 20 días

Re

nd

imie

nto

(kg/

ha) Población a los 20 dias, al menos 65000

plantas/ha in Córdoba

Cómo sembrar ? El caso de Maiz en Córdoba - Productividad

Page 16: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Una agricultura climáticamente inteligente guiada por datos y que complementa conocimiento tradicional

Ambos acercamientos con base en observasiones , el Big Data revela cosas que desconociamos

Conocimiento tradicional – Paquete

tecnológico

Profundidad efectiva suelo > 30 cm

pH 5.5-6.5

Distancia entre plantas 0.17m – 0.2m

Nutrientes requeridos N, P, K, Mg, S

Población a los 20 d: 50000 – 70000 DDE

Control arvenses: al menos 1 control (8 DAS

– 2 DDS)

Control enfermedades: Al menos 1 (10 Días

antes de floración)

Agricultura climáticamente inteligente

guiada por datos ( Big Data -minería de

datos, aprendizaje automático y profundo)

Fósforo total aplicado : 25 - 30 kg /ha

Ploblación a los 20 d: Al menos 65000 DDE

El caso de Maíz Córdoba

Page 17: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Distribuciones de rendimientos observados par los tres subgrupos de manejo enCórdoba- Colombia

Productividad observada (Kg/ha)

me

ro d

e o

bse

rvac

ion

es

Bajo (no implementan ni tradicional ni con base en datos)

Elite ( los que aplicaron con base en datos)

Normal (paquete tradicional )

+ Aprox 1. 7 Tons.ha-1

+ Aprox 2. 5 Tons.ha-1

Cómo sembrar ? El caso de Maiz en Córdoba - Productividad

Page 18: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Random ForestDatos: 2006 – 2010, N = 2188 datos de entrada – Banano de Exportación subgrupo Cavendish

Cobre en el suelo podría ser un factor importante en el peso del racimo

Los elementos de losanálisis de suelo y foliaresrepresentan más del 80% dela variabilidad en el peso delracimo (kg) del bananocomercial.

Igualmente, Sodio en el suelo

Caso de estudio: Banano en Magdalena, manejo agronómico

ppm

Meq/100g

Page 19: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Qué hemos logrado recientemnte?- Socios

capacitados

–Almacenamiento de datos a través de la plataforma AEPS (más de 2000 eventos de maíz y frijol registrados)

–3 personas capacitadas en realizar análisis

– 30 técnicos sensibilizados en el enfoque AEPS y interpretando resultados de análisis

–Compra de un servidor

–Manejo de datos conjunto entre Área técnica y económica

–Bases de datos históricos organizadas para análisis AEPS

–6 personas capacitadas en realizar análisis

– 100 técnicos sensibilizados en el enfoque AEPS y interpretando resultados de análisis

CAMBIOS INSTITUCIONALES.

FENALCE FEDEARROZ

PERSONAL EMPODERADO.

Page 20: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Reconocimiento mundial por el trabajo conjuntoMADR-CIAT-FEDEARROZ

Qué hemos logrado ?- Productores adoptando el enfoque

Mejor iniciativa para adaptación al clima

Page 21: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Qué hemos logrado ?- Publicaciones

http://journals.plos.org/plosone/

Page 22: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

22

Próximos pasos!

Análisis espectrales de la vegetación a través de fotografías áreas.

Satélite: MODISProducto: MOD13Q1Resolución: 250 mFrecuencia: 16 días

Percepción remota para identificar fechas de siembra.

Autonomía 2:30 horasVelocidad máxima 50 [km/h]Altura de vuelo 150 [m]Radiometría 10 [km]Usos

Autonomía 2:30 horasVelocidad máxima 50 [km/h]Altura de vuelo 150 [m]Radiometría 10 [km]Usos

PHANTOM 3 ADVANCED

Arroz en Tolima

Page 23: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

23

Propuestas ciencia + otros actores

Tecnología importada

Agronomía impulsada por los datos(Big Data- minería de datos en Ag- señales)

Años

T h

a

202519XX

Agronomía adaptada a región

Adaptación de tecnología

Oportunidades con Big Data y Agricultura climáticamente inteligente

Minitic y MADR.Agronet, Ridac, UpraCentros de investigación.Universidades

Quienes lo impulsan?

Page 24: Big data para apoyar la toma de decisiones en agriculturaserviciosmadr.minagricultura.gov.co/ridac/PDF/Big data avances CIAT.pdf · que complementa conocimiento tradicional Ambos

Gracias!!!