MEMORIA-RESUMEN DE TRABAJOS REALIZADOS

Alumno: IBRAHIM ESPINO MARTÍN Tutor: FRANCISCO MARIO HERNÁNDEZ TEJERA

Tesis: Integración de técnicas estadísticas, numéric as y de inteligencia artificial para la predicción eólica en configuraciones de par ques eólicos geográficamente cercanos. Caso de la isla de Gran C anaria.

Memoria

Durante el curso 2009/2010, el alumno realizó el máster oficial “Sistemas Inteligentes y Aplicaciones Numéricas en Ingeniería” donde se familiarizó con los conceptos y herramientas relacionadas con la problemática de la generación, producción e integración de la energía eólica en la isla de Gran Canaria. Como resultado de este proceso, se obtuvo el trabajo de fin de máster “Estudio y Análisis Estadístico del Comportamiento del Viento de la Zona Sureste de Gran Canaria con un Enfoque a la Predicción” donde se analizaban las características ambientales y factores climáticos propios de la zona de estudio donde se integraría una futura herramienta de predicción de energía eólica. Ese trabajo supuso un punto de partida para la futura tesis que se desarrollará en el programa de doctorado ya que en ella se citaban las restricciones existentes y condiciones iniciales del sistema a desarrollar en base a la información de la que se dispone. De esta forma, se limitó la solución de la predicción eólica en Gran Canaria al uso de un conjunto de herramientas estadísticas, dadas por la bibliografía encontrada, dado que sólo se disponía de datos de la velocidad y dirección del viento a pocas alturas.

Métodos de referencia Tras una larga revisión de la bibliografía existente sobre métodos predictivos de energía

eólica, encontramos que las técnicas más citadas y empleadas son el modelo de persistencia, el modelo autorregresivo, el modelo autorregresivo de medias móviles, las redes neuronales recurrentes y la regresión mediante vectores soporte. Modelo de persistencia (PRS) El método de persistencia es el más simple de los modelos de predicción, de hecho, es conocido como “predictor simple”. Se basa en asumir la fuerte inercia del modelo físico en que éste subyace. Si y(t) es un valor dado en un instante t de una serie temporal, en el método de persistencia el valor predicho para un tiempo k es ���� � �� � ���� Es considerado un modelo de referencia difícil de superar para valores pequeños de k. Modelo autorregresivo (AR) Un método predictivo autorregresivo es sencillamente una regresión lineal que intenta reconstruir series temporales suponiendo que el actual valor de y(t) depende de recientes valores anteriores de y(t-i) y una componente aleatoria η(t) de media cero y varianza constante. Formalmente,

���� � ������ ������ � ��

donde p es el orden del modelo autorregresivo, φi los parámetros de configuración y c una constante relacionada con la media del proceso. El orden p se identifica mediante la función de autocorrelacion (ACF) y la función parcial de autocorrelación (PACF) utilizando los criterios de información Bayesianos (BIC) y los de Akaike de forma complementaria. La estimación inicial de los valores parámetros de φi se obtiene calculando las medias de las ecuaciones de Yule-Walker que pueden ser mejoradas a posteriori, mediante procesos algorítmicos. Por lo tanto, una vez identificado el orden y los valores de los parámetros del modelo podemos pronosticar el valor predicho para un momento lejano k gracias a sucesivas iteraciones, desde ���� � 1� hasta ���� � �). Matemáticamente se describe como

���� � �� ������� � � ������

Por simplificación, se asume una constante c igual a cero y la esperanza de η(t). Modelo autorregresivo de medias móviles (ARMA) Se trata de una mejora del modelo autorregresivo. La predicción de este modelo no sólo depende de los valores obtenidos en un pasado más o menos reciente, de acuerdo a su componente autorregresivo, sino que también depende de los residuos de predicciones pasadas. La expresión matemática del modelo general ARMA(p,q) que se aplica a las series es la siguiente:

���� � ������ ������ ������ ���

���

donde p y φi son el orden y los parámetros de la componente autorregresiva respectivamente y, q y θi el orden y los parámetros de la componente de medias móviles. En resumen, la construcción de este modelo consiste en identificar los índices p y q de los modelos, determinar los parámetros φi y θi contenidos en los mismos y, finalmente, validarlos. La predicción de ���� � �� se calcula de la misma manera que en el modelo AR incluyendo la predicción de �̂�� � ��.

���� � �� ������� � � ������ ����̂�� � � ���

���

Redes neuronales recurrentes (RNN) Las redes neuronales recurrentes (RNN, Recurrent Neural Networks) son sistemas dinámicos, tanto lineales como no lineales, de tiempo continuo y/o discreto que pueden ser usados como memorias asociativas o como sistemas de mapeo de secuencias. Un ejemplo de arquitectura general de una RNN se muestra en la figura 1.

Figura 1. Arquitectura de RNN. Este modelo corresponde con una Red Recurrente Completamente Conectada (FRNN) que se caracteriza debido a que sus neuronas reciben como entrada la activación del resto de las neuronas de la red así como su propia activación. Por tanto, si ai(t) representa la activación de la neurona i en el instante t, su valor viene dado por la ecuación

donde fi es la función de activación, A es el conjunto de entrada de las neuronas, B el resto de las neuronas y wij representa el peso de conexión de la neurona j a la neurona i. Se supone que todas las neuronas de la red se conectan entre todas aunque podría haber ciertas restricciones. Los pesos de las conexiones de una FRNN no son estáticos sino que se fijan según un método adaptivo y de aprendizaje denominado entrenamiento. Existen dos métodos principales de entrenamiento: Back-Propagation Through Time y Real-Time Recurrent Learning. Regresión mediante vectores soporte (SVR) El método de regresión mediante vectores soporte (SVR) son algoritmos que están siendo empleados en una amplia variedad de problemas de predicción ya que no tienen en cuenta sólo la aproximación del error sino que también la generalización del modelo, es decir, su capacidad para mejorar la predicción del modelo cuando nuevos datos son introducidos. Aunque hay diversas versiones de SVR, en este caso, presentamos el modelo clásico presentado en Smola et al. Dado un conjunto de entradas de entrenamiento ����, ���, … , ��� , ���� ⊂ Χ " #, el método ε-SVR consiste en entrenar un modelo de la forma f(x) = wT ϕ(x) + b para minimizar la función de riesgo empírico dada por la ecuación

$%&��'� � 12 ‖'‖* � +,-�� , .����/����

donde w controla la “finura” del modelo, ϕ(x) es una función de proyección del espacio de entrada al espacio de características, b es el parámetro de bias, xi es el vector de características del espacio de entrada de dimensión N, yi es el valor de salida que será estimado y L(yi,f(xi)) es la función de pérdida seleccionada. El modelo clásico se caracteriza por el uso de la función de pérdida ε-insensitiva dada por

,-�, .���/ � 00 if|.��� �| 6 �|.��� �| � otherwise

Para entrenar este modelo, es necesario resolver el siguiente problema de optimización

>�?�>�@AB 12 ‖'‖* � +�C� � C�∗�����

EF�G�HA I�� �⟨' ∙ L����⟩ � N� O � � C��� �⟨' ∙ L����⟩ � N� P � C�∗C� , C�∗ P 0

La forma dual del problema de optimización se obtiene normalmente a través de la minimización de la función de Lagrange, construida a partir de la función objetivo y las restricciones del problema. En este caso, la forma dual del problema de optimización anterior quedaría

>A��>�@ABQRSRT 12 ��� ��∗�-�� ��∗/U-�� , ��/�

�,��� ���� � ��∗��

��� ������ ��∗�����

EF�G�HA V��� ��∗����� � 0�� , ��∗WX0, +Y

Además de estas restricciones, las condiciones de Karush-Kuhn-Tucker deben ser satisfechas así como la variable b debe ser obtenida. No se detalla todo este proceso por simplificar esta memoria. En la formulación dual, K(xi,xj) es la matriz kernel que está formada por el cálculo de las funciones kernel y que es equivalente a los productos escalares <ϕ(xi), ϕ(xj)>. Una elección común de función kernel K es la función gaussiana que tiene la forma U-�� , ��/ � GZ[\]^Z]_\` La forma final de la función depende de los multiplicadores de Lagrange, dada por la ecuación

.��� ���� � ��∗�U���, ������ � N

Dado que el problema de optimización es de orden cuadrático, obtener la configuración óptima de los parámetros del modelo SVR es una tarea bastante complicada por lo que es necesario emplear el uso de algoritmos de búsqueda (descenso de gradiente, evolutivos, genéticos, etc.) para obtener estos valores óptimos o una estimación de ellos. Configuración de parámetros

Identificados los métodos predictivos de referencia que se mencionan en la bibliografía, es necesario establecer aquellos que mejor se comporten con las condiciones climáticas del lugar donde se desea predecir, en este caso Gran Canaria, ya que todos los resultados que se mencionan en los artículos han sido obtenidos en diferentes lugares y situaciones. El objetivo es identificar las técnicas más eficientes para, posteriormente, realizar mejoras sobre ellas.

Por todo ello, antes de realizar la comparativa, se tendrá que realizar la selección de los valores óptimos de los parámetros de configuración que rigen cada método, teniendo en cuenta las características y peculiaridades de cada uno. Análisis de espacio de entrada Inicialmente, tendrá que definirse el espacio de entrada de cada método, es decir, el número de valores de velocidad de viento que se introducen con cada muestra y la forma de seleccionarlos. Esta tarea requerirá el uso de diferentes herramientas matemáticas según el método elegido. El espacio de entrada para el método de persistencia no requiere de tratamiento ya que la salida en cada instante coincide con el valor de velocidad en un instante k anterior al que se desea predecir. El espacio de entrada de los métodos autorregresivos y autorregresivos de medias móviles se identifica mediante el orden de los parámetros p y q. Según Box-Jenkins, las formas de las funciones de autocorrelación y de autocorrelación parcial permiten identificar el valor de p y q ya que procesos de este tipo describen un conjunto limitado de formas. Sin embargo, debido a la complejidad de la función subyacente de predicción que rige la serie temporal es imposible determinar el orden p y q sin realizar ninguna transformación, tal y como se muestra en la figura 2.

Figura 2. Autocorrelación de serie temporal.

De esta manera, se optó por elegir el mayor valor de p que permitiese el software donde se calcularía los coeficientes del modelo autorregresivo; mientras que el orden q se determinó mediante el método trial-and-error ya que, según Box-Jenkins, este valor no suele ser superior a 4. Los resultados corroboraron un orden p igual a 11 y un orden q igual a 2. Dado que las funciones de autocorrelación no dislumbraban las relaciones de las velocidades de viento entre instantes posteriores, para determinar el espacio de entrada de la red neuronal recurrente y del método de regresión mediante vectores soporte se emplearon diferentes herramientas y transformaciones matemáticas basándonos en artículos relacionados con la

selección de entradas de series temporales. Entre ellos, destacamos las transformaciones logarítmicas y exponenciales, los métodos de filtrado basado en información mutua o los basados en los kernels de la máquina de vectores soporte. Ninguno de ellos mostró resultados concluyentes por lo que se decidió partir de la mayor dimensión de espacio de entrada que permitiese el software e ir reduciendo este valor en base al error de predicción obtenido hasta alcanzar un mínimo. Tras diversas pruebas realizadas, se comprobó que el error mínimo de predicción se alcanzaba cuando la dimensión del espacio de entrada era máxima. Por tanto, el espacio de entrada de la RNN y de SVR eran vectores cuya dimensión correspondía con 3526 muestras de velocidad de viento consecutivas. Optimización de parámetros La configuración de los parámetros que rigen los métodos es imprescindible para obtener un buen modelo predictivo. Sin embargo, los valores de estos parámetros dependerán de la ventana de predicción que se emplee; por lo que, rara vez, serán válidos y óptimos para todas las ventanas. Así, los parámetros de configuración deberán ser estimados cada vez que se establezca una nueva ventana. Los parámetros configurables en el modelo autorregresivo y autorregresivo de medias móviles son los órdenes p y q respectivamente, que ya fueron determinados en el paso anterior, y los coeficientes del proceso, que se estiman mediante el criterio de máxima verosimilitud de las ecuaciones de Yule-Walker. Los resultados obtenidos por las redes neuronales recurrentes dependen principalmente del número de neuronas en la capa oculta, las funciones de activación de las neuronas que lo componen y los valores iniciales de los pesos de las conexiones. Las funciones de activación de las neuronas fueron fijadas al tipo sigmoidal, en base a los resultados expuestos por diversos autores. .��� � 11 � GZ]

Para determinar el número apropiado de neuronas en la capa oculta se empleó un algoritmo de búsqueda genético. El valor final se alcanzaba cuando se obtenía un valor mínimo de error. En el caso de los valores iniciales de los pesos, se eligió aquel conjunto de valores que mostró mejor resultado tras un proceso de selección aleatoria extenso. Los parámetros que determinan el comportamiento de la regresión mediante vectores soporte son la capacidad de generalización C, el margen de error ε, y la función kernel K. Esta última se determinó por la propia forma de la serie temporal, caracterizada como una señal muy ruidosa con cambios bruscos y outliers. La función elegida era de tipo base radial que está definida por un parámetro γ que representa el ancho de la curva gaussiana. Debido al elevado rango de valores de estos tres parámetros, se empleó un algoritmo genético para determinar la configuración óptima para cada una de las ventanas de predicción utilizadas. Las condiciones iniciales del algoritmo se determinaron mediante una selección aleatoria de valores que abarcase subconjuntos diversos del espacio de soluciones posibles. Comparativa entre métodos

Para llevar a cabo la comparativa entre los diversos métodos expuestos, se utilizó una serie de datos de viento de la zona de Pozo Izquierdo en Gran Canaria. La serie de velocidades de viento incluye datos obtenidos durante 20 semanas por una estación meteorológica en periodos de tiempo de un minuto y fueron tomados a 20 metros de altura. En total se adquirieron 203305 muestras, medidas éstas en metros por segundo. El conjunto de los datos fue divido en dos subconjuntos: entrenamiento y test. Los datos de entrenamiento corresponden al 60% (121983 muestras) de los datos globales. Con respecto a las ventanas de tiempo utilizadas en los experimentos, se realizaron predicciones para ventanas de 10, 15, 30, 60, 90, 120, 180 y 240 minutos. Para evaluar el

desarrollo de la predicción se utilizó el protocolo estándar sugerido por el proyecto ANEMOS. Éste incluye la definición de los Criterios de Evaluación (EC): BIAS, MAE (mean absolute error), RMSE (root mean square error) y SDE (standard deviation error), y también la mejora sobre un modelo de referencia que es calculado en valor porcentaje como: a>bc%d,ef�%� � 100h+c%d h+h+c%d

El modelo de referencia elegido para esta medida de mejora fue el modelo de persistencia. Cabe destacar que los valores de BIAS y MAE están relacionados con el primer momento del error, por lo tanto, relacionadas con la velocidad del viento, mientras que los valores de RMSE y SDE están relacionados con el momento de segundo orden y la varianza del error. Las herramientas de la librería System Identification Toolbox del software MatLab fueron utilizadas para estimar y evaluar los parámetros óptimos de los modelos AR y ARMA. También incluye herramientas para calcular la ACF, PACF, transformada discreta de Fourier (DFT) y periodogramas acumulativos, necesarios para indicar los diferentes órdenes de los modelos. Las funciones de la Neural Network Toolbox de MatLab fueron utilizadas para diseñar, implementar y entrenar la red neuronal recurrente y, consecuentemente, predecir el valor de la velocidad del viento. En el caso de SVR, se utilizó el software Libsvm para obtener los vectores soporte y pronosticar. Finalmente, la librería Optimization Toolbox de MatLab se empleó para estimar los parámetros de configuración óptima del predictor SVR. Un resumen de los resultados obtenidos se muestra en la tabla 1.

Tabla 1. Mejora de cada método con respecto al método de persistencia

En ella, se muestran las mejoras porcentuales de los criterios de evaluación para cada método con respecto al método de persistencia (en negrita, se resalta el mejor resultado). Como se puede observar, en general, el método SVR presenta los valores más pequeños de MAE, RMSE y SDE con respecto a los otros métodos estadísticos para casi todas las ventanas de tiempo (a excepción de la ventana de 30 minutos donde el método RNN es mejor en MAE y RMSE) y por tanto, el mejor porcentaje con respecto al método de persistencia. Estos resultados se deben a la mejor capacidad de generalización de SVR cuya función de predicción depende más de la selección del subconjunto de muestras de entrenamiento (vectores soporte) que de los valores de los pesos fijados por el proceso de entrenamiento. Resultados

Como resultado de todos estos experimentos, se han realizado a lo largo de este año, tres publicaciones en congresos internacionales y nacionales relacionados con las energías renovables y la inteligencia artificial: International Conference on Renewable Energies and Power Quality (ICREPQ), International Conference on Intelligent Systems Design and

Applications (ISDA) y Conferencia de la Asociación Española para la Inteligencia Artificial (CAEPIA). Los nombres de las publicaciones se exponen en la sección Resumen.

Como formación complementaria, el alumno ha participado como miembro del comité local de organización del congreso Iberian Conference on Pattern Recognition and Image Analysis (IbPRIA) así como ha asistido a diversos seminarios que están descritos en la sección Resumen.

Resumen

A continuación, se expone un resumen de las actividades y trabajos de investigación realizados, relacionados con la tesis doctoral, durante el curso 2010/2011 por el alumno, comprendidos dentro del plan de formación del programa de doctorado de Sistemas Inteligentes y Aplicaciones Numéricas en Ingeniería: Trabajos de Investigación

• Estudio y análisis sobre métodos predictivos de energía eólica de referencia: o Modelo de persistencia o Modelo autorregresivo o Modelo autorregresivo de medias móviles. o Redes neuronales recurrentes o Regresión mediante vectores soporte

• Configuración de los parámetros de los métodos predictivos o Análisis del espacio de entrada o Optimización de parámetros

• Comparativa de eficacia entre los métodos predictivos

Publicaciones • Nowcasting of Wind Speed using Support Vector Regression. Experiments with Time

Series from Gran Canaria • Short-Term Wind Speed Forecasting Model based on Banks of Support Vector

Regressors (pendiente de aceptación) • A Comparative of Statistical Methods for Wind Speed Short-Term Forecasting

(pendiente de aceptación)

Congresos, Seminarios y Conferencias • 9th International Conference on Renewable Energies and Power Quality (ponente

póster). • 5th Iberian Conference on Pattern Recognition and Image Analysis (miembro del comité

local de organización). • Seminario de Predicción de Energías Renovables - Cátedra UAM-IIC de Aprendizaje

Automático en Modelado y Predicción (oyente). • Conferencia “Efectos dinámicos en estructuras provocados por personas” de Enrique

Alarcón Álvarez – Estudios Postgrado SIANI. • Conferencia “Problemas inversos en ingeniería: identificación de propiedades y daño

en sólidos y estructuras” de Rafael Gallego Sevilla – Estudios Postgrado SIANI.