Construcción y empleo de modelos. Modelos de regresión.

Construcción y empleo de modelos Modelos de regresión

Álvaro Noriega González- Universidad de Oviedo

Máster en Ingeniería Mecánica, Diseño, Construcción y FabricaciónMétodos estadísticos en Ingeniería. Diseño de experimentos


INTRODUCCIÓN

Número de experimentos = nk

n: número de variables/factoresK: número de niveles

x

y

En las anteriores clases, se han visto los diseños de experimentos (DOE) básicos que existen y su aplicación a distintos ejemplos.

El DOE más sencillo en el factorial completo cuya interpretación gráfica se puede ver en el ejemplo siguiente:

Los DOE son muy importantes porque son una parte fundamental de la modelización de fenómenos experimentales y conviene entender muy bien en que consisten.


Para mejorar la precisión del modelo buscado, es posible aumentar el número de niveles en las variables. Sin embargo, esta opción no es deseable desde el punto operativo ya que el número total de experimentos (y, consecuentemente, el coste y el tiempo) aumenta muy rápidamente.

INCONVENIENTES DEL DOE FACTORIAL COMPLETO

Ejemplo 1

2=n

22 4=32 8=42 16=52 32=

Ejemplo 2

2k =

22 4=23 9=24 16=25 25=

En MATLAB se utilizan las funciones ff2n y fullfactpara obtener los DOE factoriales completos.


Al utilizar el DOE factorial completo para definir un modelo, existe el inconveniente de que dicho modelo no se puede extrapolar a situaciones donde una o más variables están fuera del rango definido en la tabla de datos.

x

y¿Cuál es el valor predicho por el modelo para este punto/experimento?

La única solución es ampliar los rangos de las variables y hacer nuevos experimentos.


El DOE factorial completo contempla todas las combinaciones posibles de las variables es una gran cantidad de experimentos.


Si el coste (dinero y tiempo) de cada experimento es pequeñometodología viable.

Pero¿Qué ocurre cuando los experimentos son costosos?

¿Existe la posibilidad de minimizar el número de experimentos a realizar manteniendo la validez del modelo?

Metodologías de minimización de ensayos


La definición del DOE y sus parámetros permite determinar exactamentelos experimentos a hacer.


METODOLOGÍAS DE MINIMIZACIÓN DE ENSAYOS

1. DOE deterministas

Los experimentos (conjunto de puntos en un espacio n-dimensional) se definen con unos algoritmos que:

a) Buscan una distribución de los experimentos lo más homogenea posible.b) Contemplen todas las interacciones deseadas en el modelo.

Se puede hacer una clasificación de estas metodologías en función del alcance del modelo que se desea conseguir:

1.1 Modelo global del fenómeno1.2 Modelo local del fenómeno



1.1 Modelo global del fenómeno

Cuando se desea definir un modelo matemático global sobre un espacio de las variables n-dimensional y con forma de hipercubo, es muy difícilasegurar, a priori, que una expresión matemática paramétrica puededescribir correctamente el modelo en todo el espacio de las variables.

Cuando esto sea posible y sólo nos interese estudiar los efectos principalesde cada variable o de conjuntos determinados de ellas, los DOE suelentener 2 niveles en cada variable y se llaman diseños factorialesfraccionados.





Por ejemplo, el DOE Plackett-Burman supone un modelo matemático lineal:

bxay +⋅=y permite estudiar los efectos lineales de cada variables con el mínimo de experimentos.

-1-0.5

00.5

1

-1-0.5

00.5

1-1

-0.5

0

0.5

1

X1X2

X3

DOE P-B con 3 variables 4 experimentos

Inconveniente:Si los efectos de las variables están vinculados, aparecerá unatendencia no deseada en el modelo obtenido





Existen DOE que permiten estimar los efectos principales de maneraindependiente a las interacciones, fundiendo los efectos de conjuntosde variables en pares, trios,…

Box y Hunter han propuesto distintos tipos de generadores de DOE paraproducir diseños con distinto número de variables y resoluciones. Estosgeneradores se pueden utilizar muy facilmente mediante las órdenes“fracfact” y “fracfactgen” de MATLAB.




1.1 Modelo local del fenómeno

En algunas ocasiones, los modelos matemáticos lineales que solo contemplan las interacciones de primer orden no son adecuados debido a la complejidad del fenómeno. Si el modelo buscado se desea utilizarposteriormente para buscar el óptimo del fenómeno, lo que se hace esconsiderar el fenómeno localmente y intentar aproximarlo con un modelo con interacciones de segundo orden.

Para estos casos, se han desarrollado DOE de superficie de respuesta en los que se parte de un punto central alrededor del cual queremos definir el modelo matemático a nivel local y que será de tipo unimodal (con un solo mínimo) para facilitar la obtención del óptimo.





Los DOE de superficie de respuesta más comunes son los diseños centralescompuestos y los diseños Box-Behnken. En estos diseños, las variables toman entre 3 y 5 niveles pero el diseño no contempla todas lascombinaciones posibles.

Los diseños centrales compuestos pueden ajustar un modelocompletamente cuadrático y se basan en colocar el punto central en el centro de un hipercubo de n dimensiones (tantas como variables) y despuesañadir puntos (experimentos) en los vértices, los centros de las aristas o loscentros de las caras. La orden de MATLAB para generarlos es “ccdesign”.





En función de la distribución, se puede diferenciar entre Circunscritos(CCC), Inscritos (CCI) y Facetados (CCF). Los dos primeros tienen cinconiveles por variable mientras que el último sólo tiene 3 niveles.

Ejemplos con tres variables





Los diseños Box-Behnken también pueden ajustar un modelocompletamente cuadrático pero sólo usan tres niveles en cada variable lo que los hace muy atractivos. La orden de MATLAB para generarlos es“bbdesign”.

Ejemplo con tres variables

Ventaja respecto al CCF:Rotabilidad


Inconveniente respecto al CCF:Peor predicción en las esquinas


2. DOE aleatorios

En este tipo de DOE, siempre existe una componente aleatoria en la generación de experimentos que hace que estos se distribuyan de maneradiferente cada vez que se utiliza el algoritmo.

Se define, en primer lugar, el número de experimentos que se deseanrealizar y a continuación, se generan de manera aleatoria.

En función de como se generan los experimentos, se puede diferenciarentre:

2.1 DOE tipo PRS2.2 DOE tipo LHS



2. DOE aleatorios

2.1 DOE tipo PRS

En este caso, el DOE de tipo PRS (Pure Random Sampling, o muestreoaleatorio puro) consiste en generar puntos en un espacio n-dimensional (n es el número de variables) de manera aleatoria en el que cada cadavariable tiene una función de densidad uniforme en el rango en el que estádefinida. La orden de MATLAB para generar un PRS normalizado es ”rand”.

0 0.2 0.4 0.6 0.8 10.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

X1

X2

Distribución de los experimentos

Ventaja: Para grandescantidades de experimentosdistribución aprox. homogenea

Inconveniente: Para pocosexperimentos probabilidad de rangos sin experimentos essignificativa



2. DOE aleatorios

2.2 DOE tipo LHS

Para evitar el inconveniente del DOE tipo PRS, se puede utilizar una técnicadenominada LHS (Latin Hypercube Sampling o muestreo en hipercubolatino) que consiste en generar puntos que cubran todos los rangos de lasvariables (ver ejemplo). La orden de MATLAB para generar un LHS normalizado es “lhsdesign”.

5 experimentos



2. DOE aleatorios

Estos tipos de DOE aleatorios se utilizan cuando la limitación principal esel número de experimentos a realizar y cuando no hay ningún tipo de restricción al modelo que se pretende obtener.

En la práctica, se utilizan para definir los conjuntos de entrenamiento, test y validación de las redes neuronales artificiales.



¿Cómo se define de manera matemática ese modelo a partir de los datos del DOE?

Hasta ahora, hemos hablado básicamente de los DOE a utilizar para la obtención del modelo del fenómeno a estudio pero …

42,31,51

5,13,51,82

………3

zexpyxNº

( )¿ , ?z f x y=Experimentos

Variables (factores)

Salida experimental


La opción más sencilla es la de realizar una serie de experimentos paraconfigurar una rejilla (sería un DOE factorial completo) y luego utilizar unainterpolación múltiple (siendo n el número de variables) para obtenercualquier respuesta ante condiciones no ensayadas previamente.

42,31,51

5,13,51,82

………3

zexpyxNº

Función de interpolación

múltiple+

MODELO MATEMÁTICO QUE DESCRIBE EL FENÓMENO EXPERIMENTAL

= Zmodelo

MODELO DE INTERPOLACIÓN MÚLTIPLE

Tiene muchas opciones que nos permiten ajustar nuestro modelo paraobtener una mejor precisión en el mismo.


Ejemplo (MATLAB) [xi,yi] = meshgrid(-3:0.25:3);

zi1 = interp2(x,y,z,xi,yi,'nearest');

zi2 = interp2(x,y,z,xi,yi,'bilinear');

zi3 = interp2(x,y,z,xi,yi,'bicubic');

[x,y] = meshgrid(-3:1:3);

z = peaks(x,y);

surf(x,y,z)

Función realFunciones interpoladas

MODELO DE INTERPOLACIÓN MÚLTIPLE


Sin embargo, si lo que deseamos es tener la información más compacta, lo mejor es una expresión matemática sencilla y paramétrica que nospermita condensar la información de cada salida.

Dicho modelo va a relacionar los resultados que hay Y que explicar con unas variables X por una relación funcional de la forma siguiente:

( )y f x=r r

El tipo de modelo puede ser:

1. Modelo físico

2. Modelo estadístico


MODELO FÍSICO

En primer lugar, hay que conocer la expresión paramétrica del modelo, la cual estará sostenida por una teoría.

Ejemplo: La ley de enfriamiento de Newton

( )S fluidoQ h S T T= ⋅ ⋅ −&

Si conocemos la superficie S y el flujo de calor Q y tomamos como variables lastemperaturas de la superficie y del fluido, podemos modelizar el coeficiente de película h de manera paramétrica (parámetros S y Q).

( ),y f x p=r r

Vector de parámetros


MODELO ESTADÍSTICO

En este caso, dispondremos de s experimentos con n variables a partir de los cuales debemos construir el modelo de regresión.

Por ejemplo, un modelo lineal sería el siguiente:

0 1 1 2 2 ... p py a a x a x a x ε= + ⋅ + ⋅ + + ⋅ +

donde

ε Error del modelo

0 1 2, , ,..., sa a a a Coeficientes del modelo(hay que estimarlos)

Lo más delicado es la elección de las variables que entran en el modelo y las relaciones entre las mismas. En base a eso, el modelo puede ser postulado o no postulado.


MODELO ESTADÍSTICO

En este modelo, sólo los coeficientes son dirigidos por los datos ya que la estructura polinómica del modelo es impuesta por el usuario, el cual postula a priori:

1. Modelo postulado

a) El tipo de modelo: lineal o polinómico y el grado del polinómiob) Las variables que entran en el modelo

Ejemplo: modelo polinomial con dos variables

2 20 1 1 2 2 3 1 2 4 1 5 2y a a x a x a x x a x a x ε= + ⋅ + ⋅ + ⋅⋅ ⋅ + ⋅ + ⋅ +

La calidad del modelo final depende en gran medida de la elección de las variables y del grado del polinomio.


MODELO ESTADÍSTICO

El modelo más utilizado es el polinómico de segundo orden (se utiliza en el método de la superficie de respuesta).

1. Modelo postulado

Su inconveniente es que es difícil asegurar que dicho modelo pueda describir el fenómeno a estudio con exactitud en todo el rango de definición de las variables ámbito local

Su ventaja es que esta función tiene un comportamiento sencillo en la zona acotada (es parabólica).

Además, sólo existen unos parámetros óptimos para el ajuste a los datos experimentales por mínimos cuadrados:

y=f(x,p) es lineal respecto a los parámetros p

error=g(p) es cuadrático respecto a

los parámetros p


MODELO ESTADÍSTICO

1. Modelo postulado

¿Qué ocurre si se usan polinomios de orden superior?

( , )y f x p=

x

Curva deseada 2º grado

Curva ajustada 3º grado

El polinomio de tercer grado tiene un error menor en los experimentos pero ajusta peor el comportamiento global de la función sobreajuste

Ejemplo: polinomio de tercer grado


MODELO ESTADÍSTICO

1. Modelo postulado

¿Qué ocurre si se usa otro tipo de función distinta de un polinomio (por ejemplo, exponencial, senoidal, logarítmica,…)?

El problema del ajuste por mínimos cuadrados tiene más de un mínimoaunque no todos esos mínimos tienen el mismo valor (locales y globales)

El algoritmo de optimización utilizado sólo encuentra uno ya que necesita una aproximación inicial.

a b

erro

r

¡Puede tener muchos mínimos!


MODELO ESTADÍSTICO

Está totalmente dirigido por los datos, tanto en su estructura matemática como en sus coeficientes. La selección de las variables explicativas no pide conocimiento a priori sobre el modelo ya que se efectúa entre un conjunto muy grande de variables que comprende:

2. Modelo no postulado

Variables explicativas simples: A, B, C, (propuestas por los expertos del campo considerado y cuyo número m puede ser superior a n

•Interacciones (acoplamiento) de estas variables: por ejemplo, A*B (producto cruzado sobre variables centradas reducidas), pero también interacciones lógicas como A y B, A o B, A y B medios, A si B es fuerte, A si B es medio, A si B es débil, etc …

•Funciones de estas variables: por ejemplo cos (A) o cualquier función sinusoidal amortiguada o ampliada, función periódica no sinusoidal, efecto de umbral, etc…


MODELO ESTADÍSTICO

La selección se produce antes del cálculo de los coeficientes de regresión según el siguiente principio:


1. Se busca el factor o la interacción o la función mejor correlada a la respuesta.

2. Habiéndolo encontrado, buscamos el factor o la interacción mejor correlada al residuo no explicado por la correlación precedente.

3. Repetir el paso 2.

Este método pretende no contar dos veces la misma influencia, cuando los factores son correlados, y a ordenarlos por importancia decreciente.


MODELO ESTADÍSTICO

La lista por orden de importancia decreciente encontrada y clasificada, no puede contar con más términos que variables desconocidas (n). Si se guarda sólo un término en el modelo, deberá ser el primero de la lista. Si se guardan dos, los dos primeros,…


Ya que cada uno de los términos de la lista explica el residuo no explicado por los precedentes, los últimos explicanposiblemente sólo el ruido. Entonces …

¿Qué criterio de parada escoger?

El número de términos conservados en el modelo puede ser, por ejemplo, el que minimiza el error de predicción. El número de términos también puede ser escogido por el usuario a partir de consideraciones físicas.


MÉTODO DE OBTENCIÓN DE LOS PARÁMETROS DEL MODELO

Modelo paramétrico ( ),y f x p=r r

Variables Parámetros

42,31,51

5,13,51,82

………3

yexpx2x1Nº

Datos experimentales

Función error

( ) ( )( )2exp,i ii

error p f x p y −= −∑r r r

Problema de optimización

Obtener p para que el error sea mínimoOrden “lsqcurvefit”de MATLAB


EL MÉTODO DE LA SUPERFICIE DE RESPUESTA PARA LA OPTIMIZACIÓN DE PROCESOS

En ciertas ocasiones, nos interesa obtener el modelo matemático de un fenómeno con el fin de utilizarlo para obtener un determinado óptimo del mismo.

Para este problema en particular, se ha desarrollado el método de la superficie de respuesta. Este método se basa en los siguientes supuestos:

a) Conocemos un punto (llamado punto central) alrededor del cual seva a definir el modelo modelo de alcance local

b) El modelo es continuo en el entorno del punto central.

c) El modelo tiene es unimodal en el entorno estudiado.



Si aplicamos las metodología vistas hasta ahora para obtener un modelo matemático polinomial y cuadrático que aproxime con cierta exactitud el fenómeno real a estudiar podemos buscar el óptimo de ese modelo(también llamado metamodelo) y suponer que está cercano al óptimo del fenómeno real.

Ventaja: Se consigue un punto cercano al óptimo real con un coste de experimentación muy bajo porque se usan DOE de superficie de respuesta (por ejemplo, Box-Behnken), los cuales minimizan el número de ensayos necesarios.

Inconvenientes: Asegurar que el fenómeno a estudiar en continuo y unimodal en el entorno estudiado y que dicho fenómeno se pueda aproximar correctamente con un polinomio cuadrático.



Una vez obtenido el polinomio cuadrático que aproxima al fenómeno la búsqueda del óptimo es muy sencilla ya que la función a optimizar es continua y fácilmente derivable al ser un polinomio de segundo orden y, además, es unimodal por definición.

Para obtener su óptimo se puede utilizar las órdenes de MATLAB “fminsearch” y “fminunc” que utilizan métodos de orden cero (sin derivadas), orden uno (con el gradiente) o orden dos (con el Hessiano) para encontrar el óptimo de manera exacta y eficiente.


1. Definir las variables/factores independientes y su rango de variación

PROCESO DE OBTENCIÓN DE UN MODELO MATEMÁTICO

2. Generar una batería de experimentos adecuadamente distribuidos

3. Realizar los experimentos

4. Obtener el modelo matemático que mejor se ajuste a los datos experimentales

Construcción y empleo de modelos. Modelos de regresión.

Education

Transcript of Construcción y empleo de modelos. Modelos de regresión.