Identificación mediante el método de los mínimos cuadrados

Daniel Rodríguez RamírezTeodoro Alamo Cantarero

Ingeniería de Control

Contextualización del tema

• Conocimientos relevantes aprendidos previamente:– Tipos de modelos.– Concepto de identificación.– Fases del proceso de identificación.– Propiedades deseables de las señales de entrada.– Identificación en bucle abierto y bucle cerrado.

• Conocimientos que se adquieren en este tema:– Formulación original y recursiva del método de los mínimos cuadrados.– Propiedades estadísticas del estimador de mínimos cuadrados.– Mínimos cuadrados ponderados y extendidos.– Estimación de los valores de continua.– Problemas producidos por la mala estimación del orden del proceso.– Aplicación del método de los mínimos cuadrados a sistemas con

retardo o no lineales.

Esquema del tema

12.1. El método de los mínimos cuadrados.

12.2. Algoritmo recursivo para identificación en línea.

12.3. Interpretación estadística.

12.4. Mínimos cuadrados ponderados.

12.5. Mínimos cuadrados extendidos.

12.6. Estimación de los valores de continua.

12.7. Importancia del orden del modelo.

12.8. Identificación de sistemas con retardo o no lineales.

El método de los mínimos cuadrados

• Identifica modelos lineales en los parámetros, como:

equivale a:

regresor

Vector de parámetros

Error de predicción

El método de los mínimos cuadrados

• Partiendo de N pares (y(k),m(k)) se plantea:

• Se buscará la pseudosolución (θ *) del sistema óptima en el sentido de los mínimos cuadrados, es decir minimizando:

Sist. de ecuaciones sobredeterminado incompatible

El método de los mínimos cuadrados

• El índice J se puede reescribir como:

• El mínimo será el valor de θ que hace la derivada cero:

es decir:

• De ahí:

Estimador de mínimos cuadradosEstimador de mínimos cuadradosEstimador de mínimos cuadradosEstimador de mínimos cuadrados

El método de los mínimos cuadrados

• Dado que:

• Tiene que existir la inversa de M(N)TM(N) .• Si el número de muestras no es suficiente, o si no se cumplen las

condiciones de excitación persistente, la matriz puede ser no invertible o estar muy mal condicionada (en la práctica usar PRBSS).

• Este método es el llamado de “fuera de línea”:– Usualmente se necesitan muchas medidas para minimizar el efecto

de ruidos y perturbaciones.– Problemas de cálculo (inversión de una matriz).– No es apropiado para sistemas cuya dinámica varía a lo largo del

experimento.

Esquema del tema

12.1. El método de los mínimos cuadrados.

12.2. Algoritmo recursivo para identificación en línea.

12.3. Interpretación estadística.

12.4. Mínimos cuadrados ponderados.

12.5. Mínimos cuadrados extendidos.

12.6. Estimación de los valores de continua.

12.7. Importancia del orden del modelo.

12.8. Identificación de sistemas con retardo o no lineales.

Formulación recursiva

• Menos carga de cálculo.• Usa las medidas según se van recogiendo.• Apropiado para sistemas cuya dinámica va variando.• La idea de partida es que:

donde la ganancia K(k) se denota ganancia de adaptación y multiplica al error cometido por la estimación previa de los parámetros del sistema.

El vector óptimo θ * se puede calcular en cada instante a partir del calculado en el instante anterior ! “formulación recursiva”.

Formulación recursiva

(k)y

1)(ky +

y(k)u(k)

e(k)

P(k)(k) K(k) θ

Esquema del tema

12.1. El método de los mínimos cuadrados.

12.2. Algoritmo recursivo para identificación en línea.

12.3. Interpretación estadística.

12.4. Mínimos cuadrados ponderados.

12.5. Mínimos cuadrados extendidos.

12.6. Estimación de los valores de continua.

12.7. Importancia del orden del modelo.

12.8. Identificación de sistemas con retardo o no lineales.

Interpretación estadística

• Supóngase que el sistema se comporta como un modelo ARMAX:

• O como un modelo ARX-LS:

• Suponiendo que θ * es el valor verdadero del vector de parámetros, el identificado se puede tratar como una variable aleatoria con sesgo:

Los valores actual y pasados de v(k) afectan a la salida

Sólo el valor actual de v(k) afecta a la salida

Interpretación estadística• Se comprueba que:

• Para que el sesgo sea cero en necesario que MT(k) no esté correlado con V(k).

• Si el proceso es ARMAX, cada componente de V(k) depende de componentes previas del vector de ruido. Como y(k-1),…, y(k-n) dependen de v(k-1), v(k-2), … , valores presentes en V(k), hay dependencia entre M(k) y V(k) y el sesgo es distinto de cero.

• Si el proceso es ARX-LS, V(k) sólo está formado por v(k) y no contiene a v(k-1),… por lo que no hay dependencia entre los M(k) y V(k) � sesgo igual a cero.

El proceso de identificación converge al valor verdadero de los parámetros si el proceso responde como un ARX-LS.

Interpretación estadística• También se puede demostrar que:

• Varianza grande � incertidumbre grande en la exactitud de la estimación.• Varianza pequeña � la estimación está cerca del valor verdadero (θ *).• Inicialmente P(0) debe ser “grande”, por ejemplo P(0) = pI con

p=100,1000,…• A medida que el número de observaciones aumenta:

crece por lo que decrece.

Según transcurre el tiempo la incertidumbre disminuye � mejor estimación.

Esquema del tema

12.1. El método de los mínimos cuadrados.

12.2. Algoritmo recursivo para identificación en línea.

12.3. Interpretación estadística.

12.4. Mínimos cuadrados ponderados.

12.5. Mínimos cuadrados extendidos.

12.6. Estimación de los valores de continua.

12.7. Importancia del orden del modelo.

12.8. Identificación de sistemas con retardo o no lineales.

Mínimos cuadrados ponderados

• Permite dar más peso a unas observaciones que a otras (usualmente lás más recientes) en el cálculo de los parámetros � mejor para procesos que varían su dinámica.

• Se minimiza:

• La solución es:

Mínimos cuadrados ponderados

• Usualmente se aplica un esquema de “olvido exponencial”:

• Los pesos disminuyen cuanto más antiguas son las medidas:

• En el caso de aplicarse una formulación recursiva se modificaría el algoritmo:

Un λ próximo a 1 “recuerda” muchas medidas por lo que es más insensible

al ruido, pero se adapta más lentamente. Un λ menor “recuerda” menos por

lo que se adapta rápidamente pero es más sensible al ruido.

Consideraciones prácticas• Usando factor de olvido, si el punto de trabajo no varía P(k) puede

crecer demasiado.• Solución a estos problemas: factor de olvido variable:

– Si traza de P supera un límite: λ = 1.– Si traza de P por debajo de un mínimo: disminuir λ o sumar una matriz

definida positiva.– Usar:

Factor pequeño al principio y tendiente a λf.

• Problemas numéricos pueden ocasionar que P sea definida negativa.• Solución: Factorizar P(k) como:

donde D(k) es diagonal y U(k) es triangular superior con Uii(k)=1.

Esquema del tema

12.1. El método de los mínimos cuadrados.

12.2. Algoritmo recursivo para identificación en línea.

12.3. Interpretación estadística.

12.4. Mínimos cuadrados ponderados.

12.5. Mínimos cuadrados extendidos.

12.6. Estimación de los valores de continua.

12.7. Importancia del orden del modelo.

12.8. Identificación de sistemas con retardo o no lineales.

Mínimos cuadrados extendidos

• Soluciona el problema del sesgo cuando el proceso es ARMAX:

• La solución sería incluir en el regresor los valores de v(k) y en el vector de parámetros los de C(z-1).

como los v(k) no son medibles, se les aproxima por el error de estimación en cada instante:

donde:

• Menor velocidad de convergencia en los parámetros ci debido a que la señal de ruido no es la más preponderante.

Esquema del tema

12.1. El método de los mínimos cuadrados.

12.2. Algoritmo recursivo para identificación en línea.

12.3. Interpretación estadística.

12.4. Mínimos cuadrados ponderados.

12.5. Mínimos cuadrados extendidos.

12.6. Estimación de los valores de continua.

12.7. Importancia del orden del modelo.

12.8. Identificación de sistemas con retardo o no lineales.

Estimación de los valores de continua

• Utilización de incrementos:

Se obtiene un modelo incremental.

• Cálculo de la media:

Estimación de los valores de continua

• Estimación de una constante . La idea es que el modelo que se quiere identificar es:

que se puede poner como:

con

• El vector de parámetros y el regresor quedarían:

Esquema del tema

12.1. El método de los mínimos cuadrados.

12.2. Algoritmo recursivo para identificación en línea.

12.3. Interpretación estadística.

12.4. Mínimos cuadrados ponderados.

12.5. Mínimos cuadrados extendidos.

12.6. Estimación de los valores de continua.

12.7. Importancia del orden del modelo.

12.8. Identificación de sistemas con retardo o no lineales.

Importancia del orden del modelo

• Si el orden del modelo se estima por defecto se produce la “infraparametrización”.

• Dependiendo de la señal de entrada se obtendrán diferentes aproximaciones al “modelo real”.

Mismo sistema identificado con dos senoides diferentes

Importancia del orden del modelo

• Si el orden se estima por exceso se produce la “sobreparametrización”.

• Se produce una deriva en los valores de los parámetros.

• Aparecen dependencias lineales entre los parámetros.

• Se aproxima el ruido.

Evolución de los parámetros del modelo en un caso de sobreparametrización.

Esquema del tema

12.1. El método de los mínimos cuadrados.

12.2. Algoritmo recursivo para identificación en línea.

12.3. Interpretación estadística.

12.4. Mínimos cuadrados ponderados.

12.5. Mínimos cuadrados extendidos.

12.6. Estimación de los valores de continua.

12.7. Importancia del orden del modelo.

12.8. Identificación de sistemas con retardo o no lineales.

Identificación de procesos con retardos y modelos no lineales

• Para un proceso con retardo modelado como:

el regresor ha de modificarse:

Problemas: retardo variable o no múltiplo del tiempo de muestreo.

• Posibilidad de aplicar a sistemas no lineales pero que sean lineales en los parámetros. Por ejemplo el modelo

se identificaría usando:

El retardo debe ser estimado previamente

Identificación de procesos con retardos y modelos no lineales

• Una posibilidad interesante: modelos de redes de neuronas de funciones base radiales:

Modelo lineal en los

parámetros pi (pesos)

Nodos gaussianos:

Ci: centro del nodo

σi: ancho del nodo

Para usar Min. Cuadrados:

Identificación de procesos con retardos y modelos no lineales

Los centros cubren

regularmente el

espacio de entrada

Cada nodo aproxima

localmente