...

Procesos ARMA

by user

on
Category: Documents
1

views

Report

Comments

Transcript

Procesos ARMA
PREDICCIÓN DE SEÑALES
Modelos ARMA
Francisco J. González Serrano
Universidad Carlos III de Madrid
Predicción de señales: Modelos ARMA
Modelos ARMA
En este capı́tulo nos centramos en la familia de los procesos estacionarios ARMA
(AutoRegressive Moving Average).
La importancia de estas técnicas paramétricas radica en su flexibilidad.
Existe un gran número de funciones de autocovarianza γ(•) que pueden aproximarse por la de
procesos ARMA.
Procesos ARMA(p, q)
Definición: {Xt} es un proceso ARMA(p, q) si {Xt} es estacionario y si para cada t
Xt − φ1Xt−1 − · · · φpXt−p = Zt + θ1Zt−1 + · · · + θq Zt−q ,
(1)
• {Zt} ∼ WN(0, σ 2).
{Xt} es un proceso ARMA(p, q) con media µ si {Xt − µ} es un proceso ARMA(p, q).
Notación (más compacta) para describir estos procesos:
φ(B)Xt = θ(B)Zt
(2)
• φ(•) y θ(•) son dos polinomios de órdenes p y q.
• B es el operador desplazamiento.
F. González
1
Predicción de señales: Modelos ARMA
Propiedades procesos ARMA(p, q)
Existencia y unicidad:
• Para que exista una solución estacionaria {Xt} que satisfaga
φ(B)Xt = θ(B)Zt ,
(3)
φ(z) = 1 − φ1 z − φ2z 2 − · · · − φpz p 6= 0, ∀|z| = 1 .
Causalidad
• Un proceso es causal si existen constantes {ψj } tal que
Xt =
∞
X
j=0
y
P∞
j=0 |ψj |
ψj Zt−j , ∀t .
(4)
< ∞ (estabilidad).
• La propiedad de causalidad es equivalente a la condición
φ(z) = 1 − φ1z − φ2 z 2 − · · · − φpz p 6= 0, ∀|z| ≤ 1 ,
F. González
2
Predicción de señales: Modelos ARMA
• La secuencia {ψj } está determinada por la relación ψ(z) =
P∞
j
j=0 ψj z =
θ(z)
φ(z)
(1 − φ1z − · · · − φpz p)(ψ0 + ψ1z + · · · ) = 1 + θ1z + · · · + θq z q
• Si se relacionan los coeficientes asociados a las potencias z j , se puede escribir que
ψj −
p
X
φk ψj−k = θj , j = 0, 1, . . .
(5)
k=1
verificándose que θ0 = 1, θj = 0 para j > q y ψj = 0 para j < 0.
F. González
3
Predicción de señales: Modelos ARMA
Función de autocorrelación de procesos ARMA
Proceso causal ARMA(p, q) definido por:
φ(B)Xt = θ(B)Zt, con {Zt} ∼ WN(0, σ 2) .
(6)
Método 1. La condición de causalidad
Xt =
∞
X
j=0
ψj Zt−j , ∀t .
(7)
implica que el cociente θ(z)/φ(z), se puede desarrollar como
∞
θ(z) X
=
ψj Zt−j , para |z| ≤ 1 .
φ(z) j=0
obteniéndose finalmente que
γ(h) = E(Xt+h Xt) = σ 2
∞
X
ψj ψj+|h| .
(8)
j=0
F. González
4
Predicción de señales: Modelos ARMA
ACVF. Ejemplo
Consideremos el proceso
Xt − φXt−1 = Zt + θZt−1 , con {Zt} ∼ WN(0, σ 2)
(9)
y |φ| < 1.
Su ACVF viene dada por
γ(0) = σ 2
∞
X
j=0

ψj2 = σ 2 1 + (θ + φ)2
= σ2 1 +
γ(1) = σ 2
∞
X
2
(θ + φ)
1 − φ2
,
∞
X
j=0

φ2j 
ψj+1ψj
j=0
= σ2
y
(θ + φ)2
θ+φ+
1 − φ2
,
γ(h) = φh−1 γ(1), h ≥ 2 .
F. González
5
Predicción de señales: Modelos ARMA
Función de autocovarianza
Método 2. A partir de
Xt − φ1Xt−1 − · · · φpXt−p = Zt + θ1Zt−1 + · · · + θq Zt−q ,
(10)
puede deducirse que los procesos {Zt} y {Xt−k } guardan relaciones de dependencia estadı́stica
únicamente cuando k < p.
P∞
• Si se expresa Xt = n=0 ψnZt−n, entonces,
E [ZtXt−k ] =
∞
X
ψnE [ZtZt−k−n ] k < p.
n=0
• Como el proceso {Zt} es WN(0, σ 2),
◦ E [ZtZt−k−n ] = σ 2δn+k
E [ZtXt−k ] = σ
2
∞
X
n=0
ψnδn+k = σ 2ψ−k .
(11)
• Si se multiplican los dos extremos de φ(B)Xt = θ(B)Zt por Xt−k , k = 0, 1, . . . y se calcula
F. González
6
Predicción de señales: Modelos ARMA
la esperanza matemática,
γ(k) − φ1γ(k − 1) − . . . − φpγ(k − p) = σ
2
∞
X
j=0
θk+j ψj , 0 ≤ k < m
γ(k) − φ1γ(k − 1) − . . . − φpγ(k − p) = 0, k ≥ m,
(12a)
(12b)
donde m = máx(p, q + 1), ψj = 0 para j < 0, θ0 = 1 y θj = 0 para j 6∈ {0, . . . , q}
F. González
7
Predicción de señales: Modelos ARMA
Función de autocovarianza. Ejemplo
Consideremos el proceso ARMA(1, 1)
Xt − φXt−1 = Zt + θZt−1 , con {Zt} ∼ WN(0, σ 2)
(13)
y |φ| < 1.
La Ecuación
γ(k) − φ1 γ(k − 1) − . . . − φpγ(k − p) = σ
2
se puede plantear como
∞
X
j=0
θk+j ψj , 0 ≤ k < m
(14)
γ(0) − φγ(−1) = γ(0) − φγ(1) = σ 2(1 + θ(θ + φ))
(15a)
γ(1) − φγ(0) = σ 2θ .
(15b)
y
La resolución del par de ecuaciones anterior proporciona los valores γ(0) y γ(1).
Finalmente, la Ecuación (homogénea)
γ(k) − φ1γ(k − 1) − . . . − φpγ(k − p) = 0, k ≥ m,
F. González
(16)
8
Predicción de señales: Modelos ARMA
responde a la expresión
cuya solución es
γ(k) − φγ(k − 1) = 0 , k ≥ 2
(17)
γ(h) = φh−1 γ(1) , h ≥ 1
F. González
9
Predicción de señales: Modelos ARMA
La función de autocorrelación (parcial)
Recordemos que la función de autocorrelación (AutoCorrelation Function, ACF), ρ(•), de un
proceso ARMA se define como
γ(h)
ρ(h) =
γ(0)
y que su versión muestral, es decir, aquella obtenida a partir de un conjunto finito de observaciones
{x1, . . . , xn} se representa por
γ̂(h)
ρ̂(h) =
γ̂(0)
La función de autocorrelación parcial (Partial AutoCorrelation Function, PACF), α(•), de un
proceso ARMA {Xt} se define por
α(0) = 1
y
α(h) = φhh, h ≥ 1
F. González
10
Predicción de señales: Modelos ARMA
donde φhh es la última componente de
φh = Γ−1
h γh ,
(18)
con
y γ h = [γ(1), γ(2), . . . , γ(h)]T .
F. González
Γh = [γ(i − j)]hi,j=1
11
Predicción de señales: Modelos ARMA
PACF de un proceso AR(p)
La PACF de un proceso AR(p) es cero para h > p.
Demo:
• El mejor predictor lineal del proceso causal AR(p)
Xt − φ1 Xt−1 − · · · − φpXt−p = Zt , {Zt} ∼ WN(0, σ 2) ,
en función de X1 , . . . , Xh, siendo h ≥ p, es
X̂h+1 = φ1 Xh + φ2Xh−1 + . . . + φpXh+1−p .
• Cuando h = p, φhh (X1) es φp y cuando h > p, φhh = 0.
• Por tanto,
α(p) = φp
y
α(h) = 0 para h > p
• Para los valores h < p, el cálculo de los valores α(h) se obtiene de
φh = Γ−1
h γh ,
F. González
(19)
12
Predicción de señales: Modelos ARMA
PACF de un proceso MA(q)
Proceso MA(q)
Xt = Zt + θ1Zt−1 + · · · + θq Zt−q , con {Zt} ∼ WN(0, σ 2)
La función de autocovarianza (ACVF) responde a la expresión:
( P
q−|h|
σ 2 j=0 θj θj+|h| , si |h| ≤ q,
γ(h) =
0,
si |h| > q
(20)
(21)
donde se ha supuesto que θ0 = 1.
La ACVF de los procesos MA(q) se desvanece a partir del instante q.
Supongamos ahora que q = 1
γ(0) = σ
2
1+
θ12
y
γ(1) = σ 2θ1
A partir de
φh = Γ−1
h γh ,
(22)
se pueden calcular la PACF sin más que hacer α(h) = φh(h).
F. González
13
Predicción de señales: Modelos ARMA
• Para h = 0, α(0) = 1.
• Para h = 1,
• Para h = 2 resulta,
γ(0)φ1 (1) = γ(1) .
θ1
γ(1)
=
.
α(1) = φ1 (1) =
γ(0) 1 + θ12
γ(0) γ(1)
γ(1) γ(0)
φ2(1)
φ2(2)
=
γ(1)
,
0
(23)
(24)
(25)
donde se ha tenido en cuenta que γ(h) = 0 para h > 1 (proceso MA(1)). Por tanto,
θ12
γ 2(1)
=−
.
α(2) = − 2
γ (0) − γ 2(1)
1 + θ12 + θ14
(26)
• En general, la PACF en la muestra h vale
(−θ1)h
α(h) = φh(h) = −
1 + θ12 + · · · + θ12h
F. González
(27)
14
Predicción de señales: Modelos ARMA
La PACF muestral
Si {Xt} es una serie AR(p).
• La PACF obtenida a partir de los valores observados {x1, . . . , xn} tiene que reflejar las
propiedades intrı́secas de la PACF.
• En particular, si la PACF muestral presenta valores significativamente diferentes de cero
para el intervalo 0 ≤ h ≤ p y despreciables para h > p, el modelo AR(p) resulta adecuado.
F. González
15
Predicción de señales: Modelos ARMA
Ejemplos. Gasolinera
Descuadres diarios en la medida de la capacidad de un tanque de una gasolinera de Colorado.
100
Galones
50
0
−50
−100
0
10
20
30
Días
40
50
60
• Si la cantidad de combustible almacenado en el tanque al final del dı́a t es y t,
• si at representa la diferencia entre la cantidad dispensada y la medida reflejada en el
surtidor,
F. González
16
Predicción de señales: Modelos ARMA
• entonces, el descuadre xt se define como xt = yt − yt−1 + at.
• En ausencia de errores en la medida de la capacidad y de fugas, xt = 0.
• En la práctica, estos errores de medida permiten considerar a las cantidades anteriores
como variables aleatorias: Yt, At, Xt, con t = 1, . . . , 57.
Función de autocorrelación (ACF).
1
ACF
0.5
0
−0.5
0
2
4
6
8
10
Muestra
12
14
16
18
20
• Se ha supuesto un modelo MA(1) para dibujar los lı́mites ±1,96n −1/2 (1 + 2ρ̂2(1))1/2
(n = 57).
• ρ̂(h) permanece dentro de los lı́mites anteriores para h > 1, lo cual es compatible con el
F. González
17
Predicción de señales: Modelos ARMA
modelo
Xt = µ + Zt + θZt−1 , {Zt} ∼ WN(0, σ 2) .
(28)
Para estimar la media del descuadre utilizamos el promedio temporal x̄ 57 = −4,035.
Para los parámetros θ, σ 2 utilizaremos la versión muestral de la función de autocovarianza
(ACVF):
(1 + θ2)σ 2 = γ̂(0) = 3415,72
θσ 2 = γ̂(1) = −1719,95
La solución (aproximada) del sistema anterior es θ = −1 y σ 2 = 1708, con lo cual resulta el
modelo MA(1):
Xt = −4,035 + Zt − Zt−1 , {Zt} ∼ WN(0, 1708) .
F. González
18
Predicción de señales: Modelos ARMA
Manchas solares
Serie correspondientes al número de manchas solares S1, . . . , S100 aparecidas en el periodo
1770-1869
160
140
Numero de manchas solares
120
100
80
60
40
20
0
1770
1780
1790
1800
1810
1820
Años
1830
1840
1850
1860
1870
√
Función de autocorrelación parcial (PACF) muestral. Se representan los lı́mites ±1,96/ 100.
√
Como α(h) ∈ ±1,96/ 100, h > 2, aplicamos modelo AR(2):
Xt − φ1Xt−1 − φ2Xt−2 = Zt , {Zt} ∼ WN(0, σ 2) .
(29)
donde Xt = St − 46,93
F. González
19
Predicción de señales: Modelos ARMA
1
0.8
0.6
PACF
0.4
0.2
0
−0.2
−0.4
−0.6
0
5
10
15
20
Muestra
25
30
35
40
Una forma sencilla de ajustar este modelo a los datos consiste en hacer que coincidan los
valores de la autocovarianza muestral en las muestras 0, 1 y 2 con los del modelo AR(2).
• Multiplicando cada lado de la ecuación
Xt − φ1 Xt−1 − · · · − φpXt−p = Zt
por Xt−k y tomando la esperanza matemática, se obtienen las ecuaciones de Yule-Walker
Γp φ = γ p
(30)
σ 2 = γ(0) − φT γ p
(31)
y
F. González
20
Predicción de señales: Modelos ARMA
donde Γp es la matriz de autocovarianza [γ(i − j)]pi,j=1 y γ p = (γ(1), . . . , γ(p))T .
Para el caso p = 2 resulta
γ(0) = γ(1)φ1 + γ(2)φ2 + σ 2
γ(0)φ1 + γ(1)φ2 = γ(1)
γ(1)φ1 + γ(0)φ2 = γ(2)
sustituyendo γ(k) por γ̂(k), donde
γ̂(0) = 1382,2, γ̂(1) = 1114,4 γ̂(2) = 591,73 ,
resulta:
1382,2 = 1114,4φ1 + 591,73φ2 + σ 2
1382,2φ1 + 1114,4φ2 = 1114,4
1114,4φ1 + 1382,2φ2 = 591,73
Finalmente, el modelo AR(2) responde a la expresión
Xt − 1,3175Xt−1 + 0,6342Xt−2 = Zt, con {Zt} ∼ WN(0, 289,179) .
F. González
(32)
21
Predicción de señales: Modelos ARMA
Predicción de procesos ARMA
Algoritmo de innovaciones: permite predecir procesos de segundo orden (y media 0) sin que
éstos tengan que ser necesariamente estacionarios.
Simplificación cuando se aplica a procesos ARMA(p, q) causales
φ(D)Xt = θ(D)Zt , con {Zt} ∼ WN(0, σ 2) .
• Idea: aplicar el procedimiento sobre el proceso transformado


 Wt = 1 X t ,
t = 1, . . . , m
σ
1

 Wt = φ(D)Xt , t > m
σ
donde
m = máx(p, q)
(33)
(34)
◦ {Wt} es un proceso MA para t > m.
Función de autocovarianza de longitud finita.
Simplificación algoritmo de innovaciones.
◦ Se ha expresado cada Xn, n ≥ 1, como una combinación lineal de Wj , con 1 ≤ j ≤ n, y
viceversa.
F. González
22
Predicción de señales: Modelos ARMA
• Si se conoce la función de autocovarianza de {Xt}, las covarianzas κ(i, j) = E(Wi, Wj ) son:


γX (i − j)/σ 2 ,



Pp
1


 2 [γX (i − j) − r=1 φr γX (r − |i − j|)] ,
σ
κ(i, j) =

Pq




r=0 θr θr+|i−j| ,

 0,
F. González
1 ≤ i, j ≤ m
mı́n(i, j) ≤ m,
m < máx(i, j) ≤ 2m
mı́n(i, j) > m
en otro caso.
(35)
23
Predicción de señales: Modelos ARMA
• Aplicando el algoritmo de innovaciones a {Wt} resulta

 Ŵn+1 = Pn ϑnj Wn+1−j − Ŵn+1−j , 1 ≤ n < m
j=1
Pq
 Ŵn+1 =
j=1 ϑnj Wn+1−j − Ŵn+1−j , n ≥ m
(36)
◦ ϑnj = 0, para n ≥ m y para j > q
◦ n = E(Wn+1 − Ŵn+1 )2
Propiedad: el mejor predictor lineal de una variable aleatoria Y , P nY , en función de
{X1, · · · , Xn, 1}, es el mismo que si expresamos Y en función de {W1, · · · , Wn, 1}.
Ŵn+1 = PnWn+1 , X̂n+1 = PnXn+1
Como Pn es un operador lineal, y como


 Wt = 1 X t ,
t = 1, . . . , m
σ
1

 Wt = φ(D)Xt , t > m
σ
es una combinación lineal de Xt, resulta que
F. González


 Ŵt = 1 X̂t ,
1≤t≤m
σh
i
1

 Ŵt =
X̂t − φ1 Xt−1 − · · · − φp Xt−p , t > m
σ
(37)
(38)
24
Predicción de señales: Modelos ARMA
Teniendo en cuenta que
h
i
Xt − X̂t = σ Wt − Ŵt ∀t ≥ 1
se obtiene
X̂n+1
y
P
 n ϑnj Xn+1−j − X̂n+1−j , 1 ≤ n < m
j=1
=
 φ1 Xn + · · · + φp Xn+1−p + Pq ϑnj Xn+1−j − X̂n+1−j , n ≥ m
j=1
E(Xn+1 − X̂n+1 )2 = σ 2E(Wn+1 − Ŵn+1 )2 = σ 2n
F. González
(39)
(40)
(41)
25
Predicción de señales: Modelos ARMA
Predicción de procesos ARMA. Ejemplo
Consideremos el proceso ARMA(1,1)
Xt − φXt−1 = Zt + θZt−1 , con {Zt} ∼ WN(0, σ 2) .
donde |φ| < 1.
(42)
En este caso, X̂n+1 = φXn + θn1 Xn − X̂n , n ≥ 1.
F. González
26
Predicción de señales: Modelos ARMA
Para calcular θn1 es necesario obtener previamente la ACVF
γ(0) = σ
2
∞
X
ψj2
j=0

= σ 2 1 + (θ + φ)2
∞
X
j=0

φ2j 
2
2
(θ
+
φ)
1
+
2θφ
+
θ
2
=
σ
,
= σ2 1 +
1 − φ2
1 − φ2
∞
X
2
ψj+1ψj
γ(1) = σ
j=0
y
2
(θ + φ)
,
= σ2 θ + φ +
1 − φ2
γ(h) = φh−1 γ(1), h ≥ 2 .
F. González
27
Predicción de señales: Modelos ARMA
Introduciendo estas expresiones en la ecuación
resulta


γX (i − j)/σ 2 ,



Pp
1


 2 [γX (i − j) − r=1 φr γX (r − |i − j|)] ,
σ
κ(i, j) =

Pq




r=0 θr θr+|i−j| ,

 0,

1 + 2θφ + θ 2


,


1 − φ2

κ(i, j) = 1 + θ2,


θ,



0,
1 ≤ i, j ≤ m
mı́n(i, j) ≤ m
m < máx(i, j) ≤ 2m
mı́n(i, j) > m
en otro caso.
(43)
i=j=1
i=j≥2
|i − j| = 1, i ≥ 1
en otro caso.
Con estos valores, el algoritmo de innovaciones se reduce a
1 + 2θφ + θ 2
0 =
1 − φ2
1
θ
, n = 1 + θ 2 1 −
θn1 =
n−1
n−1
(44)
(45a)
(45b)
A partir de las ecuaciones anteriores se puede observar que
n → 1 y, como consecuencia, que θn1 → θ
F. González
28
Predicción de señales: Modelos ARMA
Ilustración: predicción del proceso ARMA(1,1):
Xt − 0,5Xt−1 = Zt + 0,2Zt−1 , con {Zt} ∼ WN(0, σ 2) .
(46)
• La matriz de covarianzas [κ(i, j)] viene dada por:





κ=




1,6533 0,2000
0
0
0
0

0,2000 1,0400 0,2000
0
0
0


0
0,2000 1,0400 0,2000
0
0


0
0
0,2000 1,0400 0,2000
0

0
0
0
0,2000 1,0400 0,2000 

..
..
..
..
..
..
.
.
.
.
.
.
(47)
• Algoritmo de innovaciones proporciona los valores
n
Xn+1
1 1.1238
2 1.2606
3 0.5546
4 0.8158
5 1.0050
6 1.4233
7 1.0941
8 -0.1898
9 -0.2167
10 -0.0455
F. González
n
1.6533
1.0158
1.0006
1.0000
1.0000
1.0000
1.0000
1.0000
1.0000
1.0000
θn1
0.1210
0.1969
0.1999
0.2000
0.2000
0.2000
0.2000
0.2000
0.2000
0.2000
X̂n+1
0
0.1359
0.8517
0.2179
0.5275
0.5980
0.8767
0.5905
-0.2510
-0.1015
29
Predicción de señales: Modelos ARMA
Estimación de parámetros del modelo ARMA
Analizaremos cuatro técnicas que permiten hacer una estimación preliminar de los parámetros
φ = (φ1, . . . , φp)T , θ = (θ1, . . . , θq )T y σ 2 a partir de las observaciones x1, . . . , xn de un
proceso ARMA(p, q) causal definido por
φ(D)Xt = θ(D)Zt , con {Zt} ∼ WN(0, σ 2) .
(48)
1. Estimación de Yule-Walker: AR.
2. Algoritmo de Burg: AR.
3. Algoritmo de innovaciones: ARMA.
4. Algoritmo Hannan-Rissanen: ARMA.
F. González
30
Predicción de señales: Modelos ARMA
Estimación de Yule-Walker
Se utiliza para ajustar modelos autorregresivos puros.
• Puede adaptarse a modelos con q > 0, aunque sus prestaciones son peores que las
alcanzadas cuando q = 0.
La condición de causalidad permite expresar el proceso Xt en la forma
Xt =
∞
X
ψj Zt−j
(49)
j=0
donde ψj ↔ Ψ(z) =
1
.
Φ(z)
Multiplicando cada lado de la igualdad por Xt−j y calculando la esperanza matemática se
obtienen las conocidas ecuaciones de Yule-Walker:
Γp φ = γ p
(50a)
σ 2 = γ(0) − φT γ p
(50b)
y
donde Γp = [γ(i − j)]pi,j=1 y γ p = (γ(1), . . . , γ(p))T .
F. González
31
Predicción de señales: Modelos ARMA
La versión “muestral” de las ecuaciones anteriores es
−1
(51a)
φ̂ = R̂p ρ̂p
y
2
h
σ̂ = γ̂(0) 1 −
donde
−1
ρ̂Tp R̂p ρ̂p
ρ̂p = (ρ̂(1), . . . , ρ̂(p))T =
F. González
i
1
γ̂
γ̂(0) p
(51b)
(51c)
32
Predicción de señales: Modelos ARMA
Estimación de Yule-Walker AR(p)
La distribución de los estimadores de Yule-Walker:
1
φ̂ ≈ N (φ, σ 2Γ−1
(52)
p ).
n
"
r #
ˆjj
, donde ˆjj es el elemento j-ésimo de la diagonal de ˆpΓ̂p,
Por tanto φpj ∈ φ̂pj ± Φ1−α/2
n
con probabilidad (1 − α).
Selección del orden
1. Supongamos que φ(D)Xt = Zt con {Zt} ∼ IID(0, σ 2).
−1
• Si ajustamos un modelo AR(m) (m > p), φ̂m = R̂m ρ̂m, entonces φ̂mm (PACF) sigue
1
un modelo N (0, ).
n
◦ Elegir p como el valor entero m más pequeño para el que
√
|φ̂kk | < ±1,96/ n
F. González
33
Predicción de señales: Modelos ARMA
2. Elegir p y φp que minimizan el estadı́stico AICC
AICC = −2 log L(φp, S(φp)/n) +
donde L es la función de verosimilitud gaussiana
2(p + 1)n
n−p−2
(
n
1
1 X (Xj − X̂j (φ))2
2
L(φ, σ ) = p
exp − 2
2σ j=1
j−1
(2πσ 2 )n 0 · · · n−1
σ2 =
y
S(φ) =
AICC = n log(2πσ 2) +
F. González
n−1
X
)
,
(54)
1
S(φ)
n
(55)
n
X
(Xj − X̂j (φ))2
1
log(j ) + 2
nσ
j=0
(56)
j−1
j=1

(53)
n
X
j=1

2(p + 1) 
(Xj − X̂j (φ))2
+
j−1
(n − p − 2)
(57)
34
Predicción de señales: Modelos ARMA
Estimación de Yule-Walker AR(p). Ejemplo
126
1.2
124
1
122
0.8
120
0.6
118
0.4
ACF
Índice Dow−Jones
Índice Dow-Jones de industriales entre el 28 de agosto y el 18 de diciembre de 1972.
116
0.2
114
0
112
−0.2
110
−0.4
108
0
10
20
30
40
Días
50
60
70
80
−0.6
0
10
(a)
20
30
40
Muestra
50
60
70
80
(b)
Función de autocorrelación muestral: caı́da muy lenta.
• Sugerencia: aplicar una operación de diferenciado.
La nueva serie Yt = (1 − D)Dt ya no presenta desviaciones apreciables del comportamiento
estacionario.
Valores muestrales de la función de autocovarianza: γ̂(0) = 0,17992, γ̂(1) = 0,0759,
γ̂(2) = 0,04885, etc.
F. González
35
Predicción de señales: Modelos ARMA
2
0.2
1.5
1
0.1
ACVF
Índice Dow−Jones diferenciado
0.15
0.5
0.05
0
0
−0.5
−1
0
10
20
30
40
Días
50
60
70
80
−0.05
0
10
20
30
(a)
40
Muestra
50
60
70
80
(b)
Aplicando estos valores al algoritmo de Levinson-Durbin resulta
γ̂(1)
= 0,4219
φ̂11 = ρ̂(1) =
γ̂(0)
2
ˆ1 = γ̂(0) 1 − ρ̂ (1) = 0,1479
h
i
φ̂22 = γ̂(2) − φ̂11γ̂(1) /ˆ1 = 0,1138
φ̂22 = φ̂11h − φ̂11φ̂i22 = 0,3739
ˆ2 = ˆ1 1 − φ̂222 = 0,1460.
Función de autocovarianza parcial (PACF) de la serie {Yt}.
F. González
36
Predicción de señales: Modelos ARMA
1
0.8
PACF
0.6
0.4
0.2
0
−0.2
0
5
10
15
Retardo
20
25
30
√
• Lı́mites ±1,96/ 77 sugieren modelo AR(1).
Corrección de la media: Xt = (Yt − 0,1336)
• Modelo para {Xt}
Modelo para {Yt}:
Xt − 0,4219Xt−1 = Zt , con {Zt} ∼ WN(0, 0,1479) .
(Yt − 0,1336) − 0,4219 (Yt−1 − 0,1336) = Zt , con {Zt} ∼ WN(0, 0,1479).
F. González
(58)
(59)
37
Predicción de señales: Modelos ARMA
Si suponemos que los datos realmente proceden de un modelo AR con p = 1, los intervalos de
confianza del 95 % para el coeficiente autorrecurrente φ̂11 = 0,4219 es
r
1
(60)
φ̂11 ± 1,96
γ̂(0)n
s
0,1479
= (0,2194, 0,6244)
(61)
0,4219 ± 1,96
(0,17992)77
F. González
38
Predicción de señales: Modelos ARMA
Algoritmo de Burg
El algoritmo de Yule-Walker calcula los coeficientes φ̂p1, . . . , φ̂pp con los que se construye el
“mejor” predictor lineal de Xp+1 en función de {Xp, . . . , X1}; para ello ha de suponerse que los
valores (verdaderos) de la función de autocorrelación de {X t} coinciden en la muestras 1, . . . , p con
los de la muestral.
El algoritmo de Burg estima los coeficientes de la PACF {φ11 , φ22, . . .} minimizando sucesivamente
las sumas de los errores de predicción de orden 1 hacia adelante y hacia atrás respecto de los
coeficientes φii. A continuación se aclara el algoritmo.
A partir de la observaciones {x1, . . . , xn} de un proceso estacionario de media 0, Xt, definimos:
Error de predicción hacia adelante. eFi (t), t = i + 1, . . . , n y 0 ≤ i < n, es la diferencia entre xt
y la mejor estima lineal de xt en función de los i términos precedentes.
eFi (t) = xt − x̂Ft = xt − ` (xt−1 , . . . , xt−i )
(62)
Error de predicción hacia atrás. eB
i (t), t = i + 1, . . . , n y 0 ≤ i < n, es la diferencia entre x t−i
y la mejor estima lineal de xt−i en función de los i términos siguientes.
B
eB
i (t) = xt−i − x̂t−i = xt−i − ` (xt−i+1 , . . . , xt )
F. González
(63)
39
Predicción de señales: Modelos ARMA
Es fácil demostrar que estas secuencias de error satisfacen las recursiones
F
eB
0 (t) = e0 (t) = xt
(64a)
B
F
eB
i (t) = ei−1 (t − 1) − φii ei−1 (t)
(64b)
eFi (t) = eFi−1 (t) − φiieB
i−1 (t − 1)
(64c)
Las estima de Burg φ̂11 se halla minimizando
n
σ12
X
1
2
F
2
=
(t))
+
(e
(t))
(eB
1
1
2(n − 1) t=2
(65)
respecto de φ11. Es fácil demostrar que φ11 satisface
n
2 X F
e0 (t)eB
φ11 =
0 (t − 1) ,
d(1) t=2
donde
d(1) =
n
X
i=2
x2i
+
x2i−1
=
n
X
i=2
(eF0 (t))2
+
(eB
0 (t
(66)
2
− 1)) .
(67)
F
2
Una vez calculado el valor φ̂11, se obtienen los valores numéricos de eB
1 (t), e1 (t) y σ1 .
Sustituyéndolos en las expresiones (64) es posible obtener los errores para i = 2. Ahora, la
F. González
40
Predicción de señales: Modelos ARMA
minimización de
n
σ22
conduce hacia el valor
donde
X
1
2
F
2
=
(t))
+
(e
(t))
(eB
2
2
2(n − 2) t=3
(68)
n
2 X F
e1 (t)eB
φ̂22 =
1 (t − 1) ,
d(2) t=3
d(2) = 1 −
φ̂211
2
d(1) − (eF1 (2))2 − (eB
1 (n)) .
(69)
(70)
El proceso anterior puede repetirse sucesivamente hasta obtener la estima
PpXp+1 = φp1Xp + · · · + φpp X1
donde los coeficientes φpj se obtienen aplicando el algoritmo de Levinson-Durbin:
 




φp−1,p−1
φp−1,1
φp1
...
...
 − φpp 

 ...  = 
φp,p−1
φp−1,p−1
φp−1,1
(71)
(72)
La distribución (para un número elevado de muestras) de los coeficientes proporcionados por el
F. González
41
Predicción de señales: Modelos ARMA
algoritmo de Burg es idéntica a la correspondiente a la estimación de Yule-Walker:
1
φ̂p ∼ N(φ, σ 2Γp)
n
(73)
Para concluir, a continuación se resume el algoritmo de Burg.
d(1) =
n
X
i=2
x2i
+
x2i−1
,
n
2 X F
ei−1 (t)eB
φ̂ii =
i−1 (t − 1) ,
d(i) t=i+1
2
2
d(i + 1) = 1 − φ̂ii d(i) − (eFi (i + 1))2 − (eB
i (n)) ,
h
i
1
2
2
1 − φ̂ii d(i)
σi =
2(n − i)
F. González
(74)
(75)
(76)
(77)
42
Predicción de señales: Modelos ARMA
Algoritmo de Burg: Ejemplo
Ejemplo 0.1 Volvemos a considerar el ı́ndice (diferenciado y corregido en media) de
Dow-Jones de industriales, aunque esta vez aplicaremos el algoritmo de Burg. El resultado es
el modelo
Xt − 0,4371Xt−1 = Zt ∼ WN(0, 0,1423)
(78)
Nótese la pequeña diferencia respecto del modelo obtenido con el algoritmo de Yule-Walker.
Como veremos más adelante, el modelo obtenido con el método de Burg tiene una mayor
verosimilitud, lo cual quiere decir que minimiza el estadı́stico AICC. Los lı́mites de confianza
0,4371
= (0,2354, 0,6388).
para el coeficiente φ son: 0,4371 ±
2,1668
F. González
43
Predicción de señales: Modelos ARMA
Algoritmo de Burg: Ejemplo
Ejemplo 0.2 En este ejemplo consideramos el problema de ajustar un modelo a la serie
correspondiente al nivel del lago Hurón sin haber eliminado previamente la tendencia; esta
serie vuelve a mostrarse en la Figura 1.
12
11
10
9
8
7
6
1880
1890
1900
1910
1920
1930
1940
1950
1960
1970
Figura 1: Nivel del lago Hurón.
F. González
44
Predicción de señales: Modelos ARMA
1
1
0.8
0.8
0.6
0.6
PACF
ACF
Su función de autocorrelación (ACF) y la función de autocorrelación parcial (PACF) se
muestran en las Figura 2. La PACF muestral indica que el modelo AR(2) se puede ajustar
0.4
0.4
0.2
0.2
0
0
−0.2
−0.2
0
5
10
15
20
Muestra
(a)
25
30
35
40
0
5
10
15
20
retardo
25
30
35
40
(b)
Figura 2: (a) Función de autocorrelación muestral. (b) Función de autocorrelación parcial.
bien a los datos corregidos en media, Xt = Yt − 9,0041. Si se utiliza el algoritmo de Burg se
obtiene el modelo
Xt − 1,0449Xt−1 + 0,2456Xt−2 = Zt {Zt} ∼ WN(0, 0,4706)
F. González
(79)
45
Predicción de señales: Modelos ARMA
siendo los lı́mites del 95 % de confianza
1,0449
= (0,8559, 1,2339)
5,5295
0,2456
= (−0,4346, −0,0566) .
φ2 : −0,2456 ±
1,2997
φ1 : 1,0449 ±
(80)
Si hubiésemos utilizado el algoritmo de Yule-Walker, el resultado hubiera sido
Xt − 1,0538Xt−1 + 0,2668Xt−2 = Zt {Zt} ∼ WN(0, 0,4920)
(81)
siendo los lı́mites del 95 % de confianza
1,0538
= (0,8630, 1,2446)
5,5227
0,2668
= (−0,4576, −0,0760) .
φ2 : −0,2668 ±
1,3980
φ1 : 1,0538 ±
(82)
Al igual que en el ejemplo anterior, el modelo de Burg proporciona una varianza de ruido
menor y una verosimilitud gaussiana mayor.
F. González
46
Predicción de señales: Modelos ARMA
Algoritmo de Innovaciones
Lo mismo que se han utilizado modelos autorregresivos, también podemos utilizar el modelo de
promedio móvil
(83)
Xt = Zt + θ̂m1Zt−1 + · · · + θ̂mmZt−m {Zt} ∼ WN(0, ˆm)
cuyos parámetros θmj y m se calculan con el algoritmo de innovaciones.
Los lı́mites de confianza de los parámetros θ̂ q = θ̂m1, . . . , θ̂mq
θ̂mj ± 1,96n−1/2
j−1
X
i=0
2
θmi
!1/2
T
.
vienen determinados por
(84)
Para la selección del orden pueden seguirse las siguientes técnicas.
• Conocemos que para procesos MA(q), la función de autocorrelación ρ(m) es cero para
m > q. Es más, conocemos por la fórmula de Bartlett que la función de autocorrelación
muestral ρ̂(m), para m > q tiene una distibución normal de media ρ(m) = 0 y varianza
−1
2
2
n 1 + 2ρ (1) + · · · + 2ρ (q)
F. González
47
Predicción de señales: Modelos ARMA
Por tanto, y como receta práctica, consideraremos que los valores de la función de
autocorrelación muestral son distintos de cero cuando sus valores absolutos superan el
√
lı́mite 1,96/ n.
• Para modelos
AR, ressulta
más sistemático encontrar el orden q y el vector de parámetros
T
θ̂ q = θ̂m1, . . . , θ̂mq que minimizan el estadı́stico AICC
AICC = −2 log {L(θ q , S(θ q )/n)} + 2(q + 1)n/(n − q − 2) ,
(85)
donde L es la función de verosimilitud gaussiana.
F. González
48
Predicción de señales: Modelos ARMA
Algoritmo de Innovaciones cuando p, q > 0
La condición de causalidad asegura que se cumple
Xt =
∞
X
ψj Zt−j
(86)
j=0
donde los coeficientes ψj satisfacen
mı́n(j,p)
ψj = θ j +
X
φiψj−i, j = 0, 1, . . .
(87)
i=1
y θ0 = 1, θj = 0 para j > q. Para estimar ψ1, . . . , ψp+q se pueden utilizar las estimas
proporcionadas por el algoritmo de innovaciones, θ̂m1, . . . , θ̂m,p+q . Ası́, si se sustituye ψj por θ̂mj , se
obtiene
mı́n(j,p)
X
φiθ̂m,j−i , j = 1, . . . , p + q .
(88)
θ̂mj = θj +
i=1
F. González
49
Predicción de señales: Modelos ARMA
El vector de coeficiente φ̂ se obtiene a partir de la resolución de las últimas q ecuaciones anteriores:

 


θ̂m,q
θ̂m,q+1
θ̂m,q−1 · · · θ̂m,q+1−p
φ1

 


· · · θ̂m,q+2−p   φ2 
θ̂m,q
 θ̂m,q+1   θ̂m,q+1
(89)
 ..
=
  ..  .
...
...
...
...
.
 
 . 
φp
θ̂m,q
θ̂m,q+p
θ̂m,q+p−1 θ̂m,q+p−2 · · ·
Una vez que se obtiene el vector φ̂ se procede a la estima de θ̂:
mı́n(j,p)
θ̂j = θ̂mj +
X
φ̂iθ̂m,j−i , j = 1, . . . , q .
(90)
i=1
Para finalizar, la varianza del ruido se obtiene a partir de la ecuación
2
n
1 X Xt − X̂t
2
σ̂ =
n t=1
t−1
F. González
(91)
50
Predicción de señales: Modelos ARMA
Algoritmo Hannan-Rissanen
La derivación del vector de coeficientes óptimo (en el sentido de minimización del error cuadrático
medio) φ = (φ1, . . . , φp)T en un modelo AR(p) es un problema lineal. Sin embargo, cuando q > 0,
la estimación se vuelve no lineal. En efecto, para un modelo ARMA(p, q), no solo se realiza la
regresión de Xt sobre Xt−1 , . . . , Xt−p sino también sobre las cantidades (no observadas)
Zt−1 , . . . , Zt−q .
Para resolver este inconveniente, se propuso el algoritmo de Hannan-Risanen.
1. Elegir un modelo AR(m) con m > máx(p, q) y ajustarlo a los datos siguiendo el método de
Yule-Walker. Definir los residuos estimados como
Ẑt = Xt − φ̂m1Xt−1 − · · · − φ̂mmXt−m
(92)
con t = m + 1, . . . , n.
F. González
51
Predicción de señales: Modelos ARMA
2. Estimar el vector de parámetros β = (φT , θ T )T a partir de la regresión lineal de Xt sobre el
vector (Xt−1 , . . . , Xt−p , Ẑt−1 , . . . , Ẑt−q ). Este vector de parámetros, por tanto, debe minimizar
n
2
X
Xt − φ1Xt−1 − · · · − φpXt−p − θ1Ẑt−1 − · · · − θq Ẑt−q .
(93)
S(β) =
t=m+1
Este procedimiento proporciona el estimador de Hannan-Rissanen
−1 T
T
Z Xn
β̂ = Z Z
donde X n = (Xm+1 , . . . , Xn)T y

Xm Xm−1

Xm
X
Z =  m+1
...
 ...
Xn−1 Xn−2
· · · Xm−p+1 Ẑm Ẑm−1
· · · Xm−p+2 Ẑm+1 Ẑm
...
...
...
...
· · · Xn−p Ẑn−1 Ẑn−2
· · · Ẑm−q+1
· · · Ẑm−q+2
...
...
· · · Ẑn−q
La estima de la varianza del ruido blanco proporcionada por este método es
2
=
σ̂HR
S(β̂)
n−m
(94)



 .

(95)
(96)
3. (opcional) Utilizar la estima del vector de parámetros
β̂ = (φ̂1, . . . , φ̂p, θ̂1, . . . , θ̂1)T
F. González
52
Predicción de señales: Modelos ARMA
para definir
Z̃t =
0,
si t ≤ máx(p, q)
Pp
Pq
Xt − j=1 φ̂j Xt−j − j=1 θ̂j Z̃t−j , si t > máx(p, q).
A partir de esta nueva secuencia definimos las secuencias Vt y Wt como
0,
si t ≤ máx(p, q)
Ṽt = Pp
j=1 φ̂j Vt−j + Z̃t , si t > máx(p, q).
0,
si t ≤ máx(p, q)
Pq
W̃t =
− j=1 θ̂j Wt−j + Z̃t, si t > máx(p, q).
(97)
(98)
(99)
(Nótese que Vt y Wt satisfacen las recursiones AR φ̂(D)Vt = Z̃t y θ̂(D)Wt = Z̃t). Si se realiza
la regresión lineal de Z̃t sobre
(Vt−1 , . . . , Vt−p , Wt−1 , . . . , Wt−p )T
y el vector de parámetros que minimiza

2
p
q
n
X
X
X
†

βj Vt−j −
βk+p Wt−k 
Z̃t −
S (β) =
t=max(p,q)+1
†
j=1
(100)
k=1
†
es β̂ , la nueva estima del vector de parámetros β̃ es β̂ + β̂.
F. González
53
Predicción de señales: Modelos ARMA
Ejemplo 0.3 Si utilizamos un modelo ARMA(1,1) para ajustar la serie, corregida en media,
correspondiente al nivel del lago Hurón, se obtiene el modelo
Xt − 0,7234Xt−1 = Zt + 0,3596Zt−1 , con {Zt} ∼ WN(0, 0,4757)
(101)
Los intervalos de confianza para estos parámetros son
0,7234
= (0,4978, 0,9490)
3,2064
0,3596
= (0,1654, 0,5538) .
θ : 0,3596 ±
1,8513
φ : 0,7234 ±
F. González
(102)
54
Fly UP