Sobre los ceros en la matriz de precisión

En esta entrada se explica cómo interpretar la aparición de ceros en algunas posiciones de la matriz de precisión de un vector aleatorio, que es la inversa de su matriz de covarianzas.

Un ejemplo

Supongamos que \epsilon_1, \epsilon_2 y \epsilon_3 son v.a.i.i.d. con distribución normal estándar y definamos las variables

X_1=\epsilon_1,

X_2=0.8X_1 + \epsilon_2,

X_3 = 0.8X_1 +\epsilon_3.

Es muy fácil calcular la matriz de covarianzas \Sigma del vector X:=(X_1,X_2,X_3):

\Sigma = \left(\begin{array}{ccc} 1 & 0.8 & 0.8 \\ 0.8 & 1.64 & 0.64 \\ 0.8 & 0.64 & 1.64 \end{array}\right).

Ninguna de las covarianzas es igual a cero, lo que indica que existen relaciones lineales entre cada par de variables. Esto es obvio si consideramos la relación entre X_1 y X_2 o entre X_1 y X_3 a partir de las correspondientes definiciones. Sin embargo, aunque  también existe una relación lineal entre X_2 y X_3, es una relación lineal inducida por la influencia que X_1 ejerce sobre ambas. Una vez eliminado el efecto de X_1 no habría relación alguna entre X_2 y X_3. De hecho, dado que el vector X es normal, las variables X_2 y X_3 son independientes si condicionamos al valor de X_1, lo que implica que una vez conocido el valor de X_1, el conocimiento de X_2 no aporta ninguna información para predecir X_3, y recíprocamente.

En la matriz \Sigma están mezcladas las relaciones lineales directas e indirectas entre las variables por lo que a partir de \Sigma no podemos distinguir entre ellas. Sin embargo, existe una manera fácil de detectar cuándo la única relación lineal entre dos variables es la inducida por la influencia del resto. El método tiene que ver con la inversa de \Sigma, que a veces se llama matriz de precisión \Omega = \Sigma^{-1}. En nuestro ejemplo tenemos:

\Omega = \Sigma^{-1} = \left(\begin{array}{ccc} 2.28 & -0.8 & -0.8 \\ -0.8 & 1  & 0 \\ -0.8 & 0 & 1 \end{array}\right).

Observamos que en las posiciones correspondientes a las variables X_2 y X_3 aparecen ceros. Esto no es casualidad ya que siempre que en una posición de la matriz de precisión aparece un cero, la única relación lineal entre las variables correspondientes a la fila y la columna de esa posición es la inducida por el resto de variables. Por lo tanto, la detección de variables condicionalmente incorreladas requiere únicamente identificar los ceros de la matriz de precisión.

Demostración

A continuación se da una demostración de las afirmaciones anteriores en el caso de vectores con distribución normal. Se demuestra que si la matriz de precisión tiene un cero en una posición dada, el coeficiente de correlación parcial entre las dos variables correspondientes se anula. Se asume que existen todas las matrices inversas que aparecen:

Demostracion

 

Más información

Los problemas de estimación cuando se impone que algunas variables son condicionalmente incorreladas (lo que equivale como hemos visto a imponer que algunas entradas de la matriz de precisión valen cero) fueron originalmente estudiados por Dempster (1972) en un artículo clásico (más de mil citas).

La estimación de matrices de precisión, especialmente en el caso de vectores de alta dimensión para los que la matriz de precisión tiene muchos ceros (es sparse), ha recibido cierta atención en la literatura estadística reciente y es la base de los llamados modelos gráficos gausianos (GGM).

Algunas referencias relacionadas:

Dempster, A. P. (1972). Covariance selectionBiometrics, 157-175.

Lauritzen, S. L. (1996). Graphical models. Clarendon Press.

Meinshausen, N., y Bühlmann, P. (2006). High-dimensional graphs and variable selection with the lassoThe Annals of Statistics, 1436-1462.

 

 

 

Anuncios
Esta entrada fue publicada en estadística y etiquetada , . Guarda el enlace permanente.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s