El próximo día 29 de marzo de 2019 a las 10:00 tendremos en la sala 520 del Departamento de Matemáticas (módulo 17 de la Facultad de Ciencias) la VIII jornada estadística UAM, con diferentes charlas de miembros del departamento y de algunos profesores invitados de otras universidades.
Este es el programa completo de la jornada:
¿Qué es jamovi?
Jamovi es un programa gratuito para realizar cálculos estadísticos. Su apariencia es la de una hoja de cálculo, pero es una interfaz gráfica de R (en inglés, una GUI, Graphical User Interface). Cada vez que elegimos una opción del menú de análisis, en realidad se ejecuta código de R para llevar a cabo los cálculos, sin embargo R está encapsulado dentro del programa y el usuario no se entera de ello, si así lo desea.
Diseñado para competir con SPSS
El programa parece estar diseñado para competir con SPSS. El aspecto general de los cuadros de diálogo es muy similar y no tiene problema para abrir los ficheros de datos .sav de SPSS como si fueran propios.
Creo que tiene algunos rasgos generales que mejoran a SPSS:
Posible software para un curso de introducción a la estadística
El menú tiene bastantes menos funciones que SPSS, pero suficientes para un curso de introducción a la estadística. En cualquier caso las funciones se pueden ampliar a través de una serie de módulos que se instalan fácilmente. La idea es que progresivamente los usuarios puedan añadir más módulos, a la manera de los paquetes de R.
La versión que yo he manejado incluye, entre otras funciones:
de bondad de ajuste… En los contrastes es fácil elegir si se desea un llevar a cabo un contraste bilateral o unilateral (opción que SPSS tampoco tiene).Mi impresión es que se trata de un proyecto con posibilidades aunque aún no se sabe cómo va a evolucionar y si al final la comunidad de usuarios será grande. Lo he estado usando (alternándolo con SPSS) en un curso de introducción a la estadística que acabo de impartir y la experiencia ha sido positiva: el manejo básico se aprende en 10 minutos, lo que se aprende es útil para trabajar después con SPSS si es necesario y los estudiantes lo pueden instalar sin problemas de licencia en sus ordenadores.
Opciones que he echado de menos
He echado de menos algunas opciones:
Recursos
Algunos enlaces útiles para el que se anime a probar:
Cuando la dimensión de los datos es muy alta (se miden para cada individuo muchas variables) muchas regiones del espacio muestral están vacías de datos por lo que algunos métodos estadísticos fallan. Un ejemplo son los métodos que requieren optimizar funciones complicadas que dependen de muchas variables, ya que el espacio a explorar buscando el óptimo es demasiado extenso. Este fenómeno se conoce con el nombre de maldición de la dimensionalidad.
Sin embargo medir más variables también significa tener más información, lo que para la mayoría de los propósitos debería ser positivo. En esta entrada se da un ejemplo de bendición de la dimensionalidad en un problema de clasificación de datos funcionales. Es la explicación que subyace al fenómeno de “clasificación perfecta” descrito por Delaigle y Hall en 2012. A su vez, como veremos, este fenómeno tiene conexiones con la teoria de espacios de Hilbert con núcleo reproductor (RKHS).
Clasificación supervisada
Se dispone de dos muestras de funciones procedentes de dos posibles poblaciones. El problema consiste en clasificar una nueva función, independiente de las muestras anteriores y cuya procedencia se desconoce, en una de las dos posibles poblaciones. Cuestiones relacionadas con este problema ya las hemos tratado en este blog anteriormente.
Si en lugar de funciones se dispone de vectores de 
El efecto de considerar cada vez más variables: dos posibilidades
Al añadir más variables la distancia de Mahalanobis
Supongamos que la matriz de covarianzas tiene rango 
Si añadimos una sucesión infinita de variables, entonces alcanzaremos una clasificación perfecta si y solo si la serie 
Aunque puede parecer un poco artificial eso de “añadir una sucesión infinita de variables”, cuando los datos son funcionales esa es exactamente la situación. Si suponemos que el espacio en el que viven las funciones es por ejemplo ![L_2[0,1]](https://s0.wp.com/latex.php?latex=L_2%5B0%2C1%5D&bg=ffffff&fg=333333&s=0 "L_2[0,1]")
Si no hay clasificación perfecta, la regla óptima en el caso de datos funcionales es la extensión inmediata de la fórmula de Fisher, es decir, clasificar 
![w\in L_2[0,1]](https://s0.wp.com/latex.php?latex=w%5Cin+L_2%5B0%2C1%5D&bg=ffffff&fg=333333&s=0 "w\in L_2[0,1]")
La conexión con los espacios de Hilbert con núcleo reproductor
En la primera parte de un artículo publicado este año [Berrendero, Cuevas y Torrecilla (2018)] hemos reinterpretado estas expresiones en términos de la teoría RKHS mejorando así los resultados de Delaigle y Hall. Es posible demostrar que hay clasificación perfecta de datos funcionales si y solo si la función de medias
La conexión con la dicotomía de Feldman-Hájek
Dos medidas de probabilidad son equivalentes si dan probabilidad cero a exactamente los mismos sucesos y son mutuamente singulares si existe un suceso que tiene probabilidad cero para una medida y probabilidad uno para la otra. La llamada dicotomía de Feldman-Hájek afirma que dos medidas gaussianas sobre espacios muy generales, y en particular en
En nuestro artículo observamos que la condición de clasificación perfecta de datos funcionales que hemos visto es equivalente a que las medidas de probabilidad correspondientes a las dos poblaciones entre las que queremos clasificar sean mutuamente singulares. Si queremos clasificar una función en este caso y existe un conjunto de funciones con probabilidad uno para una población y probabilidad cero para la otra, basta identificar si la función está en este conjunto o no para clasificarla sin probabilidad de error. En la práctica puede ser difícil llevar a cabo esta identificación.
Un ejemplo: el movimiento browniano
Consideramos dos muestras de movimientos brownianos estándar, en la primera de ellas -la de color azul en el gráfico- la media es cero (consiste en realizaciones independientes de ![B(t),\, t\in[0,1]](https://s0.wp.com/latex.php?latex=B%28t%29%2C%5C%2C+t%5Cin%5B0%2C1%5D&bg=ffffff&fg=333333&s=0 "B(t),\, t\in[0,1]")
![m(t) + B(t),\, t\in [0,1]](https://s0.wp.com/latex.php?latex=m%28t%29+%2B+B%28t%29%2C%5C%2C+t%5Cin+%5B0%2C1%5D&bg=ffffff&fg=333333&s=0 "m(t) + B(t),\, t\in [0,1]")
La función de covarianzas del browniano es 
![m'\in L_2[0,1]](https://s0.wp.com/latex.php?latex=m%27%5Cin+L_2%5B0%2C1%5D&bg=ffffff&fg=333333&s=0 "m'\in L_2[0,1]")
Puede demostrarse que la regla óptima en este ejemplo consiste en clasificar una función 
En el gráfico anterior la tendencia es lineal positiva 
Es llamativo en este ejemplo que lo único que necesitamos saber de una trayectoria para clasificarla de forma optima es el nivel en que acaba. De hecho, en el artículo damos una condición suficiente sobre la función media
Para simplificar la discusión anterior he supuesto que todos los parámetros de las poblaciones son conocidos. En la práctica al añadir más variables -y en particular si tratamos con datos funcionales- los problemas de estimación que hay que resolver son cada vez más complejos, y es en este punto donde la dimensionalidad comienza a mostrar su lado maldito.
Referencias
Berrendero, J.R., Cuevas, A. y Torrecilla, J.L. (2018). On the use of reproducing kernel Hilbert spaces in functional classification. Journal of the American Statistical Association, 113, 1210-1218. Preprint | Material suplementario
Delaigle, A., y Hall, P. (2012). Achieving near perfect classification for functional data. Journal of the Royal Statistical Society: Series B, 74, 267-286.
Si 
![[0,1]](https://s0.wp.com/latex.php?latex=%5B0%2C1%5D&bg=ffffff&fg=333333&s=0 "[0,1]")
¿Existe alguna transformación similar para convertir vectores aleatorios de dimensión ![[0,1]^p](https://s0.wp.com/latex.php?latex=%5B0%2C1%5D%5Ep&bg=ffffff&fg=333333&s=0 "[0,1]^p")
En el apartado siguiente describimos con detalle la transformación en el caso bidimensional, en especial en el importante caso en que los datos tienen distribución normal bidimensional. Luego comentamos una posible aplicación.
La transformación de Rosenblatt en el caso bidimensional
Consideremos vectores bidimensionales 
, donde 
es la función de distribución marginal de 
.
, donde 
es la distribución de 
condicionada a 
.Se puede demostrar que el vector 
![[0,1]^2](https://s0.wp.com/latex.php?latex=%5B0%2C1%5D%5E2&bg=ffffff&fg=333333&s=0 "[0,1]^2")
Por ejemplo, consideremos el caso en que 
Por las propiedades de la distribución normal 
![u_1 = \Phi[(x_1-\mu_1)/\sigma_1]](https://s0.wp.com/latex.php?latex=u_1+%3D+%5CPhi%5B%28x_1-%5Cmu_1%29%2F%5Csigma_1%5D&bg=ffffff&fg=333333&s=0 "u_1 = \Phi[(x_1-\mu_1)/\sigma_1]")
, donde es la función de distribución normal estándar.![u_2 = \Phi[(x_2-\mu_{2.1})/\sigma_{2.1}]](https://s0.wp.com/latex.php?latex=u_2+%3D+%5CPhi%5B%28x_2-%5Cmu_%7B2.1%7D%29%2F%5Csigma_%7B2.1%7D%5D&bg=ffffff&fg=333333&s=0 "u_2 = \Phi[(x_2-\mu_{2.1})/\sigma_{2.1}]")
.Aplicación a los contrastes de bondad de ajuste
La transformación en el caso unidimensional se usa, por ejemplo, para demostrar que el estadístico del contraste de Kolmogorov-Smirnov tiene siempre la misma distribución bajo la hipótesis nula (es de distribución libre) cuando la distribución de los datos bajo la nula es continua. En este blog también hemos usado esta propiedad en una entrada anterior para resolver un problema suponiendo datos uniformes sin perder generalidad.
En el caso multivariante la propiedad también se puede usar para construir un contraste de bondad de ajuste a una distribución continua dada 
El siguiente código de R es una implementación de esta transformación para datos normales bidimensionales:
library(MASS)
# Rosenblatt (p = 2)
rosenblatt = function(x, mu, sigma){
# x es una matriz de n x 2 datos
# mu es el vector de medias teorico de x
# sigma es la matriz de covarianzas teorica de x
mu2.1 = mu[2] + sigma[1,2] * (x[,1] - mu[1]) / sigma[1,1]
sigma2.1 = sigma[2,2] - sigma[1,2]^2/sigma[1,1]
u1 = pnorm((x[,1] - mu[1])/sqrt(sigma[1,1]))
u2 = pnorm((x[,2] - mu2.1)/sqrt(sigma2.1))
return(cbind(u1, u2))
}
#-------------------------------------------------------------
n = 1000
mu = c(2, 3)
sigma = matrix(c(1, 0.8, 0.8, 1), 2)
x = mvrnorm(n, mu, sigma)
colnames(x) = c("x1", "x2")
u = rosenblatt(x, mu, sigma)
layout(matrix(1:2, 1))
plot(x, pty="s", pch=16, cex=0.5)
plot(u, pty="s", pch=16, cex=0.5)
La segunda parte del código anterior genera una muestra aleatoria de datos normales bidimensionales con correlación 0,8 y la transforma en una muestra uniforme en el cuadrado unidad:
Si por ejemplo generamos datos normales, luego los elevamos a 1,2 (con lo que dejan de ser normales) y aplicamos la misma transformación anterior obtenemos:
Si detectamos la falta de uniformidad en el gráfico de la derecha (que parece clara por los puntos que se acumulan en la parte superior derecha del gráfico) esto permite rechazar la hipótesis de normalidad en los datos de la izquierda. Como hemos dicho antes, cualquier contraste de bondad de ajuste a una distribución continua bidimensional se reduce a saber contrastar la uniformidad en un cuadrado.
El código del último ejemplo es el siguiente:
n = 1000
mu = c(2, 3)
sigma = matrix(c(1, 0.8, 0.8, 1), 2)
x = mvrnorm(n, mu, sigma)^(1.2)
colnames(x) <- c('x1', 'x2')
u = rosenblatt(x, mu, sigma)
layout(matrix(1:2, 1))
plot(x, pty='s', pch=16, cex=0.5)
plot(u, pty='s', pch=16, cex=0.5)
El caso general
En el caso de dimensión arbitraria
, donde es la función de distribución marginal de ., donde es la distribución de condicionada a .
, donde 
es la distribución de 
condicionada a 
.Una última observación es que en realidad hay 
Referencias
Rosenblatt, M. (1952). Remarks on a multivariate transformation. The Annals of Mathematical Statistics, 23, 470-472.
Dos borrachos salen de un bar y dan pasos de un metro de longitud, cada paso en una dirección aleatoria e independiente de la dirección de los pasos anteriores. Si uno de ellos da 
A continuación se muestran dos trayectorias de 1000 pasos (en rojo) y 3000 pasos (en azul). El bar es el punto negro y los puntos finales de los dos paseos se han marcado en rojo y azul, respectivamente. En este caso el borracho que da más pasos ha acabado más cerca. ¿Cuál es la probabilidad de que esto ocurra?
Caminos o paseos aleatorios
El término paseo aleatorio (random walk) fue utilizado por primera vez por Karl Pearson en una carta a la revista Nature publicada en 1905 cuyo título era The problem of the random walk. Ese mismo año Einstein publicó también su trabajo sobre el movimiento browniano, que puede entenderse como límite de una sucesión de caminos aleatorios. El símil del borracho ya aparece en la propia carta de Pearson que, comentando un resultado de Rayleigh, acaba con la frase
The lesson of Lord Rayleigh’s solution is that in open country the most probable place to find a drunken man who is at all capable of keeping on his feet is somewhere near his starting point!
El teorema de Rayleigh
Este resultado se puede usar para responder a la segunda de las preguntas que hacíamos al principio de la entrada. Consideramos caminos aleatorios que comienzan en el origen del plano y se mueven 
Como consecuencia de este teorema la probabilidad de que dando 1000 pasos, el borracho acabe a menos de un metro del bar es 1/1001.
En Bernardi (2013) se proporciona una breve demostración de un resultado más general: si las longitudes de los pasos son variables aleatorias i.i.d. no negativas, consideramos dos trayectorias independientes de 
El teorema de Rayleigh es un caso particular para 
En nuestro ejemplo inicial la probabilidad de que el borracho que da 3000 pasos acabe más cerca del bar que el que da 1000 es de 1/4. Las apuestas a favor de quedar más cerca del bar dando 1000 pasos que dando 3000 (odds ratio) están 3 a 1, lo cual es bastante intuitivo. Esta probabilidad no depende de la distribución de la variable aleatoria que representa la longitud de los pasos, siempre que sea la misma para los dos borrachos.
Código en R
El código en R utilizado para obtener las trayectorias de los caminos aleatorios anteriores es prácticamente el mismo que el que aparece en el siguiente tuit de Antonio S. Chinchón (@aschinchon) cuya lectura me ha sugerido esta entrada (las únicas diferencias son que he sustituido geom_polygon() por geom_path(), he elegido las direcciones con distribución uniforme continua en lugar de discreta y he añadido los puntos final e inicial de cada trayectoria):
En realidad esta entrada sirve como excusa para señalar lo elegantes y misteriosas que resultan las trayectorias cuando se sustituye geom_path() por geom_polygon(). Por ejemplo, esta es una trayectoria correspondiente a 2500 pasos cuando se usa geom_polygon():
Referencia
Bernardi, O. (2013). A Short Proof of Rayleigh’s Theorem with Extensions. The American Mathematical Monthly, 120, 362-364. Preprint.
¿Cuándo una regla lineal es equivalente a una cuadrática?
Las reglas de clasificación cuadráticas son muy flexibles y permiten distinguir poblaciones que difieren no solo en las medias sino también en la estructura de covarianzas. De hecho, si queremos clasificar entre dos poblaciones normales con matrices de covarianzas distintas, la regla óptima (o regla Bayes) es cuadrática.
Pero incluso en situaciones en las que la regla de clasificación óptima es cuadrática, es posible que no se pierda nada (en términos de error de clasificación) al sustituirla por una regla lineal más simple. Consideremos el ejemplo siguiente:
En este ejemplo tenemos dos muestras de entrenamiento procedentes de poblaciones normales con matrices de covarianzas diferentes. La regla de clasificación óptima es cuadrática y corresponde a la línea discontinua del gráfico. Está claro que si la cambiamos por una regla lineal no perdemos nada en error de clasificación y que la complejidad que introducen los términos cuadráticos es superflua en este caso. Podemos usar una regla lineal, mucho más simple y fácil de interpretar.
Aproximación de reglas cuadráticas mediante productos de hiperplanos
En un artículo que se publicará proximamente hemos considerado el problema de cómo aproximar una regla cuadrática mediante productos de hiperplanos, con la idea de identificar situaciones como la del ejemplo anterior. La ventaja es que las aproximaciones solo dependen de combinaciones lineales de las variables, lo que permite definir reglas de clasificación más fáciles de interpretar. Además, es posible saber cuándo el producto es parecido a la función cuadrática original. En el ejemplo anterior el resultado de aplicar nuestro método a los datos disponibles es el siguiente:
En este caso solo uno de los dos hiperplanos del producto aproximante (las líneas continuas) es necesario para obtener una regla lineal con propiedades equivalentes a la regla cuadrática original. En otros casos pueden ser necesarios los dos hiperplanos o incluso otros productos de hiperplanos complementarios. Consideremos el ejemplo siguiente:
El gráfico de arriba a la derecha corresponde a la aproximación a la regla optima basada en un único producto de hiperplanos. Su error de clasificación va a ser bastante mejor que el obtenido mediante una regla lineal (por ejemplo Fisher) al precio de considerar dos funciones lineales en lugar de una. Incluso nos podemos acercar más a la regla cuadrática óptima si consideramos un segundo producto de hiperplanos (gráfico de abajo a la derecha). Para ello tendríamos que tener en cuenta cuatro combinaciones lineales de las variables originales.
La idea es que combinando productos de hiperplanos se obtiene una regla de clasificación lineal a trozos que combina las ventajas de las reglas cuadráticas (error de clasificación) y de las lineales (facilidad de interpretación). Los hiperplanos que intervienen en los productos constituyen la estructura lineal de la regla cuadrática.
El método se aplica a cualquier regla cuadrática, no necesariamente a las óptimas. Usando técnicas de regularización se han propuesto muchas reglas cuadráticas incluso en casos de alta dimensión en los que no es posible estimar las matrices de covarianzas. Un artículo reciente en el que se mencionan muchas de ellas es Qin (2018).
¿Es muy difícil determinar la estructura lineal de una regla cuadrática?
Si la regla cuadrática consiste en clasificar 
Si el lector tiene curiosidad por saber por qué la matriz
Referencia
Berrendero, J.R. and Cárcamo, J. (To appear). Linear components of quadratic classifiers. Advances in Data Analysis and Classification. Preprint | doi
Según wikipedia el término Grand Slam procede de juegos de cartas de la familia del whist y en este contexto ya se usaba en el siglo XVII. Desde 1930 se usa en golf para referirse al hecho de ganar los cuatro principales torneos en la misma temporada. Al parecer el periodista Alan Gould fue el primero en usar este término referido al tenis en un artículo de 1933 en el periódico The Reading Eagle:
Pero, ¿cuál sería el Grand Slam de las revistas de estadística? Si a los investigadores en estadística les preguntaran cuáles son las revistas más importantes, ¿cuál sería su respuesta?
Una encuesta
Recientemente se han publicado los resultados de 2018 del ranking de Shanghái. Junto con la lista de mejores universidades (ya suficientemente comentada en diversos foros) se publican también los resultados de una encuesta en la que se pregunta a científicos de distintas áreas, entre otras cosas, por las revistas de su especialidad que consideran más prestigiosas. Me ha parecido interesante mirar los resultados porque reflejan la importancia de las revistas de una forma más cualitativa que los controvertidos índices de impacto. En el área de estadística son cuatro las revistas que aparecen, lo que podríamos llamar el Grand Slam de las revistas estadísticas. Estos son los resultados:
Si comparamos con el ranking de revistas en función del índice de impacto hay ciertas discrepancias. Annals, JASA y Royal B son (todavía) Q1, aunque no son ciertamente las tres revistas con mayor índice de impacto. Por otra parte, hay muchos años en los que Biometrika no aparece como Q1, con lo que ello implica en procesos de acreditación, solicitudes de sexenios, etc.
Biometrika
Y sin embargo, a quién no le gustaría publicar en una revista fundada por Pearson, Weldon y Galton a principios del siglo XX y en la que han aparecido contribuciones fundamentales en la historia de la metodología estadística. Así cuenta David Cox los comienzos de Biometrika en un artículo publicado para celebrar su centenario:
En 1908 Gosset publicó en Biometrika su artículo sobre la distribución t de Student. Más de un siglo después miles de científicos siguen usando a diario esta distribución. Me cuesta imaginar un artículo que contribuya más al impacto de una revista científica.
