Planteamiento

• Se tiene una muestra aleatoria \(X_1, \ldots, X_n\) de una población con distribución continua \(F(x)\) y se tiene interés en contrastar las hipótesis

\[ H_0: F = F_0 \qquad \text{vs.} \qquad F \neq F_0 \] donde \(F_0\) es una función de distribución completamente específicada (sin parámetros desconocidos).

• Las pruebas de Cramér-von Mises (CvM) y Anderson-Darling (AD), al igual que la prueba de Kolmogorov-Smirnov también se basan en una comparación de la función de distribución empírica, denotada por \(F_n\), y la función de distribución planteada en la hipótesis nula.

Introducción histórica

• De acuerdo con la descripción de Darling (1957), Cramér propuso en 1928 cuantificar la evidencia en contra de \(H_0: F = F_0\) con la siguiente cantidad \[ \int_\mathbb{R} \left[ F_n(x)-F_0(x)\right]^2 dK(x) \] donde \(K\) es una función no decreciente no negativa. Esta cantidad es una medida de la discrepancia entre \(F_n\) y \(F_0\), poderadas por la función \(K(x)\). El criterio de Cramér consistía en rechazar \(H_0\) para valores grandes de la discrepancia.

• Simultáneamente y de manera independiente, von Mises llego a resultados similares en 1928.

• Posteriormente, Smirnov (1937) propuso la generalización al criterio de Cramér y von Mises de la siguiente forma \[ W^2_n = n\int_\mathbb{R}(F_n(x) - F_0(x))^2 \psi(x)dF_0(x) \] donde \(\psi\) es una función de pesos que pondera las diferencias entre \(F_n\) y \(F_0\).

• El estadístico anterior (se trata de un estadístico ya que \(F_n\) está definida a partir de la muestra aleatoria) se puede escribir de la siguiente manera: \[ W^2_n = E_{F_0} \left[ \psi(X)(F_n(X) - F(X))^2 \right] \] donde la notación \(E_{F_0}\) significa que la esperanza se calcula bajo \(H_0\), es decir, bajo el supuesto que la verdadera distribución de \(X\) es \(F_0\). \(W^2_n\) cuantifica el valor esperado de la diferencia cuadrática entre \(F_n\) y \(F_0\), ponderada por \(\psi(x)\).

• Si se elige \(\psi(x) = \psi(F_0(x))\), es decir, una función de pesos que dependa de \(x\) a través de \(F_0(x)\), entonces \(W^2_n\) es libre de distribución, bajo \(H_0\).

El estadístico de Cramér-von Mises

• El estadístico de Crámer-von Mises (CvM) se obtiene con \(\psi(x) = 1\). Esto implica que todas las diferencias entre \(F_n\) y \(F_0\) tienen el mismo peso.

• En este caso se puede mostrar que \[ W^2_n = \frac{1}{12n} + \sum_{i=1}^n \left( \frac{2i-1}{2n} - F_0(X_{(i)})\right)^2. \]

• Para decidir si el valor de \(W^2_n\) es grande, y así rechazar \(H_0\), se utilizan los valores críticos de la distribución de \(W^2_n\) bajo \(H_0\). Sin embargo, esta distribución no tiene una forma analítica y debe ser aproximada. Además esta distribución depende del tamaño de muestra \(n\).

• Es importante notar que es necesario que \(F_0\) esté completamene especificada, ya que se utiliza \(F_0\) en el calculo de \(W^2_n\),

Aproximación de la distribución del estadístico de CvM

• Por el resultado conocido como Transformación Integral de Probabilidad, se puede mostrar que bajo el supuesto de que \(H_0\) es cierta (la verdadera distribución de los datos es \(F_0\)), \(F_0(X_1), \ldots, F_0(X_n)\) son variables aleatorias iid \(U(0,1)\). Por lo anterior, se puede obtener realizaciones de \(W^2_n\) bajo \(H_0\) a partir de simulaciones de la distribución \(U(0, 1)\).

• El siguiente código se utiliza para obtener 150,000 realizaciones de \(W^2_n\) bajo \(H_0\), para un tamaño de muestra \(n=10\).

n <- 10; m <- 15E4
w2n <- c()
for(i in 1:m)
{
  muestra <- runif(n)
  aux <- (2*(1:n)-1)/(2*n) - sort(muestra)
  w2n[i] <- 1/(12*n) + sum(aux^2)
}

• Se pueden utilizar los valores simulados para aproximar la distribución de \(W^2_n\) (bajo \(H_0\) y con un tamaño de muestra \(n=10\).), para calcular p-values o valores críticos (cuantiles). Por ejemplo

quantile(w2n, probs = c(0.90, 0.95, 0.99))

##       90%       95%       99% 
## 0.3441917 0.4535614 0.7148499

Estos valores se pueden comparar con los valores tabulados (ver por ejemplo Csorgo & Faraday (1996)).

• Para verificar que la distribución de \(W^2_n\) no depende de la \(F_0\) especificada en \(H_0\), ahora se simularán realizaciones de este estadístico asumiendo que la verdadera distribución de los datos es \(Exp(4)\), esta elección es totalmente arbitraria.

w2n_exp <- c()
for(i in 1:m)
{
  muestra <- rexp(n, 4)
  muestra <- pexp(muestra, 4)
  aux <- (2*(1:n)-1)/(2*n) - sort(muestra)
  w2n_exp[i] <- 1/(12*n) + sum(aux^2)
}

• Se verifica que los cuantiles obtenidos con esta muestra coinciden con los generados a partir de la distribución uniforme. Las variaciones se deben a que ambos resultados son aproximados, para mejorar la precisión basta con incrementar el número de simulaciones.

quantile(w2n_exp, probs = c(0.90, 0.95, 0.99))

##       90%       95%       99% 
## 0.3448120 0.4533340 0.7125111

• Finalmente la forma de la distribución nula de \(W^2_n\) cuando \(n = 10\) tiene la siguiente forma

El estadístico de Anderson-Darling

• Anderson y Darling (1952, 1954) propusieronnen utilizar \(\psi(x) = \frac{1}{F_0(x)(1-F_0(x))}\). Esta elección de \(\psi\) implica que las diferencias en las colas de la distribución tienen mayor peso.

• En este caso se puede mostrar que \[ A^2_n = - n - \frac{1}{n}\sum_{i=1}^n(2i-1)\left( \log F_0(X_{(i)}) + \log (1 - F_0(X_{(n+1-i)}) \right) \]

• Para decidir si el valor de \(A^2_n\) es grande, y así rechazar \(H_0\), se utilizan los valores críticos de la distribución de \(A^2_n\) bajo \(H_0\). Sin embargo, esta distribución no tiene una forma analítica y debe ser aproximada. Además esta distribución depende del tamaño de muestra \(n\).

• Es importante notar que es necesario que \(F_0\) esté completamene especificada, ya que se utiliza \(F_0\) en el calculo de \(A^2_n\),

Aproximación de la distribución del estadístico AD

• Nuevamente, por la Transformación Integral de Probabilidad, se pueden obtener realizaciones de \(A^2_n\) bajo \(H_0\) a partir de simulaciones de la distribución \(U(0,1)\).

• El siguiete código se utiliza para obtener 150,000 realizaciones de \(A^2_n\) bajo \(H_0\), para un tamaño de muestra \(n = 10\).

a2n <- c()
for(i in 1:m)
{
  muestra <- runif(n)
  muestra <- sort(muestra)
  aux <- (2*(1:n)- 1)*(log(muestra) + log(1-rev(muestra)))
  a2n[i] <- -n - (1/n)*sum(aux)
}

• Se pueden utilizar los valores simulados para aproximar la distribución de \(A^2_n\) (bajo \(H_0\) y con un tamaño de muestra \(n=10\).), para calcular p-values o valores críticos (cuantiles). Por ejemplo

quantile(a2n, probs = c(0.90, 0.95, 0.99))

##      90%      95%      99% 
## 1.945450 2.508964 3.895924

Estos valores se pueden comparar con los valores tabulados.

• Para verificar que la distribución de \(A^2_n\) no depende de la \(F_0\) especificada en \(H_0\), ahora se simularán realizaciones de este estadístico asumiendo que la verdadera distribución de los datos es \(N(5, 2)\), esta elección es totalmente arbitraria.

a2n_nor <- c()
for(i in 1:m)
{
  muestra <- rnorm(n, 5, 2)
  muestra <- sort(pnorm(muestra, 5, 2))
  aux <- (2*(1:n)- 1)*(log(muestra) + log(1-rev(muestra)))
  a2n_nor[i] <- -n - (1/n)*sum(aux)
}

• Se verifica que los cuantiles obtenidos con esta muestra coinciden con los generados a partir de la distribución uniforme. Las variaciones se deben a que ambos resultados son aproximados, para mejorar la precisión basta con incrementar el número de simulaciones.

quantile(a2n_nor, probs = c(0.90, 0.95, 0.99))

##      90%      95%      99% 
## 1.944646 2.514504 3.907260

• Finalmente la forma de la distribución nula de \(A^2_n\) cuando \(n = 10\) tiene la siguiente forma

Ejemplo. \(F_0\) completamente especificada

• A continuación se comparan con simulación las pruebas de Cramér-von Mises y Anderson-Darling para contrastar \(H_0: F(x) = N(x \,\vert\,0,1)\).

• Primero se utiliza una población con colas pesadas. En una población de este tipo, se observan valores extremos con más frecuencia que en una población normal. Se eligió la distribución \(t_{(1)}\) para simular la población

• Después se utiliza una población con colas ligeras. En las poblaciones con colas ligeras, los valores extremos ocurren con menos frecuencia que en una población normal. Para tamaños de muestra pequeños, los extremos observados bajo normalidad o bajo colas ligeras son pocos, por lo que se pueden encontrar problemas. Se utilizó la distribución \(U(-3, 3)\) para simular la población.

• Finalmente se utiliza una población asimétrica. En las poblaciones asimétricas, la frecuencia con la que ocurren valores menores a la media es distinta a la frecuencia de los valores mayores a la media. Se utilizó una distribución de Laplace asimétrica para generar esta última población.

• Se eligió un tamaño de muestra \(n=10\) para poder utilizar los cuantiles previamente calculados.

Distribución con colas pesadas

• Primero se generan los datos.

ejemplo1 <- rt(n, 1)

Cramér-von Mises

• Se calcula el estadístico CvM

aux <- (2*(1:n)-1)/(2*n) - pnorm(sort(ejemplo1))
w2n_ej1 <- 1/(12*n) + sum(aux^2); w2n_ej1

## [1] 0.3074766

• Se calcula el p-value

mean(w2n_ej1 < w2n)

## [1] 0.1277667

• De lo anterior se concluye no rechazar \(H_0\).

Anderson-Darling

• Se calcula el estadístico AD

ejemplo1 <- sort(pnorm(ejemplo1))
aux <- (2*(1:n)- 1)*(log(ejemplo1) + log(1-rev(ejemplo1)))
a2n_ej1 <- -n - (1/n)*sum(aux); a2n_ej1

## [1] Inf

• Se calcula el p-value

mean(a2n > a2n_ej1)

## [1] 0

• Con un nivel de significancia \(\alpha = 0.05\), la conclusión es rechazar \(H_0\).

Distribución con colas ligeras

• Primero se generan lo datos

ejemplo2 <- runif(n, -3, 3)

Cramér-von Mises

• Se calcula el estadístico CvM

aux <- (2*(1:n)-1)/(2*n) - pnorm(sort(ejemplo2))
w2n_ej2 <- 1/(12*n) + sum(aux^2); w2n_ej2

## [1] 0.3361084

• Se calcula el p-value

mean(w2n_ej2 < w2n)

## [1] 0.1055733

• De lo anterior se concluye no rechazar \(H_0\).

Anderson-Darling

• Se calcula el estadístico AD

ejemplo2 <- sort(pnorm(ejemplo2))
aux <- (2*(1:n)- 1)*(log(ejemplo2) + log(1-rev(ejemplo2)))
a2n_ej2 <- -n - (1/n)*sum(aux); a2n_ej2

## [1] 3.238943

• Se calcula el p-value

mean(a2n > a2n_ej2)

## [1] 0.02160667

• De lo anterior se concluye rechazar \(H_0\).

Población asimétrica

• El siguiente código sirve para generar observaciones de la distribución de Laplace asimétrica.

rald <- function(n, theta, lambda){
  res <- c()
  for(i in 1:n)
  {
    aux <- runif(1) < theta
    lambda2 <- theta/(1-theta)*lambda
    res[i] <- aux*rexp(1, lambda) - (1-aux)*rexp(1, lambda2)
  }
  return(res)
}

• Se generan los datos. Con los parámetros seleccionados se espera que el 80% de los valores sean mayores a 0 (la media vale 0). El otro parámetro tiene que ver con la forma de la distribución de la cola derecha, en este caso, los valores positivos tienen una distribución \(Exp(1)\).

ejemplo3 <- rald(10, 0.8, 1)

Cramér-von Mises

• Se calcula el estadístico CvM

aux <- (2*(1:n)-1)/(2*n) - pnorm(sort(ejemplo3))
w2n_ej3 <- 1/(12*n) + sum(aux^2); w2n_ej3

## [1] 0.5514193

• Se calcula el p-value

mean(w2n_ej3 < w2n)

## [1] 0.02718

• De lo anterior se concluye rechazar \(H_0\).

Anderson-Darling

• Se calcula el estadístico AD

ejemplo3 <- sort(pnorm(ejemplo3))
aux <- (2*(1:n)- 1)*(log(ejemplo3) + log(1-rev(ejemplo3)))
a2n_ej3 <- -n - (1/n)*sum(aux); a2n_ej3

## [1] 3.466086

• Se calcula el p-value

mean(a2n > a2n_ej3)

## [1] 0.01638

• De lo anterior se concluye rechazar \(H_0\).

Extensión para hipótesis compuestas

• Es posible hacer modificaciones a las pruebas de Cramér-von Mises y Anderson-Darling para contrastar hipótesis nulas compuestas.

• La modificaciones son similares a las propuestas por Lilliefors para la prueba de Kolmgorov-Smirnov para normalidad y exponencialidad.

• Si tiene una muestra \(X_1, \ldots, X_n\) y se tiene interés en contrastar \[ H_0: F(x) = N(x\,\vert \mu, \sigma^2) \qquad \text{vs.} \qquad H_1: F(x) \neq N(x\,\vert\,\mu,\sigma^2) \] con \(\mu\) y \(\sigma^2\) son desconocidos. Los estadísticos de Cramér-von Mises y Anderson-Darling se calculan con los datos estandarizados \(Y_1, \ldots, Y_n\), donde \[ Y_i = \frac{X_i-\bar{X}_n}{S_n}. \]

• Si tiene una muestra \(X_1, \ldots, X_n\) y se tiene interés en contrastar \[ H_0: F(x) = \text{Exp}(x\,\vert \lambda) \qquad \text{vs.} \qquad H_1: F(x) \neq \text{Exp}(x\,\vert\,\lambda) \] con \(\lambda\) desconocido. Los estadísticos de Cramér-von Mises y Anderson-Darling se calculan con los datos estandarizados \(Y_1, \ldots, Y_n\), donde \[ Y_i = \frac{X_i}{\bar{X}_n}. \]

Referencias

• Anderson, T. & Darling, D. (1954) A test of goodness of fit. Journal of the American Statistical Association, 49(268), 765-769.

• Anderson, T. & Darling, D. (1952) Asymptotic Theory of Certain “Goodness of Fit” Criteria Based on Stochastic Processes. The Annals of Mathematical Statistics, 23(2), 193-212.

• Cramér, H. (1928) On the composition of elementary errors. Scandinavian Actuarial Journal, 1928:1, 13-74.

• Csorgo, S. & Faraday, J (1996) The exact ans asymptotic distibutions of Cramér-von Mises statistics. Journal of the Royal Statistical Society Series B, 58(1), 221-234.

• Darling, D. (1957) The Kolmogorov-Smirnov, Crámer-von Mises tests. The Annals of Mathematical Statistics, 28(4), 823-838.

• Smirnov, N. (1937) Sur la distribution de \(\omega^2\) critérium de von Mises. Rec. Math. (NS), 2(44):5 (1937), 973–993.