Apéndice B — Familia exponencial

En esta sección se hará una revisión de algunos aspectos relacionados con la familia exponencial.

Definición B.1 (Familia exponencial uniparamétrica) Una distribución de probabilidad, con parámetro \theta, pertenece a la familia exponencial uniparamétrica (univariada/unidimensional), si la función de masa de probabilidad / función de densidad se puede escribir de la forma, \mathrm{f}_X(x; \theta) = \exp \Big( \mathrm{c}(\theta) \, \mathrm{T}(x) + d(\theta) + S(x) \Big) \, I_A(x) donde \mathrm{c}(\theta) y \mathrm{d}(\theta) son funciones que dependen únicamente de \theta, \mathrm{S}(x) y \mathrm{T}(x) son funciones que dependen únicamente de x, y A no depende de \theta.

Naturalmente, las distribuciones con más de un parámetro pueden considerarse distribuciones uniparamétricas, si todos sus parámetros, excepto uno, se consideran conocidos.

Definición B.2 (Familia exponencial multiparamétrica) Una distribución de probabilidad pertenece a la familia exponencial multiparamétrica (multivariada/multidimensional) si la función de masa de probabilidad / función de densidad se puede escribir de la forma, \mathrm{f}_X(\mathbf{x}; \boldsymbol{\theta}) = \exp \Big( \mathrm{c}(\boldsymbol{\theta})' \, \mathrm{T}(\mathbf{x}) + \mathrm{d}(\boldsymbol{\theta}) + S(\mathbf{x}) \Big) \, I_A(\mathbf{x}) donde \mathrm{T}(\mathbf{x}) y \mathrm{c}(\boldsymbol{\theta}) son funciones vectoriales, y \mathrm{S}(\mathbf{x}) y \mathrm{d}(\boldsymbol{\theta}) son funciones reales.

Ejercicio B.1 Determine si la distribución binomial \big(X \sim \mathcal{Binomial}(n = n_0 \text{ conocido}, p = \theta)\big) pertenece a la familia exponencial uniparamétrica.

Ejercicio B.2 Para X_1, \dots, X_n son variables aleatorias idénticamente distribuidas con función de densidad común perteneciente a la familia exponencial uniparamétrica, determine si la función de densidad conjunta \mathrm{f}_X(x_1, \dots, x_n) también pertenece a la familia exponencial uniparamétrica.

No todos los libros usan una misma notación para la definición de familia exponencial, sin embargo utilizan ecuaciones equivalentes que expresan lo mismo:

E. Cepeda (2015). Estadística Matemática. Universidad Nacional de Colombia.:

\mathrm{P}_X(\mathbf{x}, \theta) = \exp \Big( \mathrm{c}(\boldsymbol{\theta})' \, \mathrm{T}(\mathbf{x}) + \mathrm{d}(\boldsymbol{\theta}) + S(\mathbf{x}) \Big) \, I_A(\mathbf{x})

J. H. Mayorga (2004). Inferencia Estadística. Universidad Nacional de Colombia.:

\mathrm{f}(\mathbf{x}, \theta) = \exp \left( \sum_{i=1}^k \mathrm{d}_i(\mathbf{x}) \mathrm{c}_i(\boldsymbol{\theta}) + \mathrm{a}(\boldsymbol{\theta}) + \mathrm{b}(\mathbf{x})\right)

G. Casella, R. L. Berger (2001). Statistical Inference. Brooks/Cole.:

\mathrm{f}(\mathbf{x} | \boldsymbol{\theta}) = \mathrm{h}(\mathbf{x}) \mathrm{c}(\boldsymbol{\theta}) \exp \left(\sum_{i=1}^k \mathrm{w}_i(\boldsymbol{\theta}) \mathrm{t}_i(\mathbf{x}) \right)

J. Shao (2003). Mathematical Statistics. Springer.:

\frac{dP_\theta}{d\nu}(\mathbf{w}) = \exp \Big( \big[\eta(\boldsymbol{\theta})\big]^T \mathrm{T}(\mathbf{w}) - \xi(\boldsymbol{\theta}) \Big) \mathrm{h}(\mathbf{w})

Si una función de densidad \mathrm{f}_X(x; \theta) pertenece a la familia exponencial uniparámetrica y si c() es una función uno a uno, haciendo \eta = \mathrm{c}(\theta), y por ende \theta = \mathrm{c}^{-1}(\eta), entonces dicha función de densidad se puede escribir de la siguiente manera, \mathrm{f}_X(x; \eta) = \exp \big( \eta \, \mathrm{T}(x) + \mathrm{d}_0(\eta) + \mathrm{S}(x) \big) \, I_A(x) donde \mathrm{d}_0(\eta) = \mathrm{d}\left(\mathrm{c}^{-1}(\eta)\right). Esta forma de escribir la familia exponencial uniparamétrica es denominada la forma natural de la familia exponencial, \eta es conocido como el parámetro natural de la distribución y T(x) ha sido llamada la estadística natural por algunos autores.

Si \mathrm{c} no es una función uno a uno, \mathrm{d}_0(\eta) se puede determinar fácilmente. \mathrm{d}_0(\eta) = - \log \int_A \exp \left( \eta \, \mathrm{T}(x) + \mathrm{S}(x) \right) \, dx

Teorema B.1 Si X tiene distribución en la familia exponencial uniparamétrica y \eta es un punto interior de H = \left\{\eta : \mathrm{d}_0(\eta) \text{ es finito} \right\}, la función generadora de momentos de \mathrm{T}(X) está dada por \Psi(s) = \exp\left( \mathrm{d}_0(\eta) - \mathrm{d}_0(\eta+s) \right)

A partir de lo anterior, se tiene que,

Ejercicio B.3 Sea X_1, \dots, X_n una muestra aleatoria de una población con distribución binomial de parámetros n = n_0 \in \mathbb{N} conocido y p = \theta \in (0,1). Utilizando el anterior resultado,

  • Determine la media y la varianza de la distribución poblacional (ya se sabe que tienen que dar \mu_X = np y \sigma_X^2 = np(1-p)).
  • Determine la función generadora de momentos, la media y la varianza del correspondiente estadístico natural de la muestra (\mathrm{T}(X)).

En general, en la familia exponencial, el conjunto de valores para los cuales \mathrm{f}_X(x; \theta) > 0 no puede depender de \theta ¿por qué?

Las estimaciones de máxima verosimilitud de \eta = (\eta_1, \dots, \eta_k) se pueden obtener solucionando el sistema de ecuaciones dado por, \frac{\partial \mathrm{d}_0}{\partial \eta_i} = - \mathrm{T}_i(x) para i = 1, \dots, k.

B.1 Ejercicios

  1. Verifique que las siguientes distribuciones pertenecen a la familia exponencial uniparamétrica. Encuentre su forma canónica y el conjunto de valores posibles del parámetro natural. Encuentre función generadora de momentos, valor esperado y varianza utilizando los resultados expuestos en esta sección.

    • Poisson.
    • Binomial Negativa con el paramétro número de éxitos conocido.
    • Exponencial.
    • Weibull con el parámetro de forma conocido.
    • Laplace con media conocida
    • Normal con varianza conocida.
    • Normal con media conocida.

  2. Verifique que las siguientes distribuciones pertenecen a la familia exponencial multiparamétrica

    • Normal
    • Gamma
    • Beta
    • Lognormal