Apéndice E — Revisión básica: Más allá de la RLS

En este apéndice se hará una corta y rápida revisión de algunos aspectos asociados a otros modelos, relacionados con el modelo de regresión lineal simple (RLS).

E.1 Modelo de regresión lineal múltiple

Y = \beta_0 + \beta_1 X_1 + \dots + \beta_k X_k + \varepsilon

  • Y es la variable respuesta, variable explicada o variable dependiente.

  • X_1, \dots, X_k son los regresores, variables explicativas o variables independientes.

  • \beta_0 es el coeficiente del intersecto para la ecuación de la recta.

  • \beta_i es el coeficiente correspondiente a la i-ésima variable.

  • \varepsilon es una variable aleatoria asociada al error.

Supuestos del modelo:

  • E[\varepsilon] = 0. Debido a que E[Y|x_1,\dots,x_k] = \beta_0 + \beta_1 x_1 + \dots + \beta_k x_k, entonces \beta_i deben ser constantes, y por lo tanto E[\varepsilon] = 0.

  • Var[\varepsilon] = \sigma^2. Debido a que Var[Y] = \sigma^2_Y = \sigma^2, entonces no hay variabilidad aportada por X, y por lo tanto Var[\varepsilon] = \sigma^2.

  • \varepsilon \sim \mathcal{N}(0, \sigma^2), que necesitamos para la parte inferencial (distribuciones muestrales).

E.2 Regresión para polinomios y funciones linealizables

  • Modelo cuadrático:

    Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \varepsilon

    Tome X_1 = X y X_2 = X^2.

  • Modelo cúbico:

    Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \beta_3 X^3 + \varepsilon

    Tome X_1 = X, X_2 = X^2 y X_3 = X^3.

  • Modelo polinómico de orden q:

    Y = \beta_0 + \beta_1 X + \dots + \beta_q X^q + \varepsilon

    Tome X_1 = X, \dots, y X_q = X^q.

  • Modelo inverso:

    Y = \beta_0 + \frac{\beta_1}{X} + \varepsilon

    Tome X_1 = 1/X.

  • Modelo logarítmico:

    Y = \beta_0 + \beta_1 \log(X) + \varepsilon

    Tome X_1 = \log(X).

  • Modelo de segundo orden completo:

    Y = \beta_0 + \beta_1 X_A + \beta_2 X_B + \beta_3 X_A X_B + \beta_4 X_A^2 + \beta_5 X_B^2 + \varepsilon

    Tome X_1 = X_A, X_2 = X_B, X_3 = X_A X_B, X_4 = X_A^2 y X_5 = X_B^2.

  • Modelo de potencia:

    Y = \beta_0 X^{\beta_1} \varepsilon

    Transforme a \ln(Y) = \ln(\beta_0) + \beta_1 X + \ln(\varepsilon) y tome Y^* = \ln(Y) y \beta_0^* = \ln(\beta_0).

  • Modelo compuesto:

    Y = \beta_0 \beta_1^{X} \varepsilon

    Transforme a \ln(Y) = \ln(\beta_0) + \ln(\beta_1) X + \ln(\varepsilon).

  • Modelo exponencial general o de crecimiento:

    Y = e^{\beta_0 + \beta_1 X + \varepsilon}

    Transforme a \ln(Y) = \beta_0 + \beta_1 X + \varepsilon.

  • Modelo exponencial:

    Y = \beta_0 e^{\beta_1 X + \varepsilon}

    o

    Y = \beta_0 e^{\beta_1 X} \varepsilon

    Transforme a \ln(Y) = \ln(\beta_0) + \beta_1 X + \varepsilon o \ln(Y) = \ln(\beta_0) + \beta_1 X + \ln(\varepsilon).

  • Modelo de curva-s:

    Y = e^{\beta_0 + \beta_1/X + \varepsilon}

    Transforme a \ln(Y) = \beta_0 + \beta_1 X_1 + \varepsilon, con X_1 = 1/X.

E.3 Otros tipos de modelo de regresión

  • Regresión logística: Modelo no lineal de respuesta binaria, es decir la variable respuesta Y tendría una distribución Bernoulli de parámetro p y,

    p = \frac{1}{1 + e^{-\left(\beta_0 + \beta_1 X_1 + \dots + \beta_k X_k\right)}}

  • Modelos lineales generalizados: La variable respuesta tiene distribución perteneciente a la familia exponencial (Binomial, Poisson, Binomial Negativa, Normal, Gamma, etc.).

  • Modelos mixtos (una parte fija \mathbf{X} y una parte aleatoria \mathbf{Z}), modelos no paramétricos (sin suponer una distribución), modelos multivariados (la respuesta es un vector de variables), modelos con variables explicativas correlacionadas (por ejemplo, modelos para series de tiempo), modelos jerárquicos, modelos aditivos, etc.

E.4 Aprendizaje automático (machine learning)

E.4.0.1 Redes neuronales, perceptrón multicapa y aprendizaje profundo