En esta sección se hará una corta y rápida revisión de algunos aspectos relacionados con el modelo de regresión lineal simple.
En sus propias palabras, haga una exposición escrita (como si le estuviera explicando a un compañero o amigo) acerca de lo que aprendió a partir de lo leído, incluya su discusión, reflexiones y conclusiones al respecto. Luego, exponga lo que no entendió e intente encontrar por su cuenta respuestas a las preguntas que le surgieron, para que las pueda compartir en clase.
Y = \beta_0 + \beta_1 X + \varepsilon
Y es la variable respuesta, variable explicada o variable dependiente (“target”).
X es el regresor, variable explicativa o variable independiente (“features”).
\beta_0 es el coeficiente del ¿intercepto/intersecto? para la ecuación de la recta.
\beta_1 es el coeficiente de la pendiente para la ecuación de la recta.
\varepsilon es una variable aleatoria asociada al error.
Supuestos del modelo:
E[\varepsilon] = 0. Debido a que E[Y|x] = \beta_0 + \beta_1 x, entonces \beta_0 y \beta_1 deben ser constantes, y por lo tanto E[\varepsilon] = 0.
Var[\varepsilon] = \sigma^2. Debido a que Var[Y] = \sigma^2_Y = \sigma^2, entonces no hay variabilidad aportada por X, y por lo tanto Var[\varepsilon] = \sigma^2.
\varepsilon \sim \mathcal{N}(0,\sigma^2), que necesitamos para la parte inferencial (para las distribuciones muestrales que usaremos).
Notación:
Sea \hat{b}_0 una estimación de \beta_0 y \hat{b}_1 una estimación de \beta_1.
Recta de regresión estimada:
La recta de regresión estimada está dada por:
\hat{y} = \hat{b}_0 + \hat{b}_1 \, x
Residuo:
El error en el ajuste o el residuo estimado para cada individuo es:
e_i = y_i - \hat{y}_i = y_i - \left(\hat{b}_0 + \hat{b}_1 \, x_i\right)
¿Cómo encuentro \hat{b}_0 y \hat{b}_1 (a partir de los valores conocidos y_i y x_i)?
El objetivo es encontrar \hat{b}_0 y \hat{b}_1 tales que minimizan la suma de los cuadrados de los residuos.
\begin{aligned} \mathop{\mathrm{arg\,min}}_{\hat{b}_0,\hat{b}_1} SSE &= \mathop{\mathrm{arg\,min}}_{\hat{b}_0,\hat{b}_1} \sum_{i=1}^{n} e_i^2 \\ &= \mathop{\mathrm{arg\,min}}_{\hat{b}_0,\hat{b}_1} \sum_{i=1}^{n} \left[y_i - \left(\hat{b}_0 + \hat{b}_1 \, x_i\right)\right]^2 \end{aligned}
Solucionando el problema de minimización, se obtiene que,
\begin{aligned} \hat{b}_1 &= \frac{s_{xy}}{s_{xx}} \\ &= \frac{\sum_{i=1}^{n} \left(x_i - \bar{x}\right)\left(y_i - \bar{y}\right)}{\sum_{i=1}^{n} \left(x_i - \bar{x}\right)^2} \\ &= \frac{n \sum_{i=1}^{n} x_i y_i - \left( \sum_{i=1}^{n} x_i \right)\left( \sum_{i=1}^{n} y_i \right)}{n \sum_{i=1}^{n} x_i^2 - \left( \sum_{i=1}^{n} x_i \right)^2} \end{aligned}
y
\hat{b}_0 = \bar{y} - \hat{b}_1 \bar{x}
Ejercicio 14.1
McGivern Jewelers se ubica en Levis Square Mall, al sur de Toledo, Ohio. Recientemente publicó un anuncio en redes sociodigitales donde indicaba forma, tamaño, precio y grado de corte de 33 de sus diamantes en existencia.
Lind, D. A., Marchal, W. G., Wathen, S. A. (2019). Estadística aplicada a los negocios y la economía. (17a. ed.) McGraw-Hill.
Los datos asociados a las cuatro variables de los 33 diamantes se encuentran en la pestaña “Datos” de la hoja de cálculo (Google Sheets):EjemploDatosDiamantesLind(15Ed)4.37.gsheet
Supongamos que los 33 diamantes no son unos datos poblacionales como lo hicimos en Capítulo 3 (Estadística Descriptiva, 3. Bivariada), sino consideremos hipotéticamente que son datos de una muestra aleatoria y que nos interesa modelar la relación entre tamaño y precio de los diamantes (inferir el modelo poblacional a partir de los datos muestrales).
Suma de cuadrados del error:
SSE = \sum_{i=1}^{n} e_i^2
Suma de cuadrados total:
\begin{aligned} SST &= \sum_{i=1}^{n} \left(y_i - \bar{y}\right)^2 \\ &= \sum_{i=1}^{n} y_i^2 - \frac{1}{n} \left(\sum_{i=1}^{n} y_i\right)^2 \end{aligned}
Suma de cuadrados de la regresión:
SSR = SST - SSE
Coeficiente de determinación R^2:
Se tiene que SST = SSR + SSE, donde SST es un valor fijo (dados los valores conocidos y_i). Por lo tanto, \frac{SSE}{SST} determina la proporción del error y, R^2 = \frac{SSR}{SST} = 1 - \frac{SSE}{SST}, denominado coeficiente de determinación R^2, determina la proporción que es explicada por la regresión (con respecto a los valores o a la magnitud de los y_i).
Por otra parte, para el caso del modelo de regresión lineal simple se tiene que, R^2 = r_{xy}^2 donde r_{xy} es el coeficiente de correlación de Pearson muestral.
Coeficiente de determinación R^2 ajustado:
R^2_{ajustado} = 1 - \left(1 - R^2\right)\frac{n-1}{n-2}
Estimación puntual de \sigma^2:
s^2 = \frac{SSE}{n-2}
Distribución muestral para el estimador de \beta_1:
\frac{\hat{B}_1 - \beta_1}{\frac{S}{\sqrt{S_{xx}}}} \sim t_{n-2}
Distribución muestral para el estimador de \beta_0:
\frac{\hat{B}_0 - \beta_0}{S\sqrt{\frac{\frac{1}{n} \sum_{i=1}^{n} X_i^2}{S_{xx}}}} \sim t_{n-2}
A partir de las anteriores distribuciones muestrales, ¿cómo serían los intervalos de confianza y las pruebas de hipótesis para \beta_1 y \beta_0?
Nuevamente teniendo en cuenta que SST = SSR + SSE, se puede construir la siguiente tabla, llamada tabla ANOVA,
| Fuentes de variación | Suma de cuadrados | Grados de libertad | Cuadrado medio | Estadístico |
|---|---|---|---|---|
| Regresión | SSR | 1 | MSR = \frac{SSR}{1} | F = \frac{MSR}{MSE} |
| Error | SSE | n-2 | MSE = \frac{SSE}{n-2} | |
| Total | SST | n-1 |
Si F > f_{(\alpha, 1, n-2)} entonces se rechaza H_0: \beta_1 = 0 con un nivel de significancia \alpha (equivalente a la prueba de hipótesis que utiliza la distribución muestral del estimador de \beta_1). Adicionalmente, es claro que MSE es una estimación de \sigma^2.
Los residuales son realizaciones de la variable aleatoria \varepsilon y el valor esperado de dicha variable es cero.
No hay relación entre \varepsilon y X.
La varianza de \varepsilon es \sigma^2, es decir, la varianza es homogénea.
\varepsilon tiene una distribución normal (para las distribuciones muestrales de la parte inferencial).
Sean los datos muestrales que se encuentran en el archivo: Estatura-Peso.txt:
Teniendo en cuenta las variables Estatura y Peso, ¿cuál de las variables sería la variable explicada y cuál la variable explicativa? ¿por qué?.
Referencias:
The Comprehensive R Archive Network:
https://cran.r-project.org/
Introducción a R Notas sobre R: Un entorno de programación para Análisis de Datos y Gráficos de R Development Core Team, traducido por Andrés González and Silvia González:
https://cran.r-project.org/doc/contrib/R-intro-1.1.0-espanol.1.pdf
R para Principiantes de Emmanuel Paradis, traducido por Jorge A. Ahumada:
https://cran.r-project.org/doc/contrib/rdebuts_es.pdf
Instalación de R | RStudio del profesor Juan Sosa:
https://youtu.be/Vm0ViKG7Bxg
Tutorial R-Commander (COMPLETO) de “Eolis 97”:
https://youtube.com/playlist?list=PLBkQ_rkI6r7BmUGbwPCloYjXcq_ZKzVsT
Lectura de datos:
Para leer los datos del archivo Estatura-Peso.txt y almacenarlos en la variable DatosEstud hacer:
DatosEstud <- read.table("ruta/Estatura-Peso.txt", sep="\t", header=TRUE, row.names=1, stringsAsFactors=TRUE)
# Para imprimir las primeras filas de lo almacenado en la variable DatosEstud:
head(DatosEstud) ESTATURA PESO GENERO
1 170 60 M
2 169 57 F
3 172 51 F
4 174 55 F
5 168 50 F
6 161 50 FDiagrama de dispersión:
Para realizar un diagrama de dispersión de las variables estatura y peso hacer:
# Par gráficar columnas 1 y 2 de la varible DatosEstud
plot(DatosEstud[,1:2], bty="n", pch="+") 
Modelo de regresión lineal simple:
La función lm obtiene el modelo de regresión lineal que se le indique, por ejemplo, peso = \beta_0 + \beta_1 estatura:
RegresionEstud <- lm(DatosEstud$PESO ~ DatosEstud$ESTATURA)
# Para imprimir algunos pocos detalles del modelo almacenado en RegresionEstud
RegresionEstud
Call:
lm(formula = DatosEstud$PESO ~ DatosEstud$ESTATURA)
Coefficients:
(Intercept) DatosEstud$ESTATURA
-97.7149 0.9302 Es decir, se obtuvo como resultado que la recta de regresión estimada es:
\hat{y} = (-97.7148916) + (0.93021) x
o lo que es lo mismo, \hat{b}_0 = -97.7148916 y \hat{b}_1 = 0.93021.
Para graficar la recta asociada al modelo de regresión lineal almacenado en la variable RegresionEstud sobre el diagrama de dispersión hacer:
plot(DatosEstud[,1:2], bty="n", pch="+") # para graficar el diagrama
abline(RegresionEstud, lty=3) # para graficar la recta
Calidad de ajuste e inferencia:
Para ver el resumen asociado al modelo de regresión lineal almacenado en la variable RegresionEstud hacer:
summary(RegresionEstud)
Call:
lm(formula = DatosEstud$PESO ~ DatosEstud$ESTATURA)
Residuals:
Min 1Q Median 3Q Max
-14.3740 -4.0312 -0.3396 3.6490 17.1604
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -97.71489 15.74663 -6.205 4.50e-08 ***
DatosEstud$ESTATURA 0.93021 0.09033 10.298 3.28e-15 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error: 6.776 on 64 degrees of freedom
Multiple R-squared: 0.6236, Adjusted R-squared: 0.6177
F-statistic: 106 on 1 and 64 DF, p-value: 3.278e-15Intervalos de confianza:
La función confint obtiene los intervalos de confianza para los parámetros (coeficientes) del modelo de regresión lineal:
confint(RegresionEstud, level=0.95) 2.5 % 97.5 %
(Intercept) -129.1723981 -66.257385
DatosEstud$ESTATURA 0.7497521 1.110668Tabla ANOVA:
La función anova obtiene la tabla del análisis de varianza (tabla ANOVA) del modelo de regresión lineal:
anova(RegresionEstud)Analysis of Variance Table
Response: DatosEstud$PESO
Df Sum Sq Mean Sq F value Pr(>F)
DatosEstud$ESTATURA 1 4868.7 4868.7 106.04 3.278e-15 ***
Residuals 64 2938.4 45.9
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1Supuestos y gráficos de los residuales:
Gráfica de i vs e_i:
plot(RegresionEstud$res, bty="n", pch=16, ylab="Residuales")
Gráfica de x_i vs e_i:
plot(DatosEstud$ESTATURA, RegresionEstud$res, bty="n", pch=16, xlab="ESTATURA", ylab="Residuales")
Gráfica de \hat{y}_i vs e_i:
plot(RegresionEstud$fitt, RegresionEstud$res, bty="n", pch=16, xlab="PESO Estimado", ylab="Residuales")
Gráfica de \hat{y}_i vs e_i:
qqnorm(RegresionEstud$res, bty="n", pch=16, ylab="Residuales") # para los puntos
qqline(RegresionEstud$res) # para la recta
en donde, el anterior gráfico es equivalente al siguiente gráfico,
Realice nuevamente el análisis del modelo de regresión lineal simple para el Ejercicio 2 pero obteniendo todos los valores con la calculadora o con una hoja de cálculo (verifique que los resultados coinciden con los obtenidos mediante R)
Obtenga los modelos de regresión lineal simple para cada género por aparte y haga el análisis completo de los mismos. ¿Qué conclusiones saca con respecto al modelo que tenía incluidos todos los individuos?
Y = \beta_0 + \beta_1 X_1 + \dots + \beta_k X_k + \varepsilon
Y es la variable respuesta, variable explicada o variable dependiente.
X_1, \dots, X_k son los regresores, variables explicativas o variables independientes.
\beta_0 es el coeficiente del intersecto para la ecuación de la recta.
\beta_i es el coeficiente correspondiente a la i-ésima variable.
\varepsilon es una variable aleatoria asociada al error.
Supuestos del modelo:
E[\varepsilon] = 0. Debido a que E[Y|x_1,\dots,x_k] = \beta_0 + \beta_1 x_1 + \dots + \beta_k x_k, entonces \beta_i deben ser constantes, y por lo tanto E[\varepsilon] = 0.
Var[\varepsilon] = \sigma^2. Debido a que Var[Y] = \sigma^2_Y = \sigma^2, entonces no hay variabilidad aportada por X, y por lo tanto Var[\varepsilon] = \sigma^2.
\varepsilon \sim \mathcal{N}(0, \sigma^2), que necesitamos para la parte inferencial (distribuciones muestrales).
Modelo cuadrático:
Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \varepsilon
Tome X_1 = X y X_2 = X^2.
Modelo cúbico:
Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \beta_3 X^3 + \varepsilon
Tome X_1 = X, X_2 = X^2 y X_3 = X^3.
Modelo polinómico de orden q:
Y = \beta_0 + \beta_1 X + \dots + \beta_q X^q + \varepsilon
Tome X_1 = X, \dots, y X_q = X^q.
Modelo inverso:
Y = \beta_0 + \frac{\beta_1}{X} + \varepsilon
Tome X_1 = 1/X.
Modelo logarítmico:
Y = \beta_0 + \beta_1 \log(X) + \varepsilon
Tome X_1 = \log(X).
Modelo de segundo orden completo:
Y = \beta_0 + \beta_1 X_A + \beta_2 X_B + \beta_3 X_A X_B + \beta_4 X_A^2 + \beta_5 X_B^2 + \varepsilon
Tome X_1 = X_A, X_2 = X_B, X_3 = X_A X_B, X_4 = X_A^2 y X_5 = X_B^2.
Modelo de potencia:
Y = \beta_0 X^{\beta_1} \varepsilon
Transforme a \ln(Y) = \ln(\beta_0) + \beta_1 X + \ln(\varepsilon) y tome Y^* = \ln(Y) y \beta_0^* = \ln(\beta_0).
Modelo compuesto:
Y = \beta_0 \beta_1^{X} \varepsilon
Transforme a \ln(Y) = \ln(\beta_0) + \ln(\beta_1) X + \ln(\varepsilon).
Modelo exponencial general o de crecimiento:
Y = e^{\beta_0 + \beta_1 X + \varepsilon}
Transforme a \ln(Y) = \beta_0 + \beta_1 X + \varepsilon.
Modelo exponencial:
Y = \beta_0 e^{\beta_1 X + \varepsilon}
o
Y = \beta_0 e^{\beta_1 X} \varepsilon
Transforme a \ln(Y) = \ln(\beta_0) + \beta_1 X + \varepsilon o \ln(Y) = \ln(\beta_0) + \beta_1 X + \ln(\varepsilon).
Modelo de curva-s:
Y = e^{\beta_0 + \beta_1/X + \varepsilon}
Transforme a \ln(Y) = \beta_0 + \beta_1 X_1 + \varepsilon, con X_1 = 1/X.
Regresión logística: Modelo no lineal de respuesta binaria, es decir la variable respuesta Y tendría una distribución Bernoulli de parámetro p y,
p = \frac{1}{1 + e^{-\left(\beta_0 + \beta_1 X_1 + \dots + \beta_k X_k\right)}}
Modelos lineales generalizados: La variable respuesta tiene distribución perteneciente a la familia exponencial (Binomial, Poisson, Binomial Negativa, Normal, Gamma, etc.).
Modelos mixtos (una parte fija \mathbf{X} y una parte aleatoria \mathbf{Z}), modelos no paramétricos (sin suponer una distribución), modelos multivariados (la respuesta es un vector de variables), modelos con variables explicativas correlacionadas (por ejemplo, modelos para series de tiempo), modelos jerárquicos, modelos aditivos, etc.
