Aprendizaje Automático Supervisado

¿Cuál es el propósito principal de la regularización en la regresión lineal?. Minimizar el error de entrenamiento penalizando los coeficientes estimados;. Prevenir el sobreajuste penalizando los coeficientes estimados;. Minimizar el sesgo optimizando los coeficientes;.

¿Cuál es el efecto de la regularización en la varianza y sesgo del modelo?. Aumenta el sesgo y la varianza;. Reduce el sesgo y aumenta la varianza;. Aumenta el sesgo y reduce la varianza;.

En la expresión de la regresión 𝑦 = 𝐵0 + 𝐵1𝑥1 + 𝐵2𝑥2 , la 𝑦 suele ser llamada: Variable independiente;. Variable predictora;. Variable criterio;.

En la expresión de la regresión 𝑦 = 𝐵0 + 𝐵1𝑥1 + 𝐵2𝑥2 , la 𝑥1 es una: Variable dependiente;. Variable predictora;. Variable criterio;.

En la expresión de la regresión 𝑦 = 𝐵0 + 𝐵1𝑥1 + 𝐵2𝑥2 , la 𝐵1 es: Una variable dependiente;. Variable predictora;. Un coeficiente;.

Para identificar el modelo de regresión lineal 𝑦 = 𝐵0 + 𝐵1𝑥1 + 𝐵2𝑥2, se estimarán: Los valores de 𝑥1 y 𝑥1;. Los valores de 𝐵1 y 𝐵2;. Los valores de 𝑦;.

En la expresión de la regresión 𝑦 = 𝐵0 + 𝐵1𝑥1 + 𝐵2𝑥2 , la 𝐵0 suele ser llamada: Variable independiente;. Variable predictora;. Intercepto;.

Un modelo de regresión tiene como variable criterio los días de ausencia en el trabajo, y como variables predictoras el número de cigarrillos diarios que se fuma una persona y el número de cafés. El modelo es: 𝑦 = 0,4 +0,1(𝑐𝑖𝑔𝑎𝑟𝑟𝑖𝑙𝑙𝑜𝑠)+ 0,002(𝑐𝑎𝑓é𝑠). Estando las variables sin tipificar, ¿Cuál es la interpretación respecto a los cigarrillos?. Un aumento de un cigarrillo al día aumenta en 0,1 días los días de ausencia en el trabajo;. Un aumento de 0,1 cigarrillos aumenta un día los días de ausencia en el trabajo;. Un aumento de un cigarrillo aumenta 0,4 los días de ausencia al trabajo;.

La notación de los coeficientes 𝛽 se emplea cuando tanto las variables predictoras y el criterio: Están tipificadas;. No están tipificadas;. En ambos casos;.

En un modelo como 𝑦 = 𝛽0 + 𝛽1𝑥1 + 𝛽2𝑥2 + 𝛽3𝑥3, los parámetros a estimar son: {𝑥1, 𝑥2, 𝑥3};. {𝛽0, 𝛽1, 𝛽2, 𝛽3};. {𝑦0, 𝑦1, 𝑦2, 𝑦3};.

El criterio para medir el error que comete un modelo de regresión lineal ya identificado es la Suma Cuadrática. Siendo 𝑛 el número de ejemplares de la tabla de datos, su fórmula es: A). B). C).

El método de estimación de los coeficientes 𝛽 basado en Mínimos Cuadrados usa la Suma Cuadrática como: Función de regresión;. Función de variación;. Función de pérdida;.

El método de estimación por Mínimos Cuadrados de los coeficientes 𝛽 se basa en un proceso de optimización por minimización. Su motivación es: Identificar los menores valores de los 𝛽 que satisfacen la función de pérdida;. Identificar los valores de los 𝛽 que hagan menor el valor de la función de pérdida;. Identificar los valores de las variables empíricas que hagan menor el valor de la función de pérdida;.

El método de optimización que identifica los valores de 𝛽 que se basa en hacer mínima la función de pérdida basada en la Suma Cuadrática. La función de pérdida expresada en forma matricial es: 𝐒𝐂 = (𝐘 − 𝐗𝛃) ;. 𝐒𝐂 = (𝐘 − 𝐗𝛃) T (𝐘 − 𝐗𝛃);. 𝐒𝐂 = (𝐘 − 𝐗𝛃) T.

Para identificar los valores de las 𝛽 óptimos que acompañan a cada predictor, el método de minimización calculará la derivada de la función matricial 𝐒𝐂 = (𝐘 − 𝐗𝛃)² con respecto a 𝛃. Para identificar los 𝛃 que hacen mínima la función 𝐒𝐂, la función resultante se igualará: A cero;. A uno;. A 𝛃;.

Una función cuadrática como 𝐒𝐂 = (𝐘 − 𝐗𝛃)² tiene: Máximo y mínimo;. Solo máximo;. Solo mínimo;.

Al igualar la derivada de la Suma Cuadrática 𝐒𝐂 = (𝐘 − 𝐗𝛃)² a cero nos queda la siguiente expresión: 2(𝐘 − 𝐗𝛃)(−𝐗) = 𝟎. El hecho de que despejando los 𝛃 de dicha expresión nos ofrezca directamente los valores de 𝛽 donde la Suma Cuadrática se hace mínima sin hacer más comprobaciones (derivadas segundas) es porque dicha función: Tiene solo máximo;. Tiene solo mínimo;. Tiene tanto máximo como mínimo;.

El método de estimación de las 𝛽 que se conoce como solución por Mínimos Cuadrados emplea una minimización en el que la Función de Pérdida es: La función de Suma Cuadrática;. La función de Máxima Verosimilitud;. La Función de Regularización;.

Un modelo de regresión sobreajustado a la muestra de entrenamiento: Generalizará bien;. Tendrá problemas de generalización;. No tiene relación con la generalización;.

Un modelo con poco sesgo pero mucha variación: Se ajustará bien a la muestra de entrenamiento, pero tendrá problemas de generalización;. Se ajustará mal a la muestra de entrenamiento, pero generalizará bien;. Se ajustará bien a la muestra de entrenamiento y generalizará bien;.

Un modelo con alta variación alude a que: Probado el modelo en la muestra de entrenamiento, la suma cuadrática será alta;. Probado el modelo en la muestra de entrenamiento, la suma cuadrática será baja;. Probado el modelo en otras muestras distintas a la del entrenamiento, el error tendrá mucha variabilidad;.

Las formas de regresión regularizada persiguen: Mayor variación, pero menor sesgo;. Menor variación incluso a costa de mayor sesgo;. Mayor variación incluso a costa de mayor sesgo;.

El método de regularización en la regresión modifica: El modelo de regresión en el que se estiman los coeficientes;. La función de pérdida para la estimación de coeficientes;. Las puntuaciones empíricas de las variables predictoras y criterio;.

El método de regularización para la regresión lineal: Impone una restricción en el tamaño de los coeficientes estimados;. Impone una restricción en el tamaño del intercepto;. Impone una restricción a la linealidad del modelo;.

El método de regularización para la regresión lineal genera modelos: Con más sesgo;. Con menos sesgo;. Igual sesgo;.

En el método de optimización por Mínimos Cuadrados se usa la suma cuadrática como función de pérdida. En concreto SC = Σᵢ₌₁ⁿ (yᵢ - ŷᵢ)². La regularización Ridge suma a esta función de pérdida el sumando: + λ ∑ⱼ=₁ᵖ βⱼ ;. + λ ∑ⱼ=₁ᵖ βⱼ⁻¹ ;. + λ ∑ⱼ=₁ᵖ βⱼ².

La función de pérdida que hay que minimizar estimando los 𝛽 en el método Ridge es f = ∑ᵢ=₁ⁿ (yᵢ - ŷᵢ)² + λ ∑ⱼ=₁ᵖ βⱼ². El segundo sumando indica que: Cuanto mayores son los 𝛽, más valor la función;. Cuanto menores son los 𝛽, más valor la función;. No existe relación entre el tamaño de los 𝛽 y el valor de la función;.

La función de pérdida que hay que minimizar estimando los 𝛽 en el método Ridge es f = ∑ᵢ=₁ⁿ (yᵢ - ŷᵢ)² + λ ∑ⱼ=₁ᵖ βⱼ². Esto indica que: Habrá preferencia por valores de 𝛽 pequeños;. Habrá preferencia por valores de 𝛽 grandes;. Habrá preferencia por valores de 𝛽 medianos;.

En contraste con la forma clásica de estimación por Mínimos Cuadrados, empleando el método Ridge, los 𝛽 estimados harán que: El modelo se ajuste a la muestra de entrenamiento de forma máxima;. El modelo se ajuste a la muestra de entrenamiento de forma moderada;. El modelo se ajuste a la muestra de entrenamiento de forma mínima;.

Los métodos de regularización: Promueven y mejoran el método de estimación de parámetros para que el ajuste a la muestra de entrenamiento llegue hasta sus últimas consecuencias;. Cambian la función del error de predicción para que el ajuste a la muestra de entrenamiento llegue hasta sus últimas consecuencias;. Incordian al método de estimación de parámetros para que el ajuste a la muestra de entrenamiento no llegue hasta sus últimas consecuencias;.

La función de pérdida que hay que minimizar estimando los 𝛽 en el método Ridge es f = ∑ᵢ=₁ⁿ (yᵢ - ŷᵢ)² + λ ∑ⱼ=₁ᵖ βⱼ². En esta expresión, el hiperparámetro λ: Gobierna el compromiso sesgo-variación;. Es estimado en el proceso de optimización;. Tendrá valor 1 si queremos cancelar el efecto de la regularización;.

La función de pérdida que hay que minimizar estimando los 𝛽 en el método Ridge es f = ∑ᵢ=₁ⁿ (yᵢ - ŷᵢ)² + λ ∑ⱼ=₁ᵖ βⱼ². En esta expresión, el hiperparámetro λ: Tendrá valor cero si se quiere que la regularización actúe;. Tenderá a minimizarse en el proceso de optimización;. Modula el efecto de la regularización en la estimación de parámetros;.

La modificación que aplica el método Lasso es muy similar a la de Ridge. Se trata de añadir de nuevo a la función de pérdida de Mínimos Cuadrados un sumando en la parte final, pero si antes era el sumatorio de los cuadrados de las 𝛽, ahora es: La norma del vector 𝐘;. La norma del vector de 𝛃;. La multiplicación del vector 𝛃 por su transpuesta, es decir, 𝛃 T𝛃;.

Una de las virtudes de Lasso frente a Ridge es que: Emplea métodos numéricos para estimar las 𝛽 ;. Alguna 𝛽 pueda quedar en cero, lo que lo convierte en un método para desechar variables y quedarse con solo lo importante;. Ninguna 𝛽 pueda quedar en cero, lo que hace que el método no pierda información;.

Por regla general, el método de regularización Lasso: Construye modelos más simples e interpretables;. Construye modelos con más variables involucradas, y por tanto más informativos;. Construye modelos más ajustados a la muestra de entrenamiento;.

Los métodos de regularización: No pueden aplicarse cuando la regresión es logística;. Pueden aplicarse cuando la función de pérdida es Máxima Verosimilitud;. No se aplican en otras técnicas;.