Machine Learning Concepts - Metrics

In this case, what is the history plot telling us?. Underfitting. Overfitting. Keep training the models for more epochos.

Tienes un dataset desbalanceado donde el 99% de los casos son negativos y solo el 1% son positivos. Si tu modelo predice 'negativo' para todo, ¿cuál será el problema con la métrica de 'Accuracy' (Exactitud)?. La Accuracy será del 50%, equivalente a adivinar al azar. La Accuracy será muy alta (99%), dando una falsa sensación de buen rendimiento. La Accuracy será muy baja, indicando falsamente un mal modelo. La Accuracy no se puede calcular en datasets desbalanceados.

En un sistema de detección de spam (correo no deseado), es muy molesto que un correo importante (legítimo) se marque como spam. ¿Qué métrica deberías priorizar para minimizar estos falsos positivos?. Log Loss. Recall (Sensibilidad). F1-Score. Precisión.

¿Qué representa el área bajo la curva ROC (AUC)?. La relación entre la precisión y el recall para diferentes umbrales. El porcentaje exacto de predicciones correctas que hizo el modelo. El error cuadrático medio de las probabilidades predichas. La probabilidad de que el modelo clasifique un ejemplo positivo aleatorio por encima de un ejemplo negativo aleatorio.

¿Cuál es la fórmula para calcular el F1-Score?. El promedio aritmético de Precisión y Recall: (Precision + Recall)/2. La media armónica de Precisión y Recall: 2 * (Precision * Recall) / (Precision + Recall). La diferencia entre Tasa de Verdaderos Positivos y Falsos Positivos. La suma de Verdaderos Positivos y Verdaderos Negativos: TP + TN.

En un problema de regresión, ¿qué métrica penaliza más fuertemente los errores grandes (outliers)?. MSE (Mean Squared Error). $R^2$ (Coeficiente de determinación). MAE (Mean Absolute Error). RMSE (Root Mean Squared Error) penaliza menos que el MAE.

Si tu modelo de clasificación tiene un Recall (Sensibilidad) muy bajo, ¿qué significa esto en la práctica?. Que el modelo clasifica todo correctamente. Que el modelo está dando muchas falsas alarmas (Falsos Positivos). Que el modelo está perdiendo u omitiendo muchos casos positivos reales (muchos Falsos Negativos). Que el modelo nunca predice la clase negativa.

¿Cuáles son los ejes de una curva ROC?. Eje X: Recall, Eje Y: Tasa de Falsos Negativos. Eje X: Precisión, Eje Y: Recall. Eje X: Tasa de Falsos Positivos (FPR), Eje Y: Tasa de Verdaderos Positivos (TPR). Eje X: Threshold (Umbral), Eje Y: Accuracy.

¿Qué es un error de Tipo I?. Un error de sintaxis en el código de Python. Cuando el modelo tiene un sesgo muy alto (Underfitting). Un Falso Positivo: El modelo detecta un efecto o clase que no existe en realidad. Un Falso Negativo: El modelo no detecta un efecto que sí existe.

En una matriz de confusión, ¿dónde se ubican los 'Verdaderos Negativos' (TN) generalmente (en la disposición estándar)?. Fuera de la matriz. En la esquina inferior izquierda. En la esquina superior izquierda. En la diagonal principal, usualmente en la esquina inferior derecha.

Si tu métrica de error es baja en el set de entrenamiento pero alta en el set de validación, ¿qué está ocurriendo?. Underfitting (Subajuste). Fuga de datos (Data Leakage). Overfitting (Sobreajuste). El modelo es perfecto.