Cuestionario sobre Procesos Estocásticos de Markov

¿Quién fue Markov?. Un físico ruso. Un matemático ruso. Un ingeniero alemán.

¿Qué estudió Markov?. Cómo la gravedad afecta a los objetos. Cómo evolucionan sistemas donde el futuro depende del estado actual. El comportamiento de las partículas subatómicas.

¿Cómo se llama la propiedad que definió Markov?. Teorema de Markov. Propiedad de Markov. Ley de Markov.

¿Qué es una cadena de Markov?. Un tipo de algoritmo informático. Un modelo matemático para describir cómo un sistema cambia entre estados con ciertas probabilidades. Un juego de mesa.

¿Qué son los estados en una cadena de Markov?. Las acciones que se pueden tomar. Situaciones posibles. Las probabilidades de transición.

¿Qué son las transiciones en una cadena de Markov?. Las acciones que se pueden tomar. Situaciones posibles. Probabilidades de pasar de un estado a otro.

¿Cómo se resumen las transiciones en una cadena de Markov?. En un diagrama de flujo. En una matriz de transición P. En una ecuación diferencial.

En la matriz de transición, ¿qué representan los valores?. Las acciones que se pueden tomar. Las probabilidades de pasar de un estado a otro. Los estados del sistema.

Si un sistema está en estado 1, ¿cómo calculamos la probabilidad de estar en estado 1 después de un periodo?. Multiplicando por la probabilidad de transición de 2 a 1. Multiplicando por la probabilidad de transición de 1 a 1. Sumando las probabilidades de todos los estados.

¿Cuáles son los tipos de cadenas de Markov mencionados?. Cadena de Markov en tiempo discreto y Cadena de Markov en tiempo continuo. Cadena de Markov en tiempo lineal y Cadena de Markov en tiempo exponencial. Cadena de Markov con memoria y Cadena de Markov sin memoria.

En una Cadena de Markov de Tiempo Discreto (DTMC), ¿cómo cambia el sistema?. Continuamente. Por saltos. Aleatoriamente.

En una DTMC, ¿qué ejemplos se dan de cambios en el tiempo?. Segundo a segundo. Día a día, semana a semana, turno a turno. Año a año.

¿En qué se usa la DTMC en ingeniería?. Para modelar el clima. Para modelar la calidad, inventarios, mantenimiento, logística. Para modelar el crecimiento de las plantas.

En una Cadena de Markov en Tiempo Continuo (CTMC), ¿cómo cambia el sistema?. Por saltos. Continuamente. En intervalos discretos.

¿En qué se usa la CTMC?. En juegos de azar. En fiabilidad, sistemas de colas, degradación de componentes. En la bolsa de valores.

¿Cómo se modelan las transiciones en una CTMC?. Con probabilidades. Con tasas (λ). Con funciones de densidad.

¿Cuál es el objetivo 1 del uso de cadenas de Markov?. Minimizar costes. Predecir el futuro. Controlar inventarios.

Si conocemos el estado actual, ¿qué necesitamos para predecir el futuro?. La matriz de transición. El historial completo del sistema. La opinión de expertos.

¿Cómo calculamos las probabilidades después de 'n' periodos?. Elevando la matriz de transición a la potencia 'n'. Multiplicando la matriz de transición por 'n'. Sumando la matriz de transición 'n' veces.

¿Cuál es el objetivo 2 del uso de cadenas de Markov?. Encontrar el comportamiento a largo plazo. Minimizar el número de estados. Reducir la complejidad computacional.

¿Qué representa el vector π en el estado estacionario?. Las probabilidades de transición. El porcentaje de tiempo que el sistema pasa en cada estado a largo plazo. Las acciones óptimas.

¿Qué ecuación cumple el vector π?. πP = π y la suma de πi = 1. π + P = 1. π - P = 0.

¿Para qué es fundamental el estado estacionario en ingeniería?. Para estimar la calidad del producto. Para dimensionar inventarios, estimar tiempos medios de operación, etc. Para predecir el clima.

¿Qué son las cadenas absorbentes?. Cadenas donde los estados son volátiles. Cadenas donde una vez que entras en un estado, no se puede salir. Cadenas que absorben energía.

En las cadenas absorbentes, ¿qué ejemplos de estados absorbentes se mencionan?. El estado inicial. Muerte, fallo definitivo, graduación, cliente perdido para siempre. El estado final.

¿Qué forma tiene la matriz de una cadena absorbente?. (I 0). (R Q). (0 I). (Q R).

¿Qué se puede calcular con las cadenas absorbentes?. El número esperado de pasos antes de absorberse, probabilidad de terminar en cada estado absorbente y el tiempo medio hasta el fallo. La probabilidad de llegar al estado inicial. La matriz de transición.

¿Qué representa 'I' en la matriz de una cadena absorbente?. El paso desde transitorios hacia absorbentes. Estados absorbentes que se quedan como están. El movimiento entre transitorios.

¿Qué representa '0' en la matriz de una cadena absorbente?. El paso desde transitorios hacia absorbentes. Desde absorbente no puedes volver a transitorio. El movimiento entre transitorios.

¿Qué representa 'Q' en la matriz de una cadena absorbente?. El paso desde transitorios hacia absorbentes. Desde absorbente no puedes volver a transitorio. Movimiento entre transitorios.

¿Qué representa 'R' en la matriz de una cadena absorbente?. El paso desde transitorios hacia absorbentes. Desde absorbente no puedes volver a transitorio. El movimiento entre transitorios.

¿Qué son los Procesos de Markov de Decisión (MDP)?. Procesos donde no se pueden tomar decisiones. Procesos donde solo hay estados y probabilidades. Procesos donde se pueden tomar acciones para optimizar. Procesos donde la matriz de transición es fija.

¿Qué elementos intervienen en un MDP?. Solo estados y probabilidades. Estados, probabilidades y acciones. Solo acciones.

¿Qué objetivo se busca en un MDP?. Minimizar costes o maximizar beneficios. Aumentar la complejidad del sistema. Ignorar las probabilidades de transición.

¿Cómo se resuelven los MDP?. Con programación lineal. Con programación dinámica, ecuaciones de Bellman, iteración de valores y políticas. Con software de simulación.

¿En qué se usan los MDP?. En el análisis de datos. En mantenimiento óptimo, gestión de inventarios, planificación de producción y robótica. En la creación de videojuegos.

¿Qué es un MDP de horizonte finito?. Un MDP donde el número de etapas es infinito. Un MDP donde se planifica durante un número fijo de etapas. Un MDP que no considera el tiempo.

¿Qué es un MDP de horizonte infinito?. Un MDP que no considera el tiempo. Un MDP donde se planifica para siempre. Un MDP donde el número de etapas es limitado.

¿Qué son los factores de descuento?. Factores que aumentan las recompensas futuras. Factores que valoran el futuro. Factores que solo afectan a las recompensas inmediatas.

¿Qué representa V(s)?. El coste de una acción. El valor del estado s. La recompensa inmediata.

¿Qué representa R(s, a)?. La recompensa inmediata por tomar la acción 'a' en el estado 's'. El valor del estado s. El factor de descuento.

¿Qué representa el factor de descuento γ?. Cuánto importan las recompensas futuras. La recompensa inmediata. El valor del estado.