RNAP Tema 7

Las RNN se diferencian de las redes neuronales tradicionales en que: Pueden trabajar sobre una secuencia de inputs de manera natural. Pueden producir una secuencia de outputs de manera natural. Tienen un estado interno que permite guardar información sobre lo que la red ha visto hasta ahora. Todas son correctas.

En un problema de traducción automática: Tenemos un solo input y producimos una secuencia. Tenemos una secuencia de entrada y producimos una sola salida. Tenemos una secuencia de entrada y producimos una secuencia de salida. Ninguna de las anteriores.

En una vanilla RNN, los parámetros a aprender en la red son: Las matrices Whh,Wxh y Why. Las matrices Whh y Wxh. Los estados internos ht para t cada. Los valores de las input xt. Ninguna de las anteriores.

El vector de hidden state ht: Almacena todas las inputs que la red ha visto hasta el momento. A menor tamaño, más capacidad de memorizar el pasado. A mayor tamaño, la red neuronal entrenará o se ejecutará más rápido. Es una representación interna en forma de vector que codifica los estados por los que la red ha pasado y las inputs que ha ido viendo en el tiempo.

Marca todas las respuestas correctas acerca de backpropagation through time: Es el equivalente al algoritmo de backpropagation aplicado a RNN. En el forward pass calculamos todas las salidas a lo largo del tiempo. A veces las secuencias pueden ser muy largas (por ejemplo, un texto completo para entrenar un modelo del lenguaje), por lo que se recurre a truncated backpropagation through time. Todas son correctas.

¿Cuál es una diferencia entre los modelos del lenguaje tradicionales vistos en clase y un modelo del lenguaje con RNN? (Marca la respuesta correcta): En un modelo del lenguaje con RNN no modelamos probabilidades. En un modelo del lenguaje con RNN el hidden state es la probabilidad de una palabra dadas todas las anteriores, no hace falta contar las ocurrencias de palabras. Los modelos tradicionales utilizan redes neuronales no recurrentes. Un modelo del lenguaje con RNN no necesita modelar probabilidades con cuentas, se utiliza un modelo de predicción en el que el estado interno de la red codifica la información necesaria para obtener las probabilidades buscadas.

¿Qué ventajas puede tener utilizar word vectors en vez de representaciones one-hot como entrada en una red recurrente? (Marca todas las respuestas correctas): Seleccione una o más de una: A. Ninguna, ambas son equivalentes. B. Con una representación one-hot no podemos distinguir entre palabras distintas. C. Los word vectors contienen información semántica de la palabra que una red neuronal puede utilizar para modelar mejor el problema a resolver. D. Si el vocabulario es muy grande, una representación discreta como la one-hot da lugar a vectores de entrada muy grandes, mientras que una representación densa como los word vectors permite un vector más compacto. A, B. B, C. C, D. A, D.

Gradient clipping: Controla la magnitud del gradiente durante backpropagation. Si este se hace muy grande, se reduce su magnitud para evitar el problema de exploding gradients. Controla la magnitud del gradiente durante backpropagation. Si este se hace muy pequeño, se incrementa su magnitud para evitar el problema de vanishing gradients. Controla la magnitud del gradiente durante el forward pass. Si este se hace muy grande, se reduce su magnitud para evitar el problema de exploding gradients. Controla la magnitud del gradiente durante el forward pass. Si este se hace muy pequeño, se reduce su magnitud para evitar el problema de vanishing gradients.

La arquitectura LSTM (marca las respuestas correctas): Seleccione una o más de una: A. Surge como una arquitectura que trata de modelar con éxito relaciones temporales de larga distancia. B. La input gate (i) controla cuánto olvidamos del estado interno anterior. C. Utiliza tanto sigmoids como tanhs en sus representaciones internas. D. La forget gate (f) controla cuánta información fluye hacia el hidden state. E. Soluciona el problema de los vanishing gradients. A, B, E. B, C, D. A, C, E. C, D, E.

Al apilar RNN: La salida del último time step de una RNN se pasa como primer input a la siguiente RNN. Solo la salida del primer time step de una RNN se pasa como input a la siguiente RNN. Las salidas de cada time step de la primera RNN son las entradas de la siguiente RNN. Ninguna de las anteriores.