Ingenieria Del procesamiento de datos Masivos

¿Qué componente de HDFS puede ser un punto único de fallo (SPOF)?. A. Datanode. C.Filenode. B. Namenode. D. Ninguna de las anteriores.

Se precisa hacer un procesado de datos con Spark. Señale la respuesta correcta: B. Es mejor usar la API estructurada, porque sin tener en cuenta el motor Catalyst, el plan de ejecución que crea Spark para la API estructurada es el óptimo. C. Los desarrolladores de Spark recomiendan usar la API estructurada porque permiten optimizar operaciones con el motor Catalyst. D. Es mejor usar las consultas SQL desde la función sql de la SparkSeccion, por que el plan de ejecución resultante es más eficiente que usando las funciones de la API estructurada ( filter, where, alias...). A. Es mejor usar la API de RDDs, por que el motor Catalyst puede aplicar optimizaciones a los mismos.

Elija la respuesta INCORRECTA sobre Impala: D. Trabaja principalmente en memoria. C. Realiza las consultas sobre su propia red de demonios. A. Está orientado a consultas interactivas. B. Está orientado a consultas en bloque.

En Spark, si no cacheamos un DataFrame que utilizaremos en varias operaciones independientes. B. Podríamos obtener resultados incorrectos. C. Sería imposible reconstruir las particiones perdidas si falla un nodo. A. Podríamos tardar más tiempo del estrictamente necesario. D. Todas las opciones anteriores son ciertas.

¿Cómo efectúa Impala las consultas?. D. A través de Apache Spark ya que los cálculos los efectúa en memoria. B. A través de sus propios procesos demonio creados en cada máquina del cluster. C. A través de Apache Tez al tratarse de consultas SQL interactivas. A. Mediante un motor de ejecución configurable que puede ser Spark, MapReduce o Tez.

¿Cuál de las siguientes afirmaciones acerca de Hive y BigQuery NO es cierta?. B. Ambos poseen su propio motor de ejecución y no necesitan una herramienta externa para ejecutar consultas. C. Ambas son herramientas open-source. A. Ambos son sistemas de Data Warehouse. D. Las opciones B y C son falsas.

Para comunicar los servicios contratados (almacenamiento, computación, base de datos...) en una plataforma de cloud computing (elija la respuesta correcta): A. Todos los servicios existentes en una plataforma de cloud computing para todos los usuarios de la misma están comunicados entre sí automáticamente. D. Ninguna de las anteriores. B. No es posible comunicar servicios entre sí dentro de la plataforma de cloud computing, sino que es necesario crear una red externa para comunicarlos. C. Cada usuario de la plataforma de cloud computing puede crear únicamente una red virtual dentro de la plataforma para conectar todos los servicios que contrate.

¿Cómo consigue Kafka la escalabilidad?. A. Gracias a que está soportado por HDFS el cual es intrínsecamente escalable. D. Todas las respuestas anteriores son correctas. B. Gracias a que utiliza Spark como motor de procesamiento, y Spark es escalable al distribuir el cómputo automáticamente. C. Gracias a que las particiones de un topic están replicadas en varios brokers y esto permite adaptarnos a un incremento de productores o de consumidores.

¿Cuál de las siguientes afirmaciones es correcta?. A. Spark nunca requiere movimiento de datos entre nodos, a diferencia de MapReduce. D. Ninguna de las respuestas anteriores es correcta. B. Spark resulta más intuitivo y fácil de aprender que el paradigma MapReduce. C. Spark no permite procesar datos en tiempo real, a diferencia de MapReduce.

¿Cuál de las siguientes afirmaciones sobre Impala y Hive NO es cierta?. D. Ambas pueden consultar datos almacenados en HDFS. C. Ambas herramientas admiten consultas en lenguaje SQL. B. Ambas herramientas son compatibles con un driver ODBC para conectarnos a ellas. A. Ambas herramientas ejecutan sobre Spark.

¿Cuál de las siguientes afirmaciones sobre los servicios de cloud computing es cierta?: A. Están diseñadas explícitamente para resolver problemas de big data y machine learning. B. No son una buena elección para desarrollar aplicaciones móviles. D. Ninguna de las anteriores. C. Entre las aplicaciones que más usan servicios de cloud computing están las aplicaciones IoT (Internet of Things).

Si nos fijamos en los tres grandes proveedores de servicios de Cloud Computing en la actualidad... D. Ninguna de las opciones anteriores es cierta. C. Los proveedores cloud no incluyen entre sus servicios el despliegue de bases de datos relacionales. A. Cada proveedor permite desplegar exclusivamente instancias de bases de datos relacionales propietarias, de ese proveedor. B. Sólo permiten desplegar bases de datos relacionales que sean open source, como MySQL, PostgreSQL, etc.

Cuando utilizamos herramientas de cloud computing de un proveedor, .. B. Los desarrolladores pueden usar herramientas open-source para cualquier tarea. D. El desarrollo debe llevarlo a cabo un equipo de desarrolladores del proveedor. A. Los desarrolladores no pueden instalar tecnologías open-source si usan la infraestructura de ese proveedor. C. Los desarrolladores tienen que usar los servicios PaaS de ese proveedor.

En una tabla manejada de Hive ... B. El borrado de la tabla no afecta a los datos, que permanecerán en la misma ubicación. A. El borrado de la tabla implica el borrado de los datos. D. Ninguna de las opciones anteriores es correcta. C. Al ser manejada por Hive, las herramientas de BI no pueden acceder a esos datos.

Se quiere ajustar un modelo predictivo de análisis de sentimiento a un conjunto masivo de textos, usando Spark MLlib. Antes de entrenar el algoritmo predictivo, es necesario pre-procesarlos (dividir en palabras, quitar palabras sin significado, y codificarlas como números). Algunas de estas operaciones son estimadores y otras son transformadores. ¿Cuál sería la manera correcta de proceder?. A. Crear estimadores y transformadores independientes, haciendo fit o transform sobre cada uno según corresponda. B. Crear un pipeline sólo con los estimadores, ejecutar fit sobre el pipeline y después ejecutar transform sobre los transformadores. D. Crear un pipeline sólo con los transformadores, ejecutar fit sobre el pipeline y después usar transform sobre los estimadores. C. Crear un pipeline con todos los estimadores y transformadores necesarios, y ejecutar fit sobre el pipeline.

¿Cómo utilizaría Kafka un programador de Java?. C. Para utilizar Kafka es necesario hacerlo desde el lenguaje Python. A. Importando la dependencia de Kafka para Java en su programa. D. El programador no puede utilizar Kafka directamente sino que son las herramientas cloud quienes lo invocan. B. Necesita primero instalar Spark e invocarlo desde Java.

¿Qué sucede si en una línea de código utilizamos una acción, por ejemplo n = df.write("/mifichero.csv"), y en la siguiente línea hacemos df.cache()?. A. Obtenemos un error porque el DataFrame ya no existe cuando llegamos a cache(). C. Gracias a write(), el DataFrame se ha materializado, y como hemos indicado cache, permanece en memoria. D. Ninguna de las respuestas anteriores es cierta. B. El efecto beneficioso de cache no lo veremos hasta que hagamos una nueva acción sobre df.

Hemos montado el Data Lake de una gran cadena de hipermercados de alcance internacional, y queremos empezar a explorarlos y aplicar analítica descriptiva y predictiva con los datos históricos. ¿Cuál de las siguientes tecnologías probablemente NO vamos a necesitar?. A. Apache Spark. B. Apache Kafka. D. Una herramienta de Business Intelligence. C. Apache Hive.

Se quiere desplegar un producto big data en una plataforma de cloud computing. Por requisitos del producto, se requiere tener el mayor control posible del servidor o servidores donde se despliegue dicho producto. ¿Qué solución de las disponibles elegiría?. A. IaaS. B. PaaS. C. FaaS. D. SaaS.

¿Cuál de las siguientes situaciones no es habitual en Spark Structured Streaming?. C. Comprobar y consolidar datos recibidos en tiempo real antes de guardarlos. B. Refrescar una agregación que estamos guardando en una tabla. D. Todas las respuestas anteriores son habituales con Spark Structured Streaming. A. Entrenar un modelo predictivo en tiempo real.

Una desventaja importante de HDFS es que ... C. Es volátil, es decir, lo que almacenan los datanodes se pierde pasado un tiempo. B. No permite recuperar los datos que hubiese en un datanode si ese nodo se quemase. D. No permite operaciones de modificación de ficheros existentes. A. No permite almacenar un archivo de tamaño superior al de cualquier disco duro del cluster.

¿Cuál de las siguientes afirmaciones NO es cierta respecto a los Estimadores de Spark MLlib?. A. Siempre son modelos de Machine Learning, antes de ser entrenados. C. El método fit aplicado sobre ellos devuelve un Transformador. B. Siempre poseen un método fit. D. Pueden formar parte de un Pipeline.

Seleccione la respuesta INCORRECTA sobre los dataframes de Spark: B. Una tabla de datos similar a la de una base de datos relacional pero distribuida en la memoria RAM de los executors. D. Las respuestas A y B son correctas. C. Un tipo especial de fichero manejado por Spark. A. Una estructura de datos que encapsula dentro un RDD de objetos tipo Row.

¿Cuál de estas afirmaciones sobre Apache Hive es cierta?. B. Permite consultar archivos almacenados en HDFS utilizando lenguaje SQL. C. Requiere poseer una base de datos relacional funcionando como respaldo. D. Las opciones a y c son correctas. A. Existen versiones libres y de pago.

¿Cuál de las siguientes afirmaciones sobre Kafka es cierta?. C. Es una cola distribuida para paso de mensajes de la que las aplicaciones pueden leer o escribir. D. Las opciones B y C son correctas. A. Kafka utiliza Spark como motor de ejecución. B. Un grupo de mensajes con la misma estructura se denomina broker.

Un topic de Kafka es... C. Una replicación de los mensajes en HDFS. B. Un grupo de mensajes que siguen la misma estructura y pueden interpretarse igual. A. La unidad mínima que está replicada en todos los brokers. D. Ninguna de las respuestas anteriores es correcta.

¿Cuál de las siguientes opciones no es correcta acerca del módulo Spark Streaming?. D. La fuente de datos más habitual cuando usamos Spark Streaming es Kafka. C. Gracias a Structured Streaming se puede utilizar la API estructurada definida en Spark SQL. B. Solo tiene API para RDDs que todavía no ha sido migrada a DataFrames. A. La forma de procesar los datos es en microbatches.

¿Cómo se relacionan Apache Spark y Apache Kafka?. B. Spark puede guardar los DataFrames como tablas en el almacén de metadatos (metastore) de Kafka. D. Spark sólo puede funcionar en un cluster de ordenadores donde ya esté instalado Kafka. A. Spark puede leer desde y escribir en Kafka datos en tiempo real. C. Kafka sólo puede funcionar en un cluster de ordenadores donde ya esté instalado Spark.

En una plataforma de Cloud Computing podemos... A. Utilizar herramientas de desarrollo de software ya instaladas, y esto se conoce como IaaS. B. Utilizar directamente las máquinas, sin nada instalado, a lo cual se le llama PaaS. C. Utilizar software para usuarios finales ya instalado y listo para usar, y esto se conoce como SaaS. D. Ninguna de las respuestas anteriores es correcta.

¿Cuál de los siguientes servicios de Cloud Computing NO proporciona una base de datos relacional?. A. Azure SQL Database. C. Azure Databricks. D. Google Cloud SQL. B. Amazon Relational Database Service (RDS).

Completa la siguiente frase: Cuando creamos una aplicación en un notebook con Pyspark, el kernel del notebook tiene el rol de .... (1), y el procesamiento distribuido de los datos se lleva a cabo en los ... (2) que se crean en los ... (3) del cluster. B. (1) driver, (2) brokers, (3) nodos. C. (1) broker, (2) nodos, (3) workers. A. (1) broker, (2) executors, (3) nodos. D. (1) driver, (2) executors, (3) nodos.

¿Cuál de estos servicios cloud cumple la misma función que el servicio Dataproc de Google Cloud?. B. Amazon EMR. A. Amazon Aurora. D. Azure SQL Database. C. Azure Cognitive Services.

Cuando tenemos un DataFrame de Spark en la variable mi_df y ejecutamos mi_df.write.parquet("/tmp/datos.parquet") ... C. Spark crea una nueva carpeta llamada /tmp/datos.parquet y dentro de ella se crean tantos ficheros distintos como particiones tenga el DataFrame. D. Spark crea en la carpeta /tmp de HDFS un único fichero Parquet llamado datos.parquet formado por tantos bloques de HDFS como particiones tuviera el DataFrame. A. Spark crea en la carpeta /tmp de HDFS tantos ficheros Parquet como particiones tenga el DataFrame. B. Spark crea en la carpeta /tmp de HDFS un fichero Parquet llamado datos.parquet cuyo tamaño es igual al total del DataFrame.

¿Cuál de los siguientes casos de uso es POCO adecuado para HDFS?. C. Almacenar la información de las pólizas de una compañía aseguradora para ser consultada por las agencias cuando interactúan con los clientes. D. Montar el lago de datos para efectuar la analítica sobre los clientes de una empresa de energía eléctrica. A. Almacenar información histórica de las pólizas de una compañía aseguradora desde su creación. B. Migrar distintas bases de datos tradicionales de una empresa de telecomunicaciones para realizar cuadros de mando sobre esos datos.

El proceso que se crea en cada nodo del cluster al arrancar una aplicación con Spark se denomina... A. Worker. B. Datanode. C. Executor. D. Broker.

En el sistema de ficheros HDFS, cuando se solicita la lectura de un fichero: B. Es el namenode quien proporciona los metadatos al cliente. D. Es el datanode quien proporciona los metadatos al cliente. A. Es el cliente quien proporciona los metadatos al namenode. C. Es el namenode quien proporciona los bloques del fichero al cliente.

Durante el procesamiento de datos con Spark, si un nodo falla o cae: D. El usuario debe indicar en su código una función de callback que Spark invocará en caso de caída de algún nodo. A. Spark lo gestiona automáticamente y recalcula los datos necesarios en otra máquina gracias al DAG. B. El usuario debe hacer el código robusto para detectarlo y recuperarse. C. No es necesario recalcular porque Spark mantiene cada partición de los RDD replicada en varias máquinas.

Seleccione la respuesta correcta sobre los dataframes de Spark: C. No es posible acceder al RDD envuelto por un dataframe. A. Son una estructura de datos que envuelve un RDD de objetos tipo Row. D. Al igual que los RDD, los dataframes están distribuidos en almacenamiento persistente de los nodos worker. B. Una ventaja sobre los RDD es que los dataframes no son inmutables.

¿Qué es lo que está replicado en Kafka?. D. Cada productor está replicado dentro de varios topics. A. Cada topic está replicado en varios productores. C. Cada partición está replicada en varios brokers. B. Cada broker está replicado en varios consumidores.

En Impala, el proceso que lleva a cabo las consultas (las planifica, las distribuye a otras máquinas, lee y escribe datos, etc) es: D. impalad. B. stated. A. statestored. C. catalogd.

Las transformaciones de Spark. D. Devuelven un valor. C. Devuelven un RDD. B. Devuelven otras transformaciones. A. No devuelven nada.

Se quiere desplegar una base de datos SQL en una plataforma de cloud computing. El equipo de desarrolladores es experto en diseño y gestión de bases de datos SQL, pero no es experto en administración de sistemas. ¿Qué opción de las disponibles sería la más adecuada?. D. Usar un servicio on-premises. C. Usar un servicio SaaS. A. Usar un servicios IaaS. B. Usar un servicio PaaS.

¿Cuál de los siguientes servicios de seguridad NO ofrecen las plataformas de cloud computing estudiadas?. B. Gestión de identidad. D. Autenticación y autorización. A. Responsabilidad sobre los datos de la aplicación. C. Control de acceso.

¿Cuál de las siguientes NO es una ventaja de los servicios de cloud computing: C. Alta disponibilidad del servicio. A. Acceso físico a las máquinas que proporcionan el servicio. D. Robustez ante fallos. B. Elasticidad.

Completa la terna: Dataproc, Azure HD Insight... B. Amazon S3. D. Ninguna de las opciones anteriores es correcta. A. Amazon SageMaker. C. Elastic Map Reduce.

En el sistema de ficheros HDFS, cuando se solicita la escritura de un fichero: B. El namenode envía el contenido de los bloques del fichero a los datanodes. A. El namenode accede a los datanodes para escribir los bloques. D. El cliente envía el contenido de los bloques del fichero a los datanodes. C. El cliente envía el contenido de los bloques del fichero a namenode.

Para cargar datos en un dataframe de Spark, podemos: C. No especificar esquema porque la inferencia de esquema que hace el propio Spark asigna el tipo correcto automáticamente sin coste de eficiencia. D. Especificar explícitamente y obligatoriamente el esquema para que Spark pueda cargar los datos. A. Pedir a Spark que infiera el esquema para que asigne tipos más específicos que String, si procede. B. No especificar esquema ni pedir a Spark que lo infiera, para obtener el tipo más adecuado para cada campo.

Los mensajes que una aplicación productora envía a Kafka (seleccione la respuesta correcta). C. Se almacenan en almacenamiento persistente del clúster de Kafka hasta que los lee el primer consumidor, y una vez leído se eliminan. D. Se almacenan en el clúster de Kafka y se eliminan tras cierto tiempo en el clúster o cuando el volumen de mensajes alcanza cierto umbral, según configuración. B. Se almacenan en memoria del clúster de Kafka hasta que los lee el primer consumidor, y una vez leído se borran de memoria. A. Se almacenan en el clúster de Kafka de forma indefinida y sólo se pueden borrar de forma manual.

Cuando un consumidor lee mensajes de Kafka (seleccione la respuesta correcta): C. Lee los mensajes en orden dentro de cada bróker. B. Lee los mensajes en orden dentro de cada topic. D. Kafka no garantiza ningún tipo de orden al consumir los mensajes. A. Lee los mensajes en orden dentro de cada partición.

La pieza VectorAssembler de MLlib: B. Es un estimador genérico de algoritmos distribuidos. D. Es un transformador que codifica los valores de una variable categórica. C. Es un transformador que crea una nueva columna de tipo vector fusionando columnas existentes. A. Es un estimador para entrenar modelos vectoriales como RandomForest.

Entre los servicios big data que ofrecen las plataformas de cloud computing estudiadas (elija la respuesta correcta): C. Todas las plataformas proporcionan únicamente servicios de consulta OLTP. D. Ninguna de las anteriores. A. Todas las plataformas proporcionan Hive como servicio gestionado. B. Todas las plataformas proporcionan un servicio de consultas OLAP (OnLine Analytical Processing, orientado a consultas batch) gestionado.

En cualquiera de las plataformas de cloud computing estudiadas, los recursos de computación se distribuyen a lo largo de todo el mundo. Elija la respuesta correcta: C. Es recomendable elegir recursos de computación cercanos al desarrollador de la aplicación desplegada. B. Se deben escoger los recursos de computación más cercanos a la ubicación del desarrollador, ya que sólo son accesibles desde localizaciones cercanas. D. Es aconsejable elegir recursos de computación cercanos a los usuarios finales de la aplicación desplegada. A. Cualquiera de los servicios disponibles se ejecutan siempre en los recursos de computación más cercanos al desarrollador.

La herramienta Dataproc de Google Cloud... B. Permite desplegar al vuelo una base de datos relacional de Google. C. Permite descargar HDFS y Spark para instalarlos y usarlos en nuestro ordenador portátil doméstico. D. Ninguna de las respuestas anteriores es cierta. A. Permite desplegar al vuelo un clúster que trae instaladas herramientas big data como Spark, HDFS y Kafka.

¿Por qué actualmente no se utilizan los RDDs en Spark?. A. Porque el código es menos intuitivo y más propenso a errores por parte del programador, además de no estar optimizados, a diferencia de los DataFrames. C. Porque no están disponibles en Python (pyspark), sino sólo en lenguaje Scala. D. Las respuestas A y B son correctas. B. Porque los RDDs escriben los resultados en disco el resultado intermedio de los cálculos.

¿Cuál es la mejor opción si queremos consultar mediante SQL un fichero masivo que ya existe y está almacenado en HDFS?. A. Crear un transformer de MLlib para transformar la consulta SQL en trabajos distribuidos de Spark. B. Crear una tabla manejada de Hive para poder consultar el fichero de forma optimizada. C. Crear un clúster de Kafka para consultar los datos del fichero en tiempo real mediante SQL. D. Crear una tabla externa de Hive apuntando a la ubicación del fichero.

¿Cómo se relacionan Spark y Kafka?. B. Spark puede escribir en Kafka datos calculados en tiempo real. D. Las opciones B y C son correctas. A. Kafka puede escribir en Spark para procesar en tiempo real. C. Spark puede leer de Kafka datos que transporta en tiempo real.

Durante el procesamiento de datos con Spark, si un nodo falla o cae: D. El usuario debe indicar en su código una función de callback que Spark invocará en caso de caída de algún nodo. B. El usuario debe hacer el código robusto para detectarlo y recuperarse. C. No es necesario recalcular porque Spark mantiene cada partición de los RDD replicada en varias máquinas. A. Spark lo gestiona automáticamente y recalcula los datos necesarios en otra máquina gracias al DAG.

¿Qué tecnologías se asimilan a Apache Hive?. C. Amazon S3, Google BigQuery, Azure DataLake Storage. A. Amazon Redshift, Cloud SQL, Azure SQL Database. B. Amazon EMR, Google Cloud Dataproc, Azure Databricks. D. Amazon Redshift, Google BigQuery, Azure Synapse.

Cuando aplicamos el método fit a un Estimador de Spark, pasando como argumento un DataFrame... A. Nos devuelve como resultado otro estimador. C. Nos devuelve como resultado el DataFrame ajustado. B. Nos devuelve como resultado un transformador. D. No es posible aplicar fit a un Estimator.

¿Cuál de los siguientes casos de uso es típico de Kafka?. D. Ninguno de los casos anteriores es habitual en Kafka. B. Un científico de datos utiliza el histórico de su empresa para entrenar un modelo predictivo. A. Una web envía constantemente información sobre clicks a Spark, que calcula resúmenes en tiempo real del comportamiento de los usuarios. C. Un analista de negocio lanza una consulta SQL sobre datos masivos almacenados en un cluster.

¿Cuál es el propósito del DAG en Spark?. B. Mantener la trazabilidad y resiliencia. D. Ejecutar acciones inmediatamente. C. Replicar particiones. A. Optimizar consultas SQL.

Si un productor en Kafka configura acks=all, ¿qué implica?. B. Mayor rendimiento. C. Entrega más rápida de mensajes. D. Mayor riesgo de pérdida de mensajes. A. Mayor latencia.

¿Cuál es el servicio de Azure equivalente a Amazon S3?. C. Azure Cosmos. A. Azure Cognitive Services. B. Azure DataLake Storage. D. Azure SQL Database.

¿Cómo almacena la información Kafka para ser consumida?. B. En el metastore. C. En HDFS. A. En ficheros en formato binario. D. Ninguna de las respuestas anteriores es cierta.

¿Cuál de estos servicios cloud cumple la misma función que el servicio Dataproc de Google Cloud que has utilizado para desplegar un clúster de Spark?. B. Amazon EMR (Elastic Map Reduce). A. Amazon Aurora. C. Azure Cognitive Services. D. Azure SQL Database.

Se quiere ajustar un modelo predictivo de análisis de sentimiento a un conjunto masivo de textos, usando Spark MLlib. Antes de entrenar el algoritmo predictivo, es necesario pre-procesarlos (dividir en palabras, quitar palabras sin significado, y codificarlas como números). Algunas de estas operaciones son estimadores y otras son transformadores. ¿Cuál sería la manera correcta de proceder?. D. Crear un pipeline sólo con los transformadores, ejecutar fit sobre el pipeline y después usar transform sobre los estimadores. A. Crear estimadores y transformadores independientes, haciendo fit o transform sobre cada uno según corresponda. C. Crear un pipeline con todos los estimadores y transformadores necesarios, y ejecutar fit sobre el pipeline. B. Crear un pipeline sólo con los estimadores, ejecutar fit sobre el pipeline y después ejecutar transform sobre los transformadores.

¿Cómo efectúa Impala las consultas?. A través de Apache Tez al tratarse de consultas SQL interactivas. A través de Apache Spark ya que los cálculos los efectúa en memoria. Mediante un motor de ejecución configurable que puede ser Spark, MapReduce o Tez. A través de sus propios procesos demonio creados en cada máquina del cluster.

Cuando un consumidor lee mensajes de Kafka (seleccione la respuesta correcta): C. Lee los mensajes en orden dentro de cada bróker. A. Lee los mensajes en orden dentro de cada partición. D. Kafka no garantiza ningún tipo de orden al consumir los mensajes. B. Lee los mensajes en orden dentro de cada topic.