Recopilación preguntas LRBA

¿De qué se encarga la fase de ejecución “SetUp”?. Configura el ecosistema. Configura todos los elementos del job (ecosistema, conectores y plan de ejecución). Prepara el plan de ejecución. Realiza la ejecución.

¿Cuáles son las fases de ejecución LRBA, en el orden de ejecución correcto?. Setup / Prepare Read/ Prepare Transform / Prepare Write / Execute. Setup / Read / Transform / Write / Execute. Setup / Execute / Prepare Transform / Prepare Read / Prepare Write. Setup / Prepare Source / Prepare Transformer / Execute.

¿Cuál es el principal soporte de almacenamiento de LRBA?. Amazon S3 (BTS). Almacenamiento en la nube de IBM (BTS). Host. Máquinas distribuidas.

¿Qué BBDD son soportadas por LRBA?. DB2, Oracle, PostgreSQL, MongoDB y ElasticSearch. Oracle y DB2. DB2, Oracle, SQL Server y MongoDB. MongoDB, Oracle y DB2.

¿Qué métodos podemos encontrar en nuestro "Job[JOBNAME]Builder"?. registerSources() y registerTargets(). sources(), transformers() y targets(). registerSources(), trasnform() y registerTargets(). registerSources(), registerTransform() y registerTargets().

¿Qué comando podemos utilizar para seleccionar una carpeta para pruebas en local?. lrba run. lrba config. lrba configure-storage. lrba test.

LRBA Spark es…. Es una implementación de LRBA para manejar datos individuales. Es una implementación de LRBA para manejar las bases de datos en batch. Es una implementación de LRBA para manejar grandes datasets. Es una implementación de LRBA para manejar el end to end de procesos.

En cuanto al procesamiento de datos, uno de los conceptos más importantes es el dataset. Un dataset en LRBA es…. Una colección de datos host desestructurados y que residen en la memoria del proceso Spark. Una colección de datos host que ya tiene una estructura y reside en la memoria del proceso Spark. Una colección de datos distribuidos desestructurados y que residen en la memoria del proceso Spark. Una colección de datos distribuidos que ya tiene una estructura y reside en la memoria del proceso Spark.

Un job LRBA tiene dos clases Java principales: Clase SourceBuilder y Clase TargetBuilder. Clase JobSparkBuilder y Clase Transformer. Clase SourceBuilder y Clase Transformer. Clase SeatUp y Clase Transformer.

¿Qué accesos Spark se recomiendan o no en Sonar. Acceso a SparkSession sí y a SparkSession también. Acceso a SparkContext sí. Acceso a SparkContext sí pero a SparkSession no. Acceso a SparkContext no y a SparkSession tampoco.

¿Cuál es la rama por defecto que tenemos que usar en LRBA?. Master. Develop. Feature. Release.

¿Cuál es la rama por defecto con la cual podemos subir nuestro job LRBA a producción?. Master. Develop. Feature. Release.

¿Cuál es la rama por defecto que se crea al construir un job the LRBA?. Master. Develop. Feature. Release.

¿En qué consola podemos crear nuestro job?. Bitbucket. Ether. Jenkins. Sonar.

¿Qué es BTS?. Es un servicio de almacenamiento de datos que permite guardarlos en diferentes BBDD. Es un servicio de almacenamiento de objetos que permite guardar datos como objetos. Es un formato de almacenamiento por filas. Es un formato de almacenamiento por columnas.

¿Cuál de estas opciones no podemos utilizarla en un TargetBuilder parquet?. addOption. fileAvailability. humanReadable. fileVisibility.

¿Para que sirve la opción .sql del sourceBuilder?. Nos permite ejecutar una sentencia SQL como primer filtro a la hora de crear el DataSet. Esta opción no existe. Nos permite ejecutar una sentencia SQL a la hora de escribir nuestro DataSet. Nos permite configurar las conexiones a la base de datos.

¿Para que sirve la opción .header del builder?. Nos permite configurar las cabeceras en las conexiones API. Marcándolo como true identificamos que se incluyen cabeceras para el csv. Debe estár siempre como false en los parquets ya que estos no tienen cabeceras. Todas las opciones son correctas, varía su uso dependiendo del builder.

¿Para que sirve la opción .serviceName?. Es el nombre usado en la clase Transformer para poder recuperar los datos del DataSet. Se usa para que la arquitectura pueda identificar los datos de conexión del sistema de almacenamiento. Es el nombre para identificar el archivo de entrada. Ninguna de las anteriores es correcta.

¿Con qué tipo de bases de datos relacionales nos permite conectar LRBA?. MongoDB, Oracle, DB2 y PostgreSQL. Oracle y DB2. Oracle, DB2 y PostgreSQL. Oracle, DB2, PostgreSQL, MongoDB y Elastic.

¿Qué nos permite un Builder de tipo JDBC NativeQuery?. Nos permite recuperar datos de una base de datos relacional con un parámetro opcional .sql en el que incluir un filtro. Nos permite recuperar datos de una base de datos relacional con una sentencia SQL directamente enviada a la base de datos. NativeQuery no es una opción en LRBA. Al utilizar NativeQuerie indicamos a LRBA que queremos recuperar todos los datos de la base de datos, sin necesidad de escribir una sentencia SQL.

¿Qué opciones nos permite el target Jdbc?. Insert y Delete. Upsert y Delete. Insert y Upsert. Insert, Upsert y Delete.

¿Podemos compartir ficheros desde el BTS entre UUAAs?. Si, debemos poner la UUAA con la que queremos compartirlo en el serviceName a parte de la nuestra. Esta opción no está disponible en LRBA, pero podemos utilizar DataX para hacerlo. Si, deberemos utilizar la opción .fileVisibility en nuestro Builder y configurar la consola adecuadamente. Si, al estar en la nube, BTS permite a todo el mundo acceder a la información de otras UUAAs sin configuración previa.

Ya has terminado tu job, ¿Cómo debes desplegarlo en producción?. Usando la consola Ether puedo promocionar mi rama, pasando OCTA si es necesario y siempre en las fechas de implantación. Usando la consola Ether puedo promocionar, pero antes debo haber hecho un pull request para subir siempre la rama develop, creo un tag de esta rama y subo, pasando OCTA si es necesario y siempre en las fechas de implantación. Usando la consola Ether puedo promocionar, pero antes debo haber hecho un pull request a develop y creado una rama de tipo release, no hace falta crear versión tag ya que se crea sola, pasando OCTA si es necesario y siempre en las fechas de implantación. No se puede subir una rama, siempre un tag, creo un tag de mi rama feature y la subo, pasando OCTA si es necesario y siempre en las fechas de implantación.

¿Qué ejecuta la fase de ejecución “Prepare Write”?. Procesa los ficheros de salida. Procesa los ficheros de entrada. No ejecuta nada, spark no ejecuta nada hasta la última fase. Prepara el plan de ejecución.

¿De que se encarga la clase JobSparkBuilder?. Define los accesos a las fuentes de datos de entrada. Define el plan de ejecución. Define los accesos a las fuentes de datos de salida. La 1 y la 3 son correctas.

Si tu intención es desplegar en producción, ¿Cuál es el tipo adecuado de despliegue?. Tag. Commit. Branch. Es indiferente, todos pueden llegar a producción.

¿Cuál es el formato más representativo de LRBA?. CSV. TXT. Parquet. BBDD.

¿Podemos subir ficheros a BTS?. Si, en todos los entornos menos Producción. Si, pero solo en Desarrollo e Integrado. Si, pero solo en Desarrollo. No.

¿Qué significa que Spark se ejecuta de forma lazy?. Spark no hace nada por nosotros, deberemos generar manualmente todo. Spark no ejecutará ninguna transformación hasta que no se le soliciten resultados. Lazy significa perezoso, esto indica que trabaja algo mas lento que otras tecnologías Batch. Significa que deberemos construir manualmente todas las sentencias SQL.

¿De que se encarga la fase de Ejecución "Prepare Read"?. Configura el ecosistema. Prepara los accesos a las fuentes de datos de origen y destino. Realiza las lecturas de origen. Prepara los accesos a las fuentes de datos de origen.

¿Se pueden incluir parámetros de entrada en LRBA?. No, esta opción se encuentra en fase de construcción. Si, podemos utilizar la clase InputParams, pero es exclusiva del Transform. Si, podemos utilizar la clase InputParams. Si, podemos utilizar la clase Paramsln.

Respecto a los jobs LRBA desplegados: Puedo desimplantarlos desde la consola de LRBA en cualquier entorno. No se pueden eliminar. Puedo desimplantarlos pero solo en EEPP. Se pueden desimplantar en cualquier entorno desde la consola Ether.

¿Cómo puedo eliminar un fichero de BTS?. Con el botón de eliminar fichero. Generando el fichero y eligiendo entre 1, 3 y 7 días. No se puede elegir, el fichero se borra automaticamente pasado 1 día. Cuando se genera el fichero desde un job LRBA por defecto son 3 días, pero se puede elegir entre 1, 3 ó 7 días, excepto si viene de datax que el plazo es de 7 días.

¿Dónde puedes ver los logs y las trazas de mi job LRBA?. En Atenea, pulsando en "Alarms". En Atenea, pulsando en "Logs", indicando siempre el namespace correcto. En Atenea, pulsando en "Traces". En Atenea, pulsando en "Monitored Resources", indicando siempre el namespace correcto.

¿Qué filesystem se debe utilizar para compartir ficheros entre UUAAs en LRBA?. Data X. BTS. Google Drive. Epsilon.

Quiero, usando un Dataset que es el resultado de la unión de 2 tablas y la realización de ciertos filtros, hacer un UPSERT a una tercera tabla y a su vez guardarlo en formato parquet, ¿Cuál sería la mejor forma de proceder para ahorrar recursos?. No hace falta hacer nada especial, al LRBA ser lazzy va a preconfigurar la mejor opción. Utilizaría el mismo alias para el UPSERT y el parquet, así con un solo datesetToWrite haría los 2. Cachearía ambas Tablas usando cacheDataset, si el tamaño del Dataset lo permite. Cachearía el Dataset final usando cacheDataset, si el tamaño del Dataset lo permite.