Componentes Hadoop - Big Data Aplicado 01 (BDA)

Permite acceder a ficheros de datos estructurados o semiestructurados que están en HDFS como si fueran una tabla de una base de datos relacional, utilizando un lenguaje similar a SQL. Apache Pig. Apache Hive. Apache Impala. Apache Phoenix.

Utilidad para definir flujos de datos de transformación o consulta mediante un lenguaje de scripting. Apache Spark. Apache Oozie. Apache Pig. Apache Zeppelin.

Base de datos NoSQL de tipo columnar que permite el acceso aleatorio, atómico y con operaciones de edición de datos. Apache Accumulo. Apache Phoenix. Apache Kafka. Apache HBase.

Componente para ingestar streams de datos procedentes de sistemas real-time en Hadoop. Apache Storm. Apache Flume. Apache Kafka. Apache Sqoop.

Componente para importar o exportar datos estructurados desde bases de datos relacionales a Hadoop y viceversa. Apache Oozie. Apache Flume. Apache Atlas. Apache Sqoop.

Herramienta que permite definir flujos de trabajo en Hadoop así como su orquestación y planificación. Apache Oozie. Apache ZooKeeper. Apache Pig. Apache Storm.

Herramienta técnica que permite sincronizar el estado de los diferentes servicios distribuidos de Hadoop. Apache Oozie. Apache ZooKeeper. Apache Atlas. Apache Kafka.

Sistema de procesamiento real-time de eventos con baja latencia. Apache Spark. Apache Storm. Apache Flume. Apache Kafka.

Motor de procesamiento masivo de datos muy eficiente que ofrece funcionalidades para ingeniería de datos, machine learning y grafos. Apache Mahout. Apache Spark. Apache Hive. Apache Pig.

Sistema de mensajería que permite recoger eventos en tiempo real así como su procesamiento. Apache Kafka. Apache Storm. Apache Flume. Apache ZooKeeper.

Herramienta de gobierno de datos de Hadoop. Apache Oozie. Apache Atlas. Apache Zeppelin. Apache Impala.

Base de datos NoSQL que ofrece funcionalidades de acceso aleatorio y atómico. Apache HBase. Apache Accumulo. Apache Phoenix. Apache Hive.

Conjunto de librerías para desarrollo y ejecución de modelos de machine learning utilizando Hadoop. Apache Spark. Apache Mahout. Apache Phoenix. Apache Pig.

Capa que permite acceder a los datos de HBase mediante interfaz SQL. Apache Hive. Apache Impala. Apache Phoenix. Apache Accumulo.

Aplicación web de notebooks que permite a los Data Scientists realizar análisis y evaluar código de forma sencilla, así como la colaboración entre equipos. Apache Zeppelin. Apache Spark. Apache Mahout. Apache Pig.

Herramienta con funcionalidad similar a Hive (tratamiento de los datos de HDFS mediante SQL) pero con un rendimiento elevado (tiempos de respuesta menores). Apache Hive. Apache Phoenix. Apache Impala. Apache Spark.