es un flujo de trabajo (Workflow) donde cada tarea maneja entrada, operación y salida de datos una plataforma de Big Data pipeline de datos un conjunto de tecnologías.
es una plataforma de Big Data. un conjunto de tecnologías Hadoop pipeline.
Cada pipeline de datos consta de varias tareas integradas de manera secuencial, de modo que los datos de salida de una tarea anterior se convierten en los datos de entrada de la tarea posterior, dicha combinación de tareas representa una etapa individual. una etapa de proceso. una etapa compuesta.
representa un entorno de una solución fundamental compuesto por un pipeline de procesamiento con capacidades de ingreso, almacenamiento, procesamiento y egreso de datos Un diseño compuesto de Big Data Pipeline Un patrón compuesto de Big Data Pipeline Un mecanismo compuesto de Big Data Pipeline.
Un Big Data Pipeline puede ser muy simple —integrado por una sola etapa—, o también muy complejo —integrado por múltiples etapas. verdedero falso.
El conjunto completo de actividades, desde la ingesta de datos hasta el egreso de datos, puede ser considerado como un _______, que involucra varias operaciones desde la limpieza (Cleansing) de datos hasta el cálculo de estadísticas. Un patrón compuesto de Big Data Big Data Pipeline.
representa una parte del entorno de solución de Big Data capaz de ingerir datos altamente veloces y de gran volumen desde varias fuentes de datos estructurados, sin estructurar y semiestructurados. patrón compuesto de Poly Storage* Patrón compuesto de Poly Source* patrón compuesto de Poly Sink*.
El patrón compuesto de Big data Pipeline comprende los siguientes patrones compuestos centrales con excepción de (1) Poly Source Poly Storage Entorno de procesamiento de Big Data Ejecución automatizada de datasets Poly Sink.
el patrón compuesto de Poly Source está conformado por los siguientes patrones centrales: (3) Relational sink Relational source fan-in Ingress File-based source streaming source streaming storage.
dependiendo de la variedad de datos que deban ser almacenados, será necesario aplicar todos los patrones al mismo tiempo. verdadero falso.
Tal y como lo indican las líneas punteadas en los diagramas, los siguientes patrones de extensión forman parte del patrón compuesto de Poly Source: (2) egress fan-out fan-in ingress egress fan-in fan-out ingress.
Estos patrones opcionales pueden utilizarse para mejorar las funciones y los conjuntos de características de un entorno de Poly Source: egress fan-in y egress fan-out fan-in Ingress y fan-out Ingress.
los datos deben ser importados desde bases de datos relacionales a la plataforma de Big Data para ejecutar varias tareas de análisis de datos (Data Analysis). patrón compuesto de Poly Source* patrón compuesto de Poly Storage* Patrón de Relational Source*.
es aplicado cuando se deben extraer los datos de sistemas internos de OLTP; sistemas operacionales como CRM, ERP; y sistemas SCM o bodegas de datos digitales (Data Warehouses). patrón compuesto de Poly Sink* patrón de diseño de Relational Source patrón compuesto de Entorno de procesamiento de Big Data*.
está relacionado con el motor de transferencia de datos (relacionales), el dispositivo de almacenamiento, el motor de flujo de trabajo (Workflow) y los mecanismos del portal de productividad. Ejecución automatizada de datasets El patrón de Relational Source patrón compuesto de Entorno de procesamiento de Big Data*.
se utiliza un motor de transferencia de datos relacionales para extraer datos de la base de datos relacionales con una consulta SQL que internamente usa conectores para unir diferentes bases de datos relacionales. File-based source - poly source Relational source - poly source Streaming source - poly source.
Se puede adquirir grandes cantidades de datos sin estructurar desde una variedad de fuentes de datos de forma automática por medio de la aplicación patrón ___ File-based source - poly source Relational source - poly source streaming source - poly source.
Además de los archivos textuales, los archivos de imagen, audio y video también se pueden importar mediante la aplicación de este patrón de diseño. Tenga en cuenta que el patrón de ______ también abarca la adquisición de datos semiestructurados como XML o datos en formato JSON streaming source - poly source file-based source - poly source Relational source - poly source.
está relacionado con el motor de transferencia de datos (archivos), el dispositivo de almacenamiento, el motor de flujo de trabajo (Workflow) y los mecanismos del portal de productividad Relational source - poly source Streaming source - poly source File-based source - poly source.
Los datos que fluyen a alta velocidad deben ser recogidos inmediatamente para que puedan ser procesados sin demora y se obtenga el máximo valor File-based source - poly source streaming source - poly source Relational source - poly source.
Este patrón de diseño se implementa principalmente usando un motor de transferencia de datos de eventos que es creado a partir de un modelo de sistema de publicación-subscripción y además usa una cola para garantizar su disponibilidad y confiabilidad. File-based source - poly source streaming source - poly source Relational source - poly source.
abarca tanto los datos generados por personas como los generados por máquinas, y está relacionado exclusivamente con los datos sin estructurar y semiestructurados. A menudo, el patrón de diseño de Almacenamiento de Acceso en Tiempo Real se aplica junto con el patrón de diseño de Streaming source, cuando es necesario analizar datos altamente veloces en tiempo real patrón de File-based source - poly source patrón de Streaming source - poly source patrón de Relational source - poly source.
relacionado con el motor de transferencia de datos (eventos), dispositivo de almacenamiento (en memoria) y mecanismos del portal de productividad. patrón de File-based source - poly source patrón de Relational source - poly source patrón de Streaming source - poly source.
abarca tanto los datos generados por personas como los generados por máquinas, y está relacionado exclusivamente con los datos sin estructurar y semiestructurados. A menudo, el patrón de diseño de Almacenamiento de Acceso en Tiempo Real se aplica junto con el patrón de diseño de _____, cuando es necesario analizar datos altamente veloces en tiempo real. Relational source - poly source File-based source - poly source Streaming source - poly source.
representa una parte del entorno de solución de Big Data capaz de almacenar datos de gran volumen, altamente veloces y de gran variedad, permitiendo que estos datos estén disponibles tanto para transmisión como para acceso aleatorio patrón compuesto de Poly Source* patrón compuesto de Poly Storage* patrón compuesto de Poly Sink*.
El patrón compuesto de Poly Storage está conformado por los siguientes patrones centrales:(4) Almacenamiento de Acceso Aleatorio Replicación y Reconstrucción Automática de Datos Almacenamiento de Relational source Almacenamiento de Acceso a la Transmisión Almacenamiento de Acceso en Tiempo Real Almacenamiento de File-based source.
Tenga en cuenta que, a excepción del patrón de Replicación y Reconstrucción Automática de Datos, no todos los patrones deben ser aplicados al mismo tiempo, puesto que su uso depende del tipo de datos que deben ser almacenados patrón compuesto de Poly Source* patrón compuesto de Poly Storage* patrón compuesto de Poly Sink*.
los siguientes patrones de extensión forman parte del patrón compuesto de Poly Storage:(3) Almacenamiento de datos confidenciales Reducción del tamaño de los datos Almacenamiento de Acceso Aleatorio Almacenamiento de Big Data con base en la nube Almacenamiento de Acceso en Tiempo Real Replicación y Reconstrucción Automática de Datos.
Para garantizar que no se pierdan los datos y que los clientes puedan seguir teniendo acceso si ocurre una falla en el hardware, se puede aplicar el patrón de _____, el cual requiere el uso de un sistema de archivos distribuido o una base de datos NoSQL. Almacenamiento de Acceso Aleatorio - poly storage Almacenamiento de Acceso a la Transmisión - poly storage Replicación y Reconstrucción Automática de Datos - poly storage.
dichos dispositivos de almacenamiento implementan funcionalidades que automáticamente crean réplicas de un dataset y las copian en diferentes máquinas. Asimismo, el dispositivo de almacenamiento detecta automáticamente cuando una réplica deja de estar disponible y recrea la réplica perdida a partir de una de las réplicas disponibles. Almacenamiento de Acceso a la Transmisión - poly storage Replicación y Reconstrucción Automática de Datos - poly storage Almacenamiento de Acceso en Tiempo Real - poly storage.
El patrón de Replicación y Reconstrucción Automática de Datos está relacionado con el mecanismo del dispositivo de almacenamiento. verdadero falso.
se aplica en estas situaciones para reducir el almacenamiento de datos, realizar más rápido transferencias de datos y disminuir el costo del almacenamiento de datos. La aplicación del _______ requiere principalmente el uso de un motor de compresión. Reducción del tamaño de los datos - poly storage Almacenamiento de Big Data con base en la nube - poly storage Almacenamiento de datos confidenciales - poly storage.
En un entorno de solución de Big Data en el que se acumula una gran cantidad de datos en poco tiempo, almacenar datos sin procesar puede ocupar rápidamente el espacio de almacenamiento disponible, con lo cual puede ser necesario añadir constantemente dispositivos de almacenamiento para seguir aumentando la capacidad de almacenamiento. Además, la necesidad de mantener todos los datos online y un sistema de almacenamiento redundante con fines de tolerancia a los errores exige más espacio de almacenamiento. Reducción del tamaño de los datos - poly storage Almacenamiento de Acceso Aleatorio - poly storage Replicación y Reconstrucción Automática de Datos - poly storage.
está asociado con el motor de compresión, el dispositivo de almacenamiento, el motor de transferencia de datos y los mecanismos del motor de procesamiento. Replicación y Reconstrucción Automática de Datos - poly storage Reducción del tamaño de los datos - poly storage Almacenamiento de Big Data con base en la nube - poly storage.
A pesar de que se reduce el almacenamiento, la aplicación de este patrón puede aumentar el tiempo promedio de procesamiento, puesto que los datos primero deben ser descomprimidos. Por lo tanto, se debe emplear un motor de compresión eficiente. Reducción del tamaño de los datos - poly storage Almacenamiento de Acceso Aleatorio - poly storage.
Cuando se trata de la comparación entre datos sin procesar y datos procesados, las soluciones de Big Data exigen requisitos de acceso opuestos. Aunque normalmente se accede a los datos sin procesar de manera secuencial, los datos procesados requieren acceso no secuencial, de modo que se pueda acceder individualmente a los registros específicos, identificados por medio de una llave o un campo. Para facilitar la escritura y lectura aleatoria de los datos, se puede aplicar el _____, lo cual implica el uso de un dispositivo de almacenamiento en forma de una base de datos NoSQL. Patrón compuesto de Almacenamiento de Acceso a la Transmisión - poly storage Patrón de Almacenamiento con Acceso Aleatorio - poly storage Replicación y Reconstrucción Automática de Datos - poly storage.
representa una parte del entorno de solución de Big Data capaz de almacenar datos de gran volumen y variedad, y ponerlos a disposición para el acceso aleatorio. Almacenamiento de Acceso en Tiempo Real Almacenamiento con Acceso Aleatorio Replicación y Reconstrucción Automática de Datos.
el patrón compuesto de Almacenamiento de Acceso Aleatorio comprende los siguientes patrones centrales: (5) Almacenamiento Binario de Gran Volumen Almacenamiento de Big Data con base en la nube Almacenamiento Jerárquico de Gran Volumen Sharding Automático de Datos Almacenamiento Conectado de Gran Volumen Almacenamiento de datos confidenciales Almacenamiento Tabular de Gran Volumen.
A fin de proporcionar un almacenamiento eficiente de tales datos, se puede aplicar el patrón de ______ para usar un dispositivo de almacenamiento en forma de una base de datos NoSQL de tipo llave-valor (key-value) que soporte las operaciones de inserción, selección y eliminación. Almacenamiento Binario de Gran Volumen - poly storage Almacenamiento Conectado de Gran Volumen - poly storage Almacenamiento Jerárquico de Gran Volumen - poly storage.
se puede usar un dispositivo de almacenamiento de memoria para obtener una capacidad de acceso a datos de baja latencia. Sin embargo, esto aumenta el costo de configuración de la plataforma de Big Data. El patrón de ______ está relacionado con el dispositivo de almacenamiento (de tipo llave-valor (key-value)) y los mecanismos del motor de serialización Almacenamiento Jerárquico de Gran Volumen (Hierarchical) Almacenamiento Binario de Gran Volumen (Binary) Almacenamiento Tabular de Gran Volumen (Tabular).
Por lo general, el almacenamiento de datos sin estructurar se usa en escenarios de acceso en los que no se realizan actualizaciones parciales de datos y siempre se accede por completo a elementos de datos (registros) específicos; por ejemplo, una imagen o datos de sesión del usuario. Tales datos pueden ser tratados como un BLOB, al cual se puede acceder únicamente por medio de una llave única. Almacenamiento Binario de Gran Volumen Almacenamiento Tabular de Gran Volumen Almacenamiento Jerárquico de Gran Volumen.
para almacenar dichos datos, lo cual prevé el uso de un dispositivo de almacenamiento implementado por medio de una base de datos basada en columnas que soporte las operaciones de inserción, selección, actualización y eliminación. Almacenamiento Binario de Gran Volumen (binary) Almacenamiento Conectado de Gran Volumen (linked) Almacenamiento Tabular de Gran Volumen (tabular).
En un entorno Big Data, "gran volumen" no solo se refiere a datasets altos (con un gran número de filas), sino también a datasets anchos (con un gran número de columnas). En algunos casos, cada columna puede contener determinada cantidad de otras columnas. En esas circunstancias, no se puede usar una base de datos relacional debido a un límite en el número de columnas y a la imposibilidad de almacenar más de un valor en una columna. Almacenamiento Binario de Gran Volumen Almacenamiento Tabular de Gran Volumen Sharding Automático de Datos.
está relacionado con el dispositivo de almacenamiento (basado en columnas) y los mecanismos de motor de serialización. Almacenamiento Tabular de Gran Volumen Almacenamiento Jerárquico de Gran Volumen Almacenamiento Conectado de Gran Volumen.
Una base de datos basada en columnas permite almacenar datos de forma más tradicional (en forma de tabla), en donde cada registro puede constar de grupos lógicos de campos a los que generalmente se accede de forma simultánea. Almacenamiento Tabular de Gran Volumen Almacenamiento Jerárquico de Gran Volumen Almacenamiento Conectado de Gran Volumen.
puede ser aplicado para almacenar datos que constan de entidades conectadas. este patrón de diseño se implementa usando un dispositivo de almacenamiento que tiene una base de datos NoSQL de tipo grafo, la cual permite definir las relaciones entre las entidades. Almacenamiento Binario de Gran Volumen Almacenamiento Tabular de Gran Volumen Almacenamiento Conectado de Gran Volumen.
está relacionado con el dispositivo de almacenamiento (de tipo grafo) y los mecanismos del motor de serialización Almacenamiento Conectado de Gran Volumen Almacenamiento Jerárquico de Gran Volume Sharding Automático de Datos.
Las bases de datos NoSQL de tipo grafo permiten encontrar clusters de entidades conectadas en un conjunto muy grande de entidades, determinando si las entidades están conectadas entre sí o calculando las distancias entre las entidades. Almacenamiento Jerárquico de Gran Volumen Almacenamiento Conectado de Gran Volumen Almacenamiento Tabular de Gran Volumen.
Los datos semiestructurados que se ajustan a un esquema anidado a menudo requieren almacenamiento de manera tal que la estructura del esquema se mantenga y se pueda acceder y actualizar individualmente las subsecciones de un elemento de datos (registro) particular. Almacenamiento Binario de Gran Volumen Almacenamiento Jerárquico de Gran Volumen Almacenamiento Tabular de Gran Volumen.
se puede aplicar en circunstancias donde los datos representan una estructura en forma de documento que es autodescriptiva, y cuando se requiere acceso a los elementos de datos de manera individual. Almacenamiento Tabular de Gran Volumen Almacenamiento Jerárquico de Gran Volumen Sharding Automático de Datos.
Este patrón requiere el uso de un dispositivo de almacenamiento implementado por medio de una base de datos NoSQL de tipo documento que soporte operaciones de inserción, selección, actualización y eliminación. Almacenamiento Binario de Gran Volumen Almacenamiento Conectado de Gran Volumen Almacenamiento Jerárquico de Gran Volumen.
Por lo general, la base de datos NoSQL de tipo documento codifica los datos automáticamente antes de almacenarlos usando un formato binario o de texto plano ____ como JSON. Almacenamiento Jerárquico de Gran Volumen Almacenamiento Tabular de Gran Volumen Almacenamiento Conectado de Gran Volumen.
está relacionado con el mecanismo del dispositivo de almacenamiento (de tipo documento). Almacenamiento Binario de Gran Volumen Almacenamiento Tabular de Gran Volumen Almacenamiento Jerárquico de Gran Volumen.
El almacenamiento de datasets muy grandes a los que una gran cantidad de usuarios accede simultáneamente puede afectar seriamente el rendimiento del acceso a los datos de la base de datos subyacente. Para contrarrestar este problema, el dataset se divide horizontalmente en partes más pequeñas Almacenamiento Conectado de Gran Volumen Sharding Automático de Datos Almacenamiento Jerárquico de Gran Volumen.
generalmente se aplica junto con el patrón de Replicación y Reconstrucción Automática de Datos para que no se pierdan los shards en caso de una falla en el hardware y, de esta forma, la base de datos siga estando disponible Almacenamiento Conectado de Gran Volumen Almacenamiento Jerárquico de Gran Volumen Sharding Automático de Datos.
este patrón es habilitado por medio de la base de datos NoSQL que automáticamente crea shards con base en un campo configurable en el dataset y almacena los shards en diferentes computadoras en un cluster. Como el dataset está
distribuido en múltiples shards, el tiempo de realización de la consulta se puede ver afectado si la consulta necesita recopilar datos desde más de un shard. esta relacionado con el mecanismo del dispositivo de almacenamiento Almacenamiento Conectado de Gran Volumen Sharding Automático de Datos Almacenamiento Jerárquico de Gran Volumen.
Una gran parte de las tareas de procesamiento en Big Data involucra la adquisición y procesamiento de datos por lotes. Al procesar los datos por lotes, el acceso secuencial a los datos es vital para un procesamiento oportuno. De este modo, no es necesario que un dispositivo de almacenamiento ofrezca acceso aleatorio a los datos, sino que ofrezca ___ patrón compuesto de Almacenamiento de Acceso a la Transmisión patrón compuesto de Entorno de procesamiento de Big Data Ejecución automatizada de datasets.
el patrón compuesto de Almacenamiento de Acceso de Transmisión está conformado por los siguientes patrones centrales:(2) Almacenamiento de Big Data con base en la nube Almacenamiento de Transmisión Sharding Automático de Datos Almacenamiento de datos confidenciales Descomposición del Dataset.
se puede aplicar en un escenario donde los datos se deban recuperar de manera agrupada. La aplicación de este patrón de diseño requiere el uso de un dispositivo de almacenamiento que ofrezca capacidades no aleatorias de lectura y escritura, y generalmente se implementa mediante un sistema de archivos distribuido. patron de Descomposición del Datase patrón de Almacenamiento de Transmisión.
se aplica junto con el patrón de Procesamiento por Lotes (Batch Processing) a Gran Escala como parte de una solución completa. patron de Almacenamiento de Transmisión patron de Descomposición del Dataset.
está relacionado con los mecanismos del dispositivo de almacenamiento (sistema de archivos distribuido) y del motor de procesamiento (por lotes). patron de Almacenamiento de Transmisión patron de Descomposición del Dataset.
Las tecnologías de procesamiento distribuido funcionan con base en el principio de dividir un problema difícil en tantas partes como sea necesario, por lo cual se requiere que un dataset esté distribuido por partes en todo el cluster. Esto se puede lograr mediante la aplicación del patrón de ____, que requiere el uso de un dispositivo de almacenamiento de sistema de archivos distribuido. patron de Almacenamiento de Transmisión patron de Descomposición del Dataset.
el sistema de archivos distribuido divide automáticamente un gran dataset en varios datasets más pequeños que luego se distribuyen a lo largo del cluster. patron de Almacenamiento de Transmisión patron de Descomposición del Dataset.
en el patrón compuesto de Almacenamiento de Acceso a la Transmisión está relacionado con el dispositivo de almacenamiento y los mecanismos del motor de procesamiento patron de Almacenamiento de Transmisión patron de Descomposición del Dataset.
El almacenamiento de grandes datasets como un solo archivo es compatible con las tecnologías de procesamiento distribuido implementadas dentro del entorno de la solución de Big Data. verdadero falso.
el patrón compuesto del Entorno de Procesamiento de Big Data comprende los siguientes patrones centrales:(3) Procesamiento en Tiempo Real a Alta Velocidad Procesamiento por Lotes (Batch Processing) a Gran Escala Procesamiento de Abstracción Procesamiento de Grafos a Gran Escala Procesamiento en memoria Almacenamiento Conectado de Gran Volumen.
el patrón compuesto del Entorno de Procesamiento de Big Data comprende los siguientes patrones opcionales: (4) Procesamiento de Grafos a Gran Escala Almacenamiento de Resultados Intermedios Procesamiento de Abstracción Inserción Automática de Metadata de Procesamiento Descomposición de Lógica Compleja Reducción del tamaño de los datos.
refuerza el procesamiento de un dataset completo como un solo procesamiento, lo que requiere que el lote de datos primero sea almacenado en un dispositivo de almacenamiento, y que solo entonces sea procesado usando un motor de procesamiento por lotes; por ejemplo, MapReduce. Procesamiento en Tiempo Real a Alta Velocidad Procesamiento por Lotes (Batch Processing) a Gran Escala Procesamiento de Grafos a Gran Escala.
Aunque los resultados calculados no están disponibles de inmediato, la aplicación de este patrón permite una solución sencilla de procesamiento de datos, ofreciendo máximo rendimiento. En el caso de datos que son recibidos continuamente, los datos primero son almacenados para crear un lote de datos, y solo entonces son procesados. Procesamiento de Grafos a Gran Escala Procesamiento por Lotes (Batch Processing) a Gran Escala Procesamiento en Tiempo Real a Alta Velocidad.
Una de las principales características que diferencia los entornos Big Data de los entornos de procesamiento tradicionales es la gran cantidad de datos que se deben procesar. El procesamiento eficiente de grandes cantidades de datos requiere una estrategia de procesamiento offline, como lo indica el Procesamiento en Tiempo Real a Alta Velocidad Procesamiento de Grafos a Gran Escala Procesamiento por Lotes (Batch Processing) a Gran Escala.
en el patrón compuesto de Entorno de procesamiento de Big Data este patrón de diseño generalmente se aplica junto con el patrón de Almacenamiento de Acceso de Transmisión Procesamiento de Grafos a Gran Escala Procesamiento por Lotes (Batch Processing) a Gran Escala.
está relacionado con los mecanismos del motor de procesamiento (por lotes), el motor de transferencia de datos (relacionales o de archivo), el dispositivo de almacenamiento (basado en disco), el gestor de recursos y el motor de coordinación. Procesamiento por Lotes (Batch Processing) a Gran Escala Procesamiento en Tiempo Real a Alta Velocidad.
Debido a la naturaleza del motor de procesamiento implementado, quizá no sea posible ejecutar completamente la lógica como un solo procesamiento. En una situación como esta se requiere dividir la lógica compleja en varios pasos más sencillos. Esto se lleva a cabo en procesamientos múltiples Procesamiento de Abstracción Descomposición de Lógica Compleja Inserción Automática de Metadata de Procesamiento.
en el patrón compuesto de Entorno de procesamiento de Big Data está relacionado con los mecanismos del motor de procesamiento, el dispositivo de almacenamiento, el motor de flujo de trabajo (Workflow), el gestor de recursos y el motor de coordinación. Almacenamiento de Resultados Intermedios Descomposición de Lógica Compleja Inserción Automática de Metadata de Procesamiento.
Para facilitar el procesamiento de datos y no tener que enfrentarse a motores de procesamientos complejos, se puede aplicar ________, el cual especifica el uso de un motor de consultas (Query Engine) para abstraer el motor de procesamiento subyacente. Descomposición de Lógica Compleja Procesamiento de Abstracción Inserción Automática de Metadata de Procesamiento.
el motor de consultas (Query Engine) ofrece una interfaz interactiva sencilla en la que el usuario especifica un script que automáticamente se convierte en llamadas de API de bajo nivel para el motor de procesamiento correspondiente. La aplicación del ______ extiende el alcance del entorno de solución de Big Data a aquellos usuarios que no son expertos en TI; por ejemplo, los analistas de datos y científicos de datos. Descomposición de Lógica Compleja Almacenamiento de Resultados Intermedios Procesamiento de Abstracción.
en el patrón compuesto de Entorno de procesamiento de Big Data está relacionado con los mecanismos del motor de consultas (Query Engine), el motor de procesamiento, el dispositivo de almacenamiento, el gestor de recursos y el motor de coordinación. Descomposición de Lógica Compleja Procesamiento de Abstracción Almacenamiento de Resultados Intermedios.
representa una parte del entorno de solución de Big Data capaz de producir datos de gran volumen, altamente veloces y de gran variedad a partir del entorno de solución de Big Data. patrón compuesto de Entorno de procesamiento de Big Data patrón compuesto de Poly Sink Ejecución automatizada de datasets.
el patrón compuesto de Poly Sink está conformado por los siguientes patrones centrales: (3) Relational source Relational Sink File-based Sink streaming egress File-based source.
para la exportación directa de los datos procesados a una base de datos relacional, lo que requiere el uso de un motor de transferencia de datos relacionales. patron File-based Sink patron Relational Sink patron streaming egress.
en el patrón compuesto de Poly Sink está relacionado con los mecanismos del motor de transferencia de datos (relacionales), el dispositivo de almacenamiento, el motor de procesamiento, el portal de productividad y el motor de flujo de trabajo (Workflow). patron Streaming egress patron Relational Sink patron File-based Sink.
La mayoría de sistemas empresariales de TI utilizan bases de datos relacionales como su backend de almacenamiento. Sin embargo, el método de incorporar los resultados del análisis de datos (Data Analysis) de una solución de Big Data en tales sistemas, primero exportando los resultados como un archivo delimitado y a continuación importándolos a la base de datos relacional, toma tiempo, es propenso a errores y no es una solución escalable. patron Relational Sink patron File-based Sink patron Streaming egress.
Al igual que el patrón de Relational Sink, la exportación manual desde la plataforma de Big Data y la importación a dichos sistemas no es una solución viable. El _____ se puede aplicar para la exportar datos automáticamente desde la plataforma de Big Data como archivos delimitados o jerárquicos. patron Relational Sink patron File-based Sink patron Streaming Egress.
en el patrón compuesto de Poly Sink está relacionado con los mecanismos del motor de transferencia de datos (de archivos), el dispositivo de almacenamiento, el motor de procesamiento, el portal de productividad y el motor de flujo de trabajo (Workflow). patron File-based Sink patron Relational Sink patron Streaming egress.
para las exportaciones especializadas se usa —directa o indirectamente— un motor de transferencia de datos de archivos mediante el portal de productividad. Para exportaciones normales, el motor de transferencia de datos se puede configurar mediante un motor de flujo de trabajo (Workflow) para que funcione a intervalos regulares. patron Relational Sink patron Streaming egress patron File-based Sink.
Llevar a cabo actividades de procesamiento de datos de forma manual requiere mucho tiempo y representa un uso ineficiente de los recursos de desarrollo. Para que la ejecución automática de las actividades de procesamiento de datos sea posible, se puede aplicar el patrón de ________ al implementar un motor de flujo de trabajo (Workflow). patrón compuesto de Entorno de procesamiento de Big Data patrón compuesto de Poly Sink Ejecución automatizada de datasets.
el conjunto de operaciones que se deben realizar sobre los datos son especificadas como un diagrama de flujo que es ejecutado automáticamente y a ciertos intervalos por el motor de flujo de trabajo (Workflow). Este patrón también se puede aplicar junto con el patrón de Descomposición de lógica compleja para automatizar la ejecución de varios trabajos de procesamiento patrón compuesto de Poly Source Ejecución automatizada de datasets patrón compuesto de Poly Storage.
está relacionado con los mecanismos del motor de flujo de trabajo (Workflow), el motor de transferencia de datos, el dispositivo de almacenamiento, el motor de procesamiento, el motor de consultas (Query Engine) y el portal de productividad. Ejecución automatizada de datasets patrón compuesto de Entorno de procesamiento de Big Data patrón compuesto de Poly Storage.
La etapa de análisis del caso empresarial del ciclo de vida de análisis de Big Data proporciona la justificación empresarial necesaria para establecer un _______como la base de una solución de Big Data. Poly Source Big data Pipeline Poly Sink.
los sioguentes identifique el motor diferenciador para cada patron Motor de transferencia de datos (relacionales) Motor de transferencia de datos (archivos) Motor de transferencia de datos (eventos).
hallar información oculta normalmente implica analizar datos sin estructurar desde fuentes de datos internas y externas file-based source relational source.
Con base en el conjunto de características compatibles, un motor de transferencia de datos de eventos puede proporcionar cierto nivel de limpieza (Cleansing) de datos en tiempo real, además de hacer cálculos estadísticos simples, tales como las funcionalidades de conteo, mínimos y máximos. patrón de Relational source patrón de Streaming source patrón de File-based source.
Por lo general, una plataforma de Big Data consta de un entorno de cluster creado usando hardware básico, lo cual aumenta la posibilidad de fallas del hardware. Se puede perder todo un dataset si la máquina que guarda los datos deja de estar disponible por fallas del hardware. Sin embargo el el patron de ____ se encarga de usar cualquiera de los nodos que estén disponibles de tal manera que el usuario no experimenta el fallo Patrón de almacenamiento de tiempo aleatorio - poly storage Patrón de Reducción del Tamaño de Datos - poly storage Replicación y Reconstrucción Automática de Datos - poly storage.
Por lo general, el almacenamiento de datos sin estructurar se usa en escenarios de acceso en los que no se realizan actualizaciones parciales de datos y siempre se accede por completo a elementos de datos (registros) específicos; por ejemplo, una imagen o datos de sesión del usuario. Tales datos pueden ser tratados como un BLOB, al cual se puede acceder únicamente por medio de una llave única. Patrón de Almacenamiento Tabular de Gran Volumen Patrón de Almacenamiento Binario de Gran Volumen.
se puede aplicar el patrón de ____para almacenar dichos datos, lo cual prevé el uso de un dispositivo de almacenamiento implementado por medio de una base de datos basada en columnas que soporte las operaciones de inserción, selección, actualización y eliminación. Almacenamiento Binario de Gran Volumen Almacenamiento Tabular de Gran Volumen Almacenamiento Conectado de Gran Volumen.
Los datos semiestructurados que se ajustan a un esquema anidado a menudo requieren almacenamiento de manera tal que la estructura del esquema se mantenga y se pueda acceder y actualizar individualmente las subsecciones de un elemento de datos (registro) particular. Almacenamiento Conectado de Gran Volumen Almacenamiento Jerárquico de Gran Volumen Almacenamiento Tabular de Gran Volumen.
El almacenamiento de grandes datasets como un solo archivo no es compatible con las tecnologías de procesamiento distribuido implementadas dentro del entorno de la solución de Big Data. verdadero falso.
El procesamiento de datasets de Big Data involucra el uso de motores de procesamiento que requieren habilidades programáticas para poder trabajar. Debido a la naturaleza moderna de estos motores de procesamiento y los frameworks de procesamiento especializados con los que funcionan, es posible que los programadores no estén familiarizados con las API de cada motor de procesamiento. Descomposición de Lógica Compleja Procesamiento de Abstracción.
En lugar de usar el motor de transferencia de datos directamente, se puede recurrir indirectamente a este mediante un portal de productividad, lo que indica un uso especial. Se puede utilizar un motor de flujo de trabajo (Workflow) para automatizar todo el proceso y para llevar a cabo la exportación de los datos a intervalos regulares patron Relational Sink - poly sink patron File-based Sink - poly sink.
El ciclo completo de procesamiento de datos en entornos Big Data está compuesto por una serie de actividades, que abarcan desde el ingreso de los datos hasta el cálculo de los resultados y el egreso de los datos. Además, en un entorno productivo, el ciclo completo se debe repetir una y otra vez. patron File-based Sink Ejecución automatizada de datasets patron Relational Sink.
los patrones están relacionados con, elija la asociación correcta (parte 1) Relational Source file-based streaming source Replicación y Reconstrucción Automática de Datos Almacenamiento Tabular de Gran Volumen Almacenamiento Jerárquico de Gran Volumen Almacenamiento Conectado de Gran Volumen Sharding Automático de Datos.
los patrones están relacionados con, elija la asociación correcta (parte 2) Almacenamiento de Transmisión el patrón de Procesamiento por Lotes Descomposición del Dataset Descomposición de Lógica Compleja Procesamiento de Abstracción Relational Sink File-Based Sink Ejecución Automatizada de Datasets.
se aplica junto con el patrón Almacenamiento de Acceso en Tiempo Real Sharding Automático de Datos Almacenamiento de Transmisión Procesamiento por Lotes a Gran Escala.
|
