Diferencias entre Kafka y Spark
Las organizaciones están creciendo continuamente con grandes datos. Están tratando de usar Hadoop para datos tan grandes en lugar de los RDBMS tradicionales. Al mismo tiempo, quieren un procesamiento rápido y una salida en tiempo real. Hadoop es una plataforma de código abierto donde podemos usar múltiples idiomas para diferentes tipos de herramientas como Python, Scala. Para el procesamiento en tiempo real en Hadoop, podemos usar Kafka y Spark. Este es un pequeño artículo donde estoy tratando de explicar cómo funcionará Kafka vs Spark.
Kafka
Kafka es una plataforma de procesamiento de flujo de código abierto desarrollada por Apache. Es un mediador entre el origen y el destino para un proceso de transmisión en tiempo real en el que podemos conservar los datos durante un período de tiempo específico. Kafka es un sistema de mensajería distribuido. Donde podemos usar esos datos persistentes para el proceso en tiempo real. Se ejecuta como un servicio en uno o más servidores. El Kafka almacena flujo de registros en categorías llamadas temas. Cada registro de flujo consta de clave, valor y marca de tiempo.
Para iniciar el servidor Kafka
>bin/Kafka-server-start.sh config/server.properties
Los siguientes son el componente principal de Kafka
Fuente: Esto se activará cuando se produzca un nuevo CDC (Cambiar captura de datos) o una nueva inserción en la fuente. Para eso, tenemos que definir una columna clave para identificar el cambio.
Broker: que es responsable de mantener los datos. Cada corredor no tiene partición.
Tema: clasifica los datos. Los temas en Kafka siempre están suscritos por múltiples consumidores que se suscriben a los datos escritos en ellos.
Para crear un tema
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Y para ver la lista de temas.
> bin/kafka-topics.sh --list --zookeeper localhost:2181
Partición: los temas se dividen en particiones para el procesamiento paralelo.
Productor: El productor es responsable de publicar los datos. Llevará los datos a los temas de su elección. El productor elegirá qué registro asignar a qué partición dentro del tema.
Kafka ha mandado producir un mensaje a un tema.
> bin/Kafka-console-producer.sh --broker-list localhost:9092 --topic test
Hola buenos días.
Este es un mensaje de prueba.
Consumidor: los consumidores consumirán datos de los temas. Un consumidor será una etiqueta con su grupo de consumidores. Si el mismo tema tiene múltiples consumidores de diferentes grupos de consumidores, cada copia se ha enviado a cada grupo de consumidores.
Puede hundirse con múltiples fuentes para conservar los datos. Kafka ha ordenado consumir mensajes a un tema.
> bin/Kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
Hola buenos días.
Este es un mensaje de prueba.
Canal: Podemos usar el canal Kafka Sink. En el cual, tan pronto como cualquier CDC (Change Data Capture) o New insert flume active el registro y empuje los datos al tema de Kafka. Para eso, tenemos que configurar el canal.
Al igual que el canal Kafka Sink, podemos tener HDFS, fuente JDBC y sumidero.
Kafka tiene un mejor rendimiento y tiene características como particionamiento integrado, replicación y tolerancia a fallas, lo que lo convierte en la mejor solución para aplicaciones de procesamiento de mensajes o transmisiones de gran escala
Chispa - chispear
Apache Spark es un marco de cómputo de clúster de código abierto. Originalmente desarrollado en la Universidad de California, el Laboratorio de amplificadores de Berkeley, la base de código Spark fue donada más tarde a la Apache Software Foundation. Spark proporciona una interfaz para programar grupos completos con paralelismo de datos implícito y tolerancia a fallas.
Cuando se introdujo Hadoop, Map-Reduce era el motor de ejecución base para cualquier tarea de trabajo. En el proceso de ejecución Map-Reduce (Lectura - Escritura) sucedió en un disco duro real. Esta es la razón del mayor consumo de tiempo y espacio en el momento de la ejecución.
Apache Spark es una plataforma de código abierto. Mejora la calidad de ejecución que el proceso de reducción de mapa. Es una plataforma abierta donde puede usar varios lenguajes de programa como Java, Python, Scala, R. Spark proporciona una ejecución en memoria que es 100 veces más rápida que MapReduce. Esto usa la definición RDD. RDD es un sólido conjunto de datos distribuidos que le permite almacenar datos en la memoria de manera transparente y retenerlos en el disco solo cuando sea necesario. Aquí es donde pasa el tiempo para acceder a los datos desde la memoria en lugar del disco.
Spark es la plataforma donde podemos guardar los datos en Data Frame y procesarlos. El desarrollador de aplicaciones, Data Scientist, Data Analyst puede usar Spark para procesar la gran cantidad de datos en un período mínimo de tiempo. Podemos usar una función como análisis interactivo, iterativo, de datos en Spark.
La transmisión por chispa es una característica más en la que podemos procesar los datos en tiempo real. El dominio bancario necesita rastrear la transacción en tiempo real para ofrecer el mejor trato al cliente, rastreando transacciones sospechosas. La transmisión por chispa es más popular en la generación más joven de Hadoop. Spark es una API liviana fácil de desarrollar que ayudará a un desarrollador a trabajar rápidamente en proyectos de transmisión. La transmisión por chispa recuperará fácilmente los datos perdidos y podrá entregar exactamente una vez que la arquitectura esté en su lugar. Y sin ningún esfuerzo de codificación adicional Podemos trabajar en streaming de chispas en tiempo real y datos de lotes históricos al mismo tiempo (Arquitectura Lambda).
En la transmisión de Spark, podemos usar múltiples herramientas como un canal, Kafka, RDBMS como fuente o sumidero.
O podemos transmitir directamente desde RDBMS a Spark.
Podemos ejecutar una chispa sobre HDFS o sin HDFS. Es por eso que todo el mundo habla de su reemplazo de Hadoop. HDFS es un sistema de archivos base para Hadoop. Podemos usar HDFS como destino de origen o destino.
Usando Spark SQL, use consultas SQL básicas para procesar los datos. Esta chispa proporciona mejores características como Mlib (Biblioteca de aprendizaje automático) para que un científico de datos haga predicciones.
Comparación cabeza a cabeza entre Kafka y Spark (infografía)
A continuación se muestra la comparación entre los 5 principales entre Kafka y Spark
Diferencia clave entre Kafka vs Spark
Discutamos algunas de las principales diferencias entre Kafka y Spark:
- Kafka es un agente de mensajes. Spark es la plataforma de código abierto.
- Kafka tiene Productor, Consumidor, Tema para trabajar con datos. Donde Spark proporciona una plataforma, extraiga los datos, guárdelos, procese y empuje desde el origen al destino.
- Kafka ofrece transmisión en tiempo real, proceso de ventana. Donde Spark permite tanto la transmisión en tiempo real como el proceso por lotes.
- En Kafka, no podemos realizar una transformación. Dónde en Spark realizamos ETL
- Kafka no admite ningún lenguaje de programación para transformar los datos. Donde spark admite múltiples lenguajes de programación y bibliotecas.
- Por lo tanto, Kafka se utiliza para la transmisión en tiempo real como canal o mediador entre la fuente y el destino. Donde Spark utiliza para una transmisión en tiempo real, proceso por lotes y ETL también.
Características de Kafka vs Spark
Hay algunas características clave:
- Flujo de datos: Kafka vs Spark proporciona transmisión de datos en tiempo real desde el origen hasta el destino. Kafka simplemente fluye los datos al tema, Spark es flujo de datos de procedimiento.
- Procesamiento de datos: no podemos realizar ninguna transformación en los datos en los que Spark podamos transformar los datos.
- Datos persistentes: Kafka persiste los datos durante un tiempo tal como se define en la configuración. Tenemos que usar un marco de datos o un objeto de conjunto de datos para conservar los datos.
- Transformación ETL: Usando Spark podemos realizar ETL, donde Kafka no proporciona ETL.
- Gestión de memoria: Spark utiliza RDD para almacenar datos de manera distribuida (es decir, caché, espacio local) donde Kafka almacena datos en el tema, es decir, en una memoria intermedia.
Tabla comparativa entre Kafka y Spark
A continuación se muestra la comparación más importante entre Kafka vs Spark:
| Criterios de características | Apache Spark | Kafka |
| Velocidad | 100 veces más rápido que Hadoop | Velocidad decente |
| Procesando | Procesamiento en tiempo real y por lotes | Procesamiento en tiempo real / ventana solamente |
| Dificultad | Fácil de aprender gracias a los módulos de alto nivel. | Fácil de configurar |
| Recuperación | Permite la recuperación de particiones usando Cache y RDD | Tolerante a fallas / Replicación |
| Interactividad | Tiene modos interactivos | Sin modo interactivo / Consumir los datos |
Conclusión
Podemos usar Kafka como agente de mensajes. Puede persistir los datos durante un período de tiempo particular. Usando Kafka podemos realizar operaciones de ventana en tiempo real. Pero no podemos realizar la transformación ETL en Kafka. Al usar Spark podemos persistir los datos en el objeto de datos y realizar transformaciones ETL de extremo a extremo.
Por lo tanto, es la mejor solución si utilizamos Kafka como plataforma de transmisión en tiempo real para Spark.
Artículo recomendado
Esta ha sido una guía de la principal diferencia entre Kafka y Spark. Aquí también discutimos las diferencias clave de Kafka vs Spark con la infografía y la tabla de comparación. También puede echar un vistazo a los siguientes artículos para obtener más información. También puede consultar los siguientes artículos para obtener más información:
- Diferencia entre Apache Kafka vs Flume
- Apache Storm vs Kafka
- Apache Hadoop vs Apache Spark
- Google Cloud vs AWS
- Kafka vs Kinesis | Las 5 principales diferencias