¿Cómo instalar Kafka?
Kafka es una plataforma de transmisión distribuida. Ayuda a publicar y suscribir secuencias de registros. Kafka se usa generalmente para construir canales de transmisión de datos en tiempo real que obtienen datos de manera confiable entre diferentes sistemas y aplicaciones. También puede ayudar a crear aplicaciones de transmisión en tiempo real que ayuden a transformar o realizar cambios con las transmisiones de datos. Kafka permite almacenar flujos de registros en diferentes categorías llamadas temas. Cada registro consta de una clave, un valor y una marca de tiempo. Tiene cuatro componentes principales como Producer API, Consumer API, Streams API y Connector API. Utiliza el protocolo TCP, que es una buena comunicación entre clientes y servidores con alto rendimiento. Para instalar Kafka se pueden seguir los siguientes pasos.
Instalar Kafka en el sistema operativo Windows
Para instalar Kafka en Windows, siga los pasos a continuación:
Paso 1. Descargue Zookeeper desde el siguiente enlace: HTTP: //zookeeper.apache.org/releases.html
Una vez hecho esto, descargue Kafka desde el siguiente enlace: http://kafka.apache.org/downloads.html
También descargue JRE según su arquitectura de sistema operativo y CPU desde el siguiente enlace: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
Paso 2. Configuración de JDK
Inicie la instalación de JRE y luego haga clic en la casilla de verificación 'Cambiar carpeta de destino'. Ahora, haga clic en Instalar.
Una vez hecho esto, cambie el directorio a cualquier ruta sin espacios en el nombre de la carpeta.
Paso 3. Una vez hecho esto, abra las variables de entorno desde el Panel de control -> Sistema -> Configuración avanzada del sistema -> Variables de entorno.
Paso 4. Haz clic en Nueva variable de usuario en la pestaña Variable de usuario y luego escribe JAVA_HOME en el nombre de la variable. Ingrese su ruta JRE en la sección Valor variable. Debería ser como a continuación:
Paso 5. Ahora haz clic en Aceptar.
Paso 6. Busque una variable de ruta en la sección 'Variable del sistema' en el cuadro de diálogo "Variable de entorno" que se abre.
Paso 7. Edite la ruta y escriba ";% JAVA_HOME% \ bin" al final del texto ya escrito allí, al igual que la imagen a continuación:
Paso 8. Para verificar si Java está instalado correctamente, vaya al símbolo del sistema y escriba 'java - version'. La versión de Java que está instalada se mostrará en la pantalla.
Si ve los detalles anteriores en el símbolo del sistema, entonces es bueno desde el lado de Java.
Una vez que Java esté instalado, ahora puede moverse para realizar la configuración de Zookeeper.
Siga los pasos a continuación para instalar Zookeeper en su sistema:
- Abra el directorio donde está el directorio de configuración de Zookeeper. Puede ser C: \ zookeeper-3.4.7 \ conf.
- Ahora cambie el nombre del archivo "zoo_sample.cfg" a "cfg"
- Abra este archivo renombrado en el Bloc de notas.
- Busque y edite lo siguiente: dataDir = / tmp / zookeeper to \ zookeeper-3.4.7 \ data
- Al igual que agregamos la variable de entorno para Java, agregue una variable de entorno para Zookeeper.
- Establezca la ruta variable del sistema como: dataDir = / tmp / zookeeper en: \ zookeeper-3.4.7 \ data
- Edite la variable del sistema llamada 'Ruta' y agregue; % ZOOKEEPER_HOME% \ bin;
- El puerto predeterminado para Zookeeper es 2181, que se puede cambiar a cualquier otro puerto yendo al archivo zoo.cfg.
- Ejecute Zookeeper abriendo un nuevo cmd y escriba 'zkserver'. Verá los detalles a continuación.
Una vez que vea esta pantalla, debe asegurarse de que Zookeeper se haya instalado correctamente.
Configurar Kafka
Una vez que tenga Java y Zookeeper en funcionamiento en su sistema, puede configurar Kafka.
- Vaya al directorio de configuración de Kafka.
- Edite el archivo "server.properties".
- Una vez hecho esto, puede encontrar y editar la línea donde ve: dirs = / tmp / kafka-logs a “log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
- Si tiene su Zookeeper ejecutándose en alguna otra máquina, puede cambiar esta ruta a "zookeeper.connect: 2181" a una IP personalizada y una identificación de puerto.
- El puerto predeterminado para Kafka es el puerto 9092 y para conectarse a Zookeeper es 2181.
Ejecutando un servidor Kafka
Una vez que se realiza la configuración inicial, puede ejecutar fácilmente un servidor Kafka
Antes de ejecutar el servidor Kafka, uno debe asegurarse de que la instancia de Zookeeper esté en funcionamiento.
1. Vaya al directorio de instalación de Kafka: C: /kafka_2.11-0.9.0.0
2. Abra el símbolo del sistema y presione Mayús + clic derecho y elija la opción 'Abrir ventana de comandos aquí'.
3. Ahora escriba. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties y presione Entrar.
Una vez que ejecute esto y todo esté bien, su pantalla debería verse como a continuación:
4. Ahora su servidor Kafka está en funcionamiento. Puede crear sus propios temas para almacenar diferentes mensajes. Una vez hecho esto, puede producir y consumir datos de código Java o Scala o ejecutar directamente desde el símbolo del sistema.
Instalar Kafka en Linux
Siga los pasos a continuación para instalar Kafka en Linux:
Paso 1. Descarga y extrae los binarios de Kafka y guárdalos en directorios.
Paso 2. Extrae el archivo que descargas usando el comando tar.
Paso 3. Para configurar Kafka, vaya a server.properties. Abra este archivo con el comando nano y agregue lo siguiente en la parte inferior del archivo.
nano ~/Kafka/config/server.properties
delete.topic.enable = true
Paso 4. Una vez hecho esto, el usuario tendrá que crear archivos de unidad del sistema para los servicios de Kafka. Esto ayuda a realizar acciones de servicio comunes como iniciar, detener y reiniciar Kafka de manera consistente con otros servicios de Linux. Zookeeper es un servicio que utiliza Kafka para administrar su clúster y configuraciones.
Paso 5. Para crear un archivo de unidad para Zookeeper sigue a continuación:
sudo nano /etc/systemd/system/zookeeper.service
Paso 6. Una vez creado este archivo zookeeper, pega a continuación:
(Unit) Requires=network.target remote-fs.target
After=network.target remotefs.target
(Service) Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
(Install) WantedBy=multi-user.target
Esta sección (Unidad) aquí especifica que Zookeeper requiere que la red y el sistema de archivos estén listos antes de que pueda comenzar.
La sección (Servicio) le permite al sistema saber que los archivos zookeeper-server-start.sh y zookeeper-server-stop.sh están presentes para iniciar y detener los servicios.
Paso 7. Ahora el usuario debe crear un archivo de sistema para Kafka como se muestra a continuación:sudo nano /etc/system/system/Kafka.service
Paso 8. En este archivo, pega a continuación:
(Unit) Requires=zookeeper.service
After=zookeeper.service
(Service) Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh
/home/kafka/kafka/config/server.properties >
/home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal
(Install) WantedBy=multi-user.target
Aquí la (Unidad) especifica que el archivo de la unidad depende de zookeeper.service. Esto asegura que se inicie Zookeeper antes de que comience Kafka.
Paso 9. Ahora necesita habilitar Kafka y reiniciar el servidor. Ejecute: sudo systemctl enable Kafka
Paso 10. Prueba de instalación:
Puede probar su instalación de Kafka creando un tema y luego publicándolo a los consumidores.
Cree un tema por : ~ / Kafka / bin / Kafka-topics.sh –create –zookeeper localhost: 2181 –replication-factor 1 –partitions 1 –topic TutorialTopic
Publicar este usuario puede crear productores y consumidores y luego publicar cualquier información en los temas específicos.
Artículos recomendados
Esta ha sido una guía para instalar Kafka. Aquí hemos discutido diferentes pasos para instalar Kafka en Windows y Linux. También puede consultar los siguientes artículos para obtener más información:
- Paso para instalar Java 8
- Cómo instalar C
- Guía para instalar Ruby
- Aplicaciones Kafka
- JRE vs JVM | Las 8 principales diferencias con (infografía)