Introducción a HiveQL
HiveQL, comúnmente conocido como HQL, es un lenguaje de consulta similar a SQL para procesar grandes porciones de datos del entorno Hadoop. Desarrollado originalmente por Facebook alrededor de 2007, Hive se ha convertido más tarde en un proyecto de código abierto de Apache. Las consultas de colmena con una sintaxis similar a SQL se han vuelto populares entre los analistas de datos hoy en día. HiveQL usando HDFS para almacenamiento y MapReduce para procesamiento ayuda a obtener información para usuarios de big data con experiencia mínima en codificación. Se pueden usar varios otros motores de computación distribuida como Apache Tez y Apache Spark con HiveQL para un procesamiento más rápido de análisis de datos a gran escala. Las diversas formas de utilizar HiveQL son: CLI (interfaz de línea de comandos), productos comerciales como Karmasphere, el código abierto de Hue de Cloudera y Qubole.
Trabajo de HiveQL
Hive proporciona un dialecto similar a SQL para la manipulación de datos, eliminando la necesidad de que escribamos trabajos MapReduce de bajo nivel para obtener datos (a través de Mapper) y agregar resultados finales (a través de Módulos reductores).
-
Ejecutar consulta de colmena
Los pasos involucrados en la ejecución de una consulta de Hive son:
- La interfaz de Hive (a través de CLI o Web UI) envía la consulta al controlador (que es JDBC, ODBC o Thrift Server) para compilar, optimizar y ejecutar. Comprueba la consulta a través de un compilador para la sintaxis y el plan de ejecución.
- El compilador envía una solicitud al Metastore y recibe Metadata como respuesta.
- El compilador comunica el plan de ejecución al controlador, que luego lo envía al motor de ejecución.
- El motor de ejecución interactúa con el Rastreador de trabajos, que es el Nodo de nombre para realizar el trabajo.
- En paralelo, el motor de ejecución también ejecuta la operación de metadatos.
- El nodo de nombre realiza el trabajo mediante el rastreador de tareas o los nodos de datos.
- Resultados que se comparten con el motor de ejecución, que luego se muestran a la interfaz a través del controlador.
-
Optimización de consultas
Ajuste HiveQL para una mejor optimización de consultas. Usando los comandos establecidos a continuación, podemos anular las configuraciones predeterminadas y permitir una ejecución de consulta más rápida.
1) SET hive.execution.engine = tez
De forma predeterminada, el motor de ejecución está configurado como Mapreduce, pero podemos configurarlo explícitamente en tez (solo para Hadoop 2) o Spark (para Hive 1.1. 0 en adelante).
2) SET hive.mapred.mode = unstrict
Esto es para particiones dinámicas que es útil para cargar grandes conjuntos de datos. Sin embargo, la partición estática se establece como predeterminada, lo que ocurre en modo "estricto".
3) SET hive.vectorized.execution = true
establecer hive.vectorized.execution.enabled = true
La ejecución de consultas vectorizadas permite operaciones como –agregados, filtros o uniones en lotes de 1024 filas en lugar de una sola fila a la vez.
4) SET hive.auto.convert.join = true
Al unir un conjunto de datos grande con un conjunto de datos muy pequeño, las uniones de mapas son más eficientes y se pueden configurar con el comando anterior.
5) SET hive.exec.parallel = true
Los trabajos de MapReduce se ejecutan en paralelo en Hadoop. A veces, si las consultas no dependen unas de otras, se puede favorecer la ejecución paralela, lo que lleva a una mejor gestión de la memoria.
6) SET hive.exec.compress.output = true
Esto permite que la salida final se almacene en HDFS en un formato comprimido.
7) SET hive.exec.compress.output = true
Esto permite que la salida final se almacene en HDFS en un formato comprimido.
Características de HiveQL
- Al ser un lenguaje de alto nivel, las consultas de Hive se convierten implícitamente en trabajos de reducción de mapas o DAG complejos (gráficos acíclicos dirigidos). Usando la palabra clave 'Explicar' antes de la consulta, podemos obtener el plan de consulta.
- Ejecución de consultas más rápida utilizando el almacenamiento de metadatos en un formato RDMS y replica datos, lo que facilita la recuperación en caso de pérdida.
- La indexación de mapa de bits se realiza para acelerar las consultas.
- Mejora el rendimiento al permitir la partición de datos.
- Hive puede procesar diferentes tipos de archivos comprimidos, ahorrando así espacio en disco.
- Para manipular cadenas, enteros o fechas, HiveQL admite la ampliación de las funciones definidas por el usuario (UDF), para resolver problemas no admitidos por las UDF incorporadas.
- Proporciona una gama de API adicionales para construir un motor de consulta personalizado.
- Se admiten diferentes formatos de archivo como Textfile, Sequencefile, ORC (Optimized Row Columnar), RCFile, Avro y Parquet. El formato de archivo ORC es más adecuado para mejorar el rendimiento de la consulta, ya que almacena los datos de la manera más optimizada, lo que lleva a una ejecución de consulta más rápida.
- Es una herramienta eficiente de análisis de datos y ETL para grandes conjuntos de datos 10. Consultas fáciles de escribir, ya que es similar a SQL. Los comandos DDL (lenguaje de definición de datos) en la colmena se utilizan para especificar y cambiar la estructura de la base de datos o las tablas en la colmena. Estos comandos son soltar, crear, truncar, alterar, mostrar o describir.
Limitaciones
- Las consultas de Hive tienen una latencia más alta ya que Hadoop es un sistema orientado a lotes.
- Anidado o subconsultas no son compatibles.
- La operación de actualización o eliminación o inserción no se puede realizar a nivel de registro.
- El procesamiento o consulta de datos en tiempo real no se ofrece a través del alcance de Hive de HQL.
Con petabytes de datos, que van desde miles de millones hasta trillones de registros, HiveQL tiene un gran alcance para los profesionales de big data.
Alcance de HiveQL
A continuación se detallan las formas en que el alcance de HiveQL se amplía y cumple mejor el propósito de analizar datos enormes generados por los usuarios todos los días.
Seguridad: junto con el procesamiento de datos de gran tamaño, Hive proporciona seguridad de datos. Esta tarea es compleja para el sistema distribuido, ya que se necesitan múltiples componentes para comunicarse entre sí. El soporte de autorización Kerberos permite la autenticación entre el cliente y el servidor.
Bloqueo: Tradicionalmente, Hive carece de bloqueo en filas, columnas o consultas. Hive puede aprovechar Apache Zookeeper para bloquear el soporte.
Gestión del flujo de trabajo : Apache Oozie es un programador de flujo de trabajo para automatizar varias consultas HiveQL para ejecutar de forma secuencial o en paralelo.
Visualización: el cuaderno Zeppelin es un cuaderno basado en la web, que permite el análisis interactivo de datos. Es compatible con Hive y Spark para la visualización y colaboración de datos.
Conclusión
HiveQL se usa ampliamente en todas las organizaciones para resolver casos de uso complejos. Teniendo en cuenta las características y limitaciones que ofrece el lenguaje, el lenguaje de consulta de Hive se utiliza en telecomunicaciones, atención médica, comercio minorista, servicios bancarios y financieros e incluso en el sistema de evaluación del clima del Laboratorio de Propulsión de Prueba de la NASA. La facilidad de escribir SQL como consultas y comandos representa una aceptación más amplia. La creciente oportunidad de trabajo en este campo atrae a profesionales más frescos y de diferentes sectores para obtener experiencia práctica y conocimiento sobre el campo.
Artículos recomendados
Esta es una guía para HiveQL. Aquí discutimos la Introducción a HiveQL, optimización de consultas y sus limitaciones y características. También puede consultar nuestros artículos relacionados para obtener más información:
- ¿Qué son los tipos de datos de Hive?
- Alternativas de la colmena | Descubre las características
- Componentes principales de los comandos de Hive
- Las 10 preguntas principales de la entrevista de Hive