Introducción a los comandos Sqoop
En los comandos Sqoop, cada fila se trata como registros y las tareas se subdividen en subtareas por tarea de mapa internamente. Las bases de datos compatibles con sqoop son MYSQL, Oracle, IBM, PostgreSQL. Sqoop proporciona una línea de comando simple, podemos obtener datos de la base de datos diferente a través de comandos sqoop. Están escritos en Java y utilizan JDBC para conectarse a otras bases de datos.
Significa 'SQL to Hadoop' y Hadoop to SQL y una herramienta de código abierto. Es una herramienta de conectividad de aplicaciones que transfiere datos masivos entre el sistema de base de datos relacional y Hadoop (Hive, map reduce, Mahout, Pig, HBase). Permiten a los usuarios especificar la ubicación de destino dentro de Hadoop y hacer que sqoop mueva los datos de RDMS a destino. Proporcionan conectores MySQL optimizados que utilizan una API específica de la base de datos para realizar transferencias masivas por completo. El usuario importa datos de fuentes externas como Hive o Hbase. El sqoop tiene dos formatos de archivo: formato de archivo de texto delimitado y formato de archivo de secuencia.
Aquí están los comandos básicos de los comandos Sqoop:
-
Tabla de lista:
Este comando enumera la tabla particular de la base de datos en el servidor MYSQL.
Ejemplo:
-
Directorio de destino:
Este comando importa la tabla en un directorio específico en HDFS. -m denota el argumento del mapeador. Tienen un valor entero.
Ejemplo:
-
Protección de contraseña:
Ejemplo:
-
sqoop-eval:
Este comando ejecuta rápidamente consultas SQL de la respectiva base de datos.
Ejemplo:
-
sqoop - versión:
Este comando muestra la versión de sqoop.
Ejemplo:
-
sqoop-job
Este comando nos permite crear un trabajo, los parámetros que se crean se pueden invocar en cualquier momento. Toman opciones como (–create, –delete, –show, –exit).
Ejemplo:
-
Carga del archivo CSV a SQL:
Ejemplo:
-
Conector:
Ejemplo:
-
código gen:
Este comando Sqoop crea archivos de clase java que encapsulan los registros importados. Todos los archivos java se recrean y se generan nuevas versiones de una clase. Generan código para interactuar con los registros de la base de datos. Recupera una lista de todas las columnas y sus tipos de datos.
Ejemplo:
10.Lista-base de datos:
Estas listas de comandos de Sqoop tienen todas las bases de datos disponibles en el servidor RDBMS.
ejemplo:
Comandos intermedios de comandos Sqoop:
1.sqoop -meta store:
Este comando aloja un repositorio de metadatos compartido. Los usuarios múltiples / remotos pueden ejecutar varios trabajos.
Mando:
$ sqoop .metastore.client.autoconnect.url
ejemplo: jdbc: hsqldb: hsql: // metastore .example.com / sqoop
2. sqoop -help:
Este comando enumera las herramientas disponibles en sqoop y su propósito.
Mando:
Ayuda de $ sqoop
$ bin / sqoop help import
3. Exportación:
Este comando exporta datos de HDFS a la base de datos RDMS. En HDFS los datos se almacenan como registros.
Mando:
$ sqoop export \ –connect jdbc: mysql: // localhost / Inventory - nombre de usuario jony –table lib –export -dir / user / jony / Inventory.
4. Insertar:
Este comando inserta un nuevo registro de HDFS a la tabla RDBMS.
Mando
$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - table emp_exported –export -dir / sqoop / newemp -m -000
5. Actualización:
Este comando Sqoop actualiza los registros en el RDBMS a partir de datos HDFS.
Mando
$ sqoop export –connect JDBC: MySQL: // localhost / sqoop_export - table emp_exported –export -dir / sqoop / newemp -m -000 –update -key id
6. Opción de lote:
Este comando inserta varias filas juntas, optimizan la velocidad de inserción utilizando el controlador Sqoop JDBC.
Mando
$ sqoop export \ -connect JDBC: MySQL: // hostname / –username -password -export -dir
7. Split:
Cuando se usa este comando, la cláusula where se aplica a todo el SQL.
Mando
$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT –table JUNK –where “rownum <= 12”
8. Archivo AVRO en HDFS:
Almacenan datos RDBMS como un archivo Avro.
Mando
$ sqoop import –connect JDBC: MySQL: // localhost / Acadgild –username root –password pp.34 –table payment -m1 –target -dir / sqoop_data / payment / avro / == as -avrodatfile.
Comandos avanzados de comandos Sqoop:
Comandos de importación:
Los comandos de importación tienen argumentos de control de importación. Los diversos argumentos son los siguientes:
- límite: se usa para crear divisiones.
- como archivo de texto: importa datos de texto sin formato
- -columnas (: importar columnas para tabla
- -m, - num: para importar tareas de mapeo paralelo
- dividido por: divide la columna de la tabla
- -z, - comprimir: la compresión de los datos está habilitada.
Argumentos incrementales de importación:
- check - column: indica columnas para determinar qué filas se importarán.
- incremental (modo): indica nuevas filas (incluye agregar y la última modifica filas)
Argumentos de línea de salida:
- líneas -terminadas -by: establecen el carácter eol
- MySQL - delimitadores: establecen \ n campos: líneas:
Importar a colmena
-hive - import: importan tablas en la colmena
-hive - clave-partición: se comparte el nombre de la partición.
-hive - sobrescribir: sobrescriben los datos en la tabla existente.
Importar a argumentos de Hbase:
-accumulo-table: especifica la tabla de destino en HBase.
-accumulo -column: para importarlo establece la columna de destino.
-acumulo -: para importar el nombre del acumulo
–Acumulo-: para importar la contraseña del cúmulo
Almacenamiento en archivos de secuencia:
$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table Inventory \ - class-name com.foo.com.Inventory -as - archivo de secuencia
Importación de consultas:
Este comando especifica la instrucción SQL con el argumento -query.
$ sqoop import \ –query 'SELECCIONE a. *, b. * desde un JOIN b on (a.id = b.id) donde $ condiciones' \ -split - by / target-dir / user
Exportaciones incrementales:
$ sqoop export –connect –table –username –password –incremental –check-row –last-value
Importar todas las tablas a HDFS:
$ sqoop import -all - tables –connect jdbc: mysql: // localhost / sale_db - nombre de usuario root.
Importar datos a Hive:
$ sqoop import –connect –table –username –password –hive -import - hive -table
Importar datos a HBase:
mando:
$ sqoop import –connect –table –username –password –hive -import - HBase -table
Codificar valores nulos:
mando:
$ mysql import \ –connect JDBC: MySQL: //mysql.ex.com/sqoop \ –username sqoop \ -password sqoop \ –table lib \ –null -string '
Consejos y trucos para usar los comandos Sqoop:
Si queremos ejecutar las operaciones de datos de manera efectiva, debemos usar sqoop, solo a través de una sola línea de comando podemos realizar muchas tareas y subtareas. Sqoop se conecta a diferentes bases de datos relacionales a través de conectores, hacen uso del controlador JDBC para interactuar con él. Dado que sqoop se ejecuta en su propia fuente, podemos ejecutar sqoop sin un proceso de instalación. La ejecución de sqoop es fácil porque se ejecutan los datos en paralelo. Usando Map reduce podemos importar y exportar datos, lo que a su vez proporciona una ejecución paralela.
Conclusión - Comandos Sqoop:
Para concluir, los comandos Sqoop regulan el proceso de importación y exportación de datos. Sqoop ofrece la posibilidad de actualizar las partes de la tabla mediante la carga incremental. La importación de datos en sqoop no está controlada por eventos. Y viene sqoop2 con GUI habilitada para un fácil acceso junto con la línea de comandos. La transferencia de datos es rápida ya que se transfieren en paralelo. Desempeñan un papel vital en el entorno de Hadoop. Hacen su trabajo solos, no es necesario mientras importan pequeños conjuntos de datos.
Artículos recomendados
Esta ha sido una guía para los comandos Sqoop. Aquí hemos discutido los comandos básicos y avanzados de Sqoop y algunos comandos inmediatos de Sqoop. También puede consultar el siguiente artículo para obtener más información:
- Sqoop Entrevista Preguntas y respuestas
- Cheat sheet SQL (comandos, consejos gratuitos y trucos)
- Comandos importantes de VBA
- Comandos de Tableau