Introducción a la lista de comandos de Hadoop FS
Hadoop funciona en su propio Sistema de archivos que se distribuye en la naturaleza conocida como "Sistema de archivos distribuidos Hadoop HDFS " . Hadoop se basa en el almacenamiento distribuido y el procesamiento paralelo. Esta forma de almacenar el archivo en ubicaciones distribuidas en un clúster se conoce como Sistema de archivos distribuidos de Hadoop, es decir, HDFS. Para realizar varias operaciones a nivel de archivo, HDFS proporciona su propio conjunto de comandos conocidos como Comandos del sistema de archivos Hadoop. Exploremos esos comandos. En este tema, vamos a aprender sobre el comando Hadoop FS.
Comandos de Hadoop FS
Cualquier comando HDFS tiene el prefijo "hdfs dfs". Significa que estamos especificando que el sistema de archivos predeterminado es HDFS. Exploremos los comandos uno por uno.
1. Versiones
El comando version se usa para encontrar la versión de Hadoop instalada en el sistema.
Sintaxis: Hadoop version
2. Comando ls
El comando ls en Hadoop se usa para especificar la lista de directorios en la ruta mencionada. El comando ls toma la ruta hdfs como parámetro y devuelve una lista de directorios presentes en la ruta.
Sintaxis: hdfs dfs -ls
Ejemplo: hdfs dfs -ls / user / harsha
También podemos usar -lsr para el modo recursivo
Sintaxis: hdfs dfs –lsr
3. Comando gato
El comando Cat se usa para mostrar el contenido del archivo a la consola. Este comando toma la ruta del archivo hdfs como argumento y muestra el contenido del archivo.
Sintaxis: hdfs dfs -cat
Ejemplo: hdfs dfs -cat /user/harsha/empnew.txt
4. comando mkdir
El comando mkdir se usa para crear un nuevo directorio en el sistema de archivos hdfs. Toma la ruta hdfs como argumento y crea un nuevo directorio en la ruta especificada.
Sintaxis: hdfs dfs -mkdir
Ejemplo: hdfs dfs -mkdir / user / example
En la captura de pantalla anterior, se muestra claramente que estamos creando un nuevo directorio llamado "ejemplo" usando el comando mkdir y lo mismo se muestra usando el comando ls.
También para el comando mkdir, podemos dar la opción '-p'. Crea directorios principales en la ruta si faltan.
Ejemplo: hdfs dfs -mkdir -p / user / test / example2
En la captura de pantalla anterior, es bastante evidente que tenemos la opción -p y en la ruta / usuario / prueba / ejemplo2, se crean los directorios de prueba y ejemplo2.
5. poner comando
poner el comando en HDFS se utiliza para copiar archivos de la ubicación de origen dada a la ruta de destino hdfs. Aquí la ubicación de origen puede ser una ruta del sistema de archivos local. El comando put toma dos argumentos, el primero es la ruta del directorio de origen y el segundo es la ruta HDFS de destino
Sintaxis: hdfs dfs -put
Ejemplo: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2
En la captura de pantalla anterior, podemos ver claramente que el archivo se copia del origen al destino.
6. comando copyFromLocal
El comando copyFromLocal en HDFS se utiliza para copiar archivos de la ruta de origen a la ruta de destino. La fuente en este comando está restringida al sistema de archivos local
Sintaxis: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Diferencia entre el comando put y el comando copyFromLocal: no hay mucha diferencia entre estos dos comandos de shell hdfs. Ambos se utilizan para copiar desde el sistema de archivos local para apuntar a la ruta del archivo HDFS.
Pero el comando put es más útil y robusto ya que permite copiar múltiples archivos o directorios al destino en HDFS
hdfs dfs -put
7. obtener el comando
El comando get en hdfs se usa para copiar un archivo o directorio hdfs dado a la ruta del sistema de archivos local de destino. Toma dos argumentos, uno es la ruta de origen hdfs y otro es la ruta del sistema de archivos local de destino
Sintaxis: hdfs dfs -get
Ejemplo: hdfs dfs -get / user / test / example2 / home / harsha
8. comando copyToLocal
El comando copyToLocal en hdfs se usa para copiar un archivo o directorio en hdfs al sistema de archivos local. En este comando, el destino se fija al sistema de archivos local. Este comando copyFromLocal es similar al comando get.
Sintaxis: hdfs dfs -copyToLocal
Ejemplo: hdfs dfs -copyToLocal / user / harsha / example / home / harsha
9. comando de conteo
El comando count en hdfs se usa para contar la cantidad de directorios presentes en la ruta dada. El comando count toma una ruta determinada como argumento y proporciona el número de directorios presentes en esa ruta.
Sintaxis: hdfs dfs -count
Ejemplo: hdfs dfs -count / user
10. comando mv
El comando mv en hdfs se usa para mover un archivo entre hdfs. El comando mv toma el archivo o directorio de la ruta hdfs de origen dada y lo mueve a la ruta hdfs de destino.
Sintaxis : hdfs dfs -mv
Ejemplo : hdfs dfs -mv / user / test / example2 / user / harsha
En la captura de pantalla anterior, podemos ver que el directorio example2 ahora está presente en / user / harsha
11. comando setrep
El comando setrep en hdfs se usa para cambiar el factor de replicación del archivo dado. Por defecto, hdfs tiene un factor de replicación de '3'. Si la ruta dada es un directorio, este comando cambiará el factor de replicación de todos los archivos presentes en ese directorio.
Sintaxis: hdfs dfs -setrep (-R) (-w)
-w: Este indicador especifica que el comando debe esperar a que se complete la replicación.
rep: factor de replicación
Ejemplo: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. du command
El comando du en hdfs muestra la utilización del disco para la ruta de hdfs dada. Toma la ruta hdfs como entrada y devuelve la utilización del disco en bytes.
Sintaxis : hdfs dfs -du
Ejemplo: hdfs dfs -du /user/harsha/empnew.txt
13. comando rm
El comando rm en hdfs se usa para eliminar archivos o directorios en la ruta de hdfs dada. Este comando toma la ruta hdfs como entrada y elimina los archivos presentes en esa ruta.
Sintaxis : hdfs dfs -rm
Ejemplo : hdfs dfs -rm / user / harsha / example
Conclusión - Comando Hadoop FS
Por la presente, hemos llegado a conocer varios comandos hdfs, sus respectivas sintaxis con ejemplos también. Debemos tener en cuenta el inicio rápido de cualquier comando hdfs, necesitamos ejecutar el script bin / hdfs. A hdfs le sigue una opción conocida como dfs, que indica que estamos trabajando con el sistema de archivos distribuido de Hadoop. Con la ayuda de los comandos mencionados anteriormente, podemos negociar con el sistema de archivos HDFS.
Artículos recomendados
Esta es una guía para el comando Hadoop FS. Aquí discutimos los comandos HDFS más utilizados. También puede consultar el siguiente artículo para obtener más información:
- Arquitectura Hadoop
- Marco HADOOP
- Instalar Hadoop
- Herramientas Hadoop
- Versiones de Tableau
- Guía de la lista de comandos de shell de Unix