Herramientas Talend - Diversas herramientas o componentes de Talend para la integración de datos

Introducción a las herramientas de Talend

Talend open studio tiene más de 700 componentes en áreas como big data, bases de datos, nube, etc. Talend open studio se puede dividir en muchos como Talend open studio para Data Integration y Talend open studio para big data, etc. En este artículo, Verá las diferentes herramientas de talend en detalle.

Talend Open Studio Componentes / Herramientas

Talend Open Studio for Data Integration cubre las siguientes áreas / tecnologías con algunos componentes integrados que ayudan a procesar fácilmente.

Componentes de Big Data
Componentes comerciales
Componentes de inteligencia empresarial
Componentes de la nube
Componentes de código personalizado
Componentes de calidad de datos
Bases de datos - componentes tradicionales
Bases de datos: componentes de dispositivos / almacén de datos
Bases de datos - otros componentes
Componentes DotNET
Componentes ELT
Componentes ESB
Componentes de archivo
Componentes de internet
Componentes de registros y errores
Varios componentes del grupo
Componentes de orquestación
Procesando componentes
Componentes del sistema
Componentes de Talend MDM
Componentes técnicos
Componentes XML

Aquí discutiremos algunos componentes de Talend Open Studio para la integración de datos.

1. tS3Connection: este componente se utiliza para conectarse con amazon s3. Los componentes pueden usar esta conexión para configurar fácilmente la conexión a amazon s3.

2. tS3Input: se usa para leer un archivo del sistema de archivos S3. Tiene algunas funciones similares a tfileinputdelimited pero usa el servicio Amazon Simple Storage.

3. tS3Output: se utiliza para escribir datos en un sistema de archivos S3. Tiene algunas funciones similares a tfileoutputdelimited pero usa el servicio Amazon Simple Storage.

4. ts3Put: se utiliza para colocar un archivo en un sistema de archivos S3 desde un sistema local.

5. ts3Get: este componente se utiliza para recuperar un archivo de S3 en un sistema local.

6. tS3BucketCreate: este componente se utiliza para crear un depósito en S3.

7. tS3BucketDelete: este componente se utiliza para eliminar un depósito en S3.

8. tS3BucketExist: este componente se utiliza para verificar si el depósito dado existe en S3. Devuelve el resultado en un valor booleano verdadero o falso que se puede utilizar como un mapa global.

9. tS3BucketList: este componente se utiliza para enumerar todos los depósitos en S3.

10. tS3Copy: este componente se utiliza para copiar el objeto S3 de un depósito a otro depósito. Es similar a tFileCopy.

11. tS3Delete: este componente se utiliza para eliminar el objeto S3 de un depósito. Es similar a tFileDelete.

12. tS3Close: este componente se usa para cerrar la conexión S3 que se crea usando tS3Connection.

13. tCreateTemporaryFile: este componente crea un archivo temporal como tFileOutputDelimited pero este archivo temporal puede eliminarse automáticamente una vez que finaliza el trabajo o puede mantenerse.

14. tFileArchive: este componente se utiliza para crear un archivo comprimido a partir de uno o más archivos. El cifrado también se puede aplicar en compresión.

15. tFileCompare: este componente se utiliza para comparar dos archivos y devuelve los datos de comparación.

16. tFileUnarchive: este componente se utiliza para descomprimir un archivo comprimido.

17. tFileCopy: este componente se utiliza para copiar un archivo o carpeta en un directorio de destino.

18. tFileDelete: este componente se utiliza para eliminar un archivo o carpeta.

19. tFileExist: este componente se utiliza para verificar si un archivo existe o no. Devuelve el resultado en un valor booleano verdadero o falso que se puede usar como globalMap.

20. tFileInputExcel: este componente se utiliza para leer un archivo de Excel basado en el esquema definido.

21. tMsgBox: este componente se utiliza para mostrar un cuadro de diálogo con un botón Aceptar.

22. tRowGenerator: este componente se utiliza para crear cualquier número de filas con columnas que tengan valores específicos o valores aleatorios. Se utiliza principalmente para fines de prueba y para crear archivos de prueba de muestra.

23. tIterateToFlow: se utiliza para transformar una lista de flujos en el flujo principal, lo que significa iterar-> fila-> principal.

24. tFlowToIterate: se utiliza para transformar el flujo principal en una lista de flujos, lo que significa main-> row-> iterate.

25. tLoop: se utiliza para realizar un bucle de una tarea en particular.

26. tReplicar: se utiliza para replicar el esquema entrante en dos flujos de salida.

27. tRunJob: se utiliza para ejecutar otro trabajo de talentos dentro del trabajo actual después de un trabajo secundario, ok.

28. tSleep: se utiliza para realizar la ejecución del trabajo o una pausa particular del subtrabajo durante un tiempo determinado en segundos.

29. tWaitForFile: examinará un directorio particular y activará el siguiente componente según la condición.

30.tMysqlBulkExec: este componente se utiliza para ofrecer ganancias en el rendimiento al ejecutar las operaciones de inserción en una base de datos Mysql.

31. tMysqlClose: este componente se utiliza para cerrar la conexión mysql creada por tMysqlConnection.

32. tMysqlRow: este componente se utiliza para ejecutar la consulta SQL en la base de datos MySQL directamente.

33. tMysqlTableList: este componente se utiliza para enumerar los nombres de las tablas.

34. tMysqlColumnList: este componente se utiliza para iterar todas las columnas de una tabla.

35. tMysqlCommit: este componente se utiliza para confirmar los cambios realizados en la base de datos Mysql.

36. tMysqlLastInsertId: este componente se utiliza para obtener el último valor clave insertado

37. tMysqlOutputBulk: este componente se utiliza para escribir un archivo con columnas basadas en el delimitador

38. tMysqlOutputBulkExec: este componente se utiliza para escribir un archivo con columnas basadas en el delimitador y luego ejecuta el archivo en la base de datos Mysql.

39. tContextLoad: este componente se utiliza para cargar valores en contexto desde un flujo de entrada. Las variables de contexto deben crearse antes de cargar los valores en las variables de contexto. Si no se crean las variables de contexto, mostrará una advertencia.

40. tHiveClose: este componente se usa para cerrar la conexión creada usando tHiveConnection.

41. tHiveConnection: este componente se utiliza para crear una conexión de Hive y puede ser reutilizado por otros componentes de Hive.

42. tHiveRow: este componente se utiliza para ejecutar las consultas de Hive directamente.

Conclusión

Los componentes HDFS se pueden ver en el estudio abierto de Talend para Big Data.
thdfsinput, thdfsoutput son algunos de los componentes y son similares a los componentes de archivo.
tHDFSInput: lee el archivo ubicado en un determinado sistema de archivos distribuido de Hadoop (HDFS). Tiene algunas funciones similares a tfileinputdelimited pero usa un sistema de archivos distribuido Hadoop.
tHDFSOutput: escribe el archivo en el sistema de archivos distribuido de Hadoop (HDFS).
Tiene algunas funciones similares a tfileoutputdelimited pero utiliza un sistema de archivos distribuido Hadoop.
tHDFSPut: se utiliza para colocar un archivo en el sistema de archivos HDFS desde un sistema local.
tHDFSGet: este componente se utiliza para recuperar un archivo de HDFS en un sistema local.

Artículos recomendados

Esta es una guía de las herramientas de Talend. Aquí discutimos la introducción y los componentes o herramientas de estudio abierto para la integración de datos que incluye, tS3Connection, tS3Input, tS3Output y ts3Put, etc. También puede consultar los siguientes artículos para obtener más información: