Diferencias entre minería de texto vs análisis de texto
Los datos estructurados han estado disponibles desde principios de 1900, pero lo que hizo que la minería de texto y el análisis de texto fueran tan especiales es el aprovechamiento de la información de los datos no estructurados (procesamiento del lenguaje natural). Una vez que podamos convertir este texto no estructurado en datos semiestructurados o estructurados, estará disponible para aplicar todos los algoritmos de minería de datos, por ejemplo. Algoritmos estadísticos y de aprendizaje automático.
Incluso Donald Trump pudo aprovechar los datos y convertirlos en información que lo ayudó a ganar las elecciones presidenciales de Estados Unidos, bueno, básicamente no lo hizo, lo hicieron sus subordinados. Hay un muy buen artículo por ahí http://fivethirtyeight.com/features/the-real-story-of-2016/ puede leerlo.
Muchas empresas han comenzado a usar la minería de texto para usar entradas valiosas del texto disponible, por ejemplo, una empresa basada en productos puede usar los datos de Twitter / Facebook para saber qué tan bien o mal está haciendo su producto en el mundo usando Sentimental Análisis. En los primeros días, el procesamiento solía tomar mucho tiempo, días, de hecho, para procesar o incluso implementar los algoritmos de aprendizaje automático, pero con la introducción de herramientas como Hadoop, Azure, KNIME y otros softwares de procesamiento de grandes datos. La minería de texto ha ganado una enorme popularidad en el mercado. Uno de los mejores ejemplos de análisis de texto que utiliza la minería de asociaciones es el motor de recomendaciones de Amazon, donde automáticamente brinda recomendaciones a sus clientes sobre qué más compraron otras personas al comprar cualquier producto en particular.
Uno de los mayores desafíos de aplicar herramientas de minería de texto a algo que no está en formato digital / en una unidad de computadora es el proceso de hacerlo. Los archivos antiguos y muchos documentos importantes que están disponibles solo en documentos a veces se leen a través de OCR (Reconocimiento óptico de caracteres) que tienen muchos errores y, a veces, los datos se ingresan manualmente, lo que es propenso a errores humanos. La razón por la que queremos estos es que podemos obtener otras ideas que no son visibles a partir de la lectura tradicional.
Algunos de los pasos de la minería de texto son los siguientes
- Recuperación de información
- Preparación de datos y limpieza
- Segmentación
- Tokenización
- Números de palabras vacías y eliminación de puntuación
- Tallo
- Convertir a minúsculas
- Etiquetado POS
- Crear corpus de texto
- Matriz de documentos a plazo
Y a continuación se detallan los pasos en Text Analytics que se aplican después de preparar la Matriz de documentos de términos
- Modelado (esto puede incluir modelos inferenciales, modelos predictivos o modelos prescriptivos)
- Formación y evaluación de modelos.
- Aplicación de estos modelos.
- Visualizando los modelos
Lo único que uno debe recordar siempre es que la minería de texto siempre precede a la analítica de texto.
Comparación directa entre minería de texto y análisis de texto (infografía)
A continuación se muestra la comparación 5 entre la minería de texto predictiva y la analítica de texto 
Diferencias clave entre minería de texto y análisis de texto
Vamos a diferenciar la minería de texto y la analítica de texto en función de los pasos que intervienen en pocas aplicaciones en las que se aplican estas minería de texto y analítica de texto:
• Clasificación de documentos.
En esto, los pasos que se incluyen en la minería de texto son la tokenización, la derivación y la lematización, la eliminación de las palabras vacías y la puntuación y, por último, el cálculo del término matriz de frecuencia o matrices de frecuencia de documentos.
Tokenización : el proceso de dividir todos los datos (corpus) en fragmentos más pequeños o palabras más pequeñas, generalmente palabras sueltas, se conoce como tokenización (modelo N-Gram o modelo de bolsa de palabras)
Tallo y lematización : por ejemplo, las palabras, más grande y más grande, todas significan lo mismo y formarán datos duplicados, para mantener los datos redundantes hacemos lematización, vinculación de palabras con la palabra raíz.
Eliminar palabras de parada: las palabras de parada no sirven de nada en análisis que incluirán palabras como is, the, etc.
Frecuencias de término : esta es una matriz que tiene encabezados de fila como nombres de documentos y columnas como términos (palabras) y los datos son la frecuencia de las palabras que aparecen en esos documentos en particular. A continuación se muestra una captura de pantalla de muestra. 
En la figura anterior, tenemos los atributos en las filas (palabras) y el número de documento como columnas y la frecuencia de palabras como datos.
Ahora, llegando al análisis de texto, tenemos los siguientes pasos que deben considerarse
Agrupación : al usar la agrupación K-means / Neural Networks / CART (árboles de clasificación y regresión) o cualquier otro algoritmo de agrupación, ahora podemos agrupar los documentos en función de las características que se generaron (las características aquí son las palabras).
Evaluación y visualización : podemos trazar el clúster en dos dimensiones y ver cómo estos clústeres varían entre sí, y si el modelo se mantiene bien en los datos de prueba, podemos implementarlo en producción y será un buen clasificador de documentos que clasificará cualquier nuevo documentos que se proporcionan como entrada y solo nombraría el clúster en el que caerá.
•Análisis de los sentimientos
Una de las herramientas más poderosas que existen en el mercado que ayuda a procesar datos de Twitter / Facebook o cualquier otro dato que se pueda usar para obtener el sentimiento de si el sentimiento es bueno, malo o neutral para cualquier proceso / producto en particular o persona es análisis de sentimientos.
La fuente de los datos puede estar fácilmente disponible mediante el uso de la API de Twitter / API de Facebook para obtener los tweets / comentarios / me gusta, etc. en el tweet o en una publicación de una empresa. El principal problema es que estos datos son difíciles de estructurar. Los datos también contendrían varios anuncios y el científico de datos que trabaja para la empresa debe asegurarse de que la selección de datos se realice de la manera correcta para que solo los tweets / publicaciones seleccionados pasen por las etapas de preprocesamiento.
Otras herramientas incluyen Web-Scraping, esta es una parte de la minería de texto en la que elimina los datos de los sitios web utilizando rastreadores.
El proceso de minería de texto sigue siendo el mismo que la tokenización, la derivación y la lematización, eliminando palabras vacías y signos de puntuación y, por último, computando el término matriz de frecuencia o matrices de frecuencia de documentos, pero la única diferencia se produce al aplicar el análisis de opinión.
Por lo general, le damos una puntuación a cualquier publicación / tweet. Por lo general, cuando compra un producto y lo revisa, si también tiene la opción de darle estrellas a la revisión y publicar un comentario. Google, Amazon y otros sitios web usan las estrellas para calificar el comentario, no solo esto, sino que también toman los tweets / publicaciones y se los dan a los seres humanos para calificarlo como bueno / malo / neutral y al peinar estos dos puntajes generan un nuevo puntuar a cualquier tweet / publicación en particular.
La visualización del análisis de sentimientos se puede hacer usando una nube de palabras, gráficos de barras de la matriz de términos de frecuencia.
• Asociación de Análisis Minero
Una de las aplicaciones en las que algunos chicos estaban trabajando era el "Modelo probabilístico de eventos adversos de drogas" en el que uno puede verificar qué eventos adversos pueden causar otros eventos adversos si toma algún medicamento en particular.
La minería de texto incluye el siguiente flujo de trabajo
De la figura anterior, podemos ver que hasta la extracción de datos, todos los pasos pertenecen a la extracción de texto que identifica la fuente de datos, los extrae y luego los prepara para ser analizados.
Luego aplicando asociación minera tenemos el siguiente modelo
Como podemos ver, algunas marcas de flechas apuntan hacia el círculo naranja y luego una flecha apunta hacia cualquier ADE (evento adverso de drogas) en particular. Si tomamos un ejemplo en el lado inferior izquierdo de la imagen, podemos encontrar apatía, astenia y sentimientos anormales que nos llevan a sentirnos culpables, bueno, uno puede decir que es obvio, es obvio porque como humano puedes interpretar y relacionarte, pero aquí una máquina lo está interpretando y nos está dando el próximo evento adverso del medicamento.
Un ejemplo de la palabra nube es el siguiente
Tabla de comparación entre minería de texto y análisis de texto
A continuación se muestran las listas de puntos, describa las comparaciones entre Text Mining y Text Analytics:
| Bases para la comparación | Extracción de textos | Análisis de texto |
|
Sentido | La minería de texto básicamente está limpiando datos od para que estén disponibles para análisis de texto | Text Analytics está aplicando técnicas estadísticas y de aprendizaje automático para poder predecir / prescribir o inferir cualquier información de los datos extraídos de texto. |
|
Concepto | La minería de texto es una herramienta que ayuda a limpiar los datos. | Text Analytics es el proceso de aplicar los algoritmos. |
|
Marco de referencia | Si hablamos del marco, la minería de texto es similar a ETL (Extract Transform Load), lo que significa que para poder insertar datos en la base de datos, estos pasos se llevan a cabo | Análisis en texto: estos datos se usan para agregar valores a la empresa, por ejemplo, crear nubes de palabras, gráficos de frecuencia de bi-gramos, N-gramos en algunos casos |
|
Idioma | Python y R son las herramientas de minería de texto más famosas que existen para la minería de texto. | Para el análisis de texto, una vez que los datos estén disponibles a nivel de base de datos, podemos usar cualquiera de los software de análisis que existen, incluidos python y R. Otros programas incluyen Power BI, Azure, KNIME, etc. |
|
Ejemplos |
|
|
Conclusión: minería de texto vs análisis de texto
El futuro de la minería de texto y el análisis de texto no solo es aplicable al inglés, sino que también ha habido avances continuos y el uso de herramientas lingüísticas no solo el inglés, otros idiomas también son considerados para el análisis.
El alcance y el futuro de la minería de texto crecerá a medida que haya recursos limitados para analizar otros idiomas.
Text Analytics tiene una gama muy amplia donde se puede aplicar, algunos de los ejemplos de las industrias en las que se puede usar son:
- Monitoreo de redes sociales
- Aplicaciones farmacéuticas / biotecnológicas
- Aplicaciones comerciales y de marketing
Artículo recomendado
Esta ha sido una guía sobre la diferencia entre la minería de texto y la analítica de texto, su significado, comparación directa, diferencias clave, tabla de comparación y conclusión. También puede consultar los siguientes artículos para obtener más información:
- Azure Paas vs Iaas: descubra las diferencias
- Las 3 mejores cosas para aprender sobre minería de datos vs minería de texto
- Conozca las 7 mejores diferencias entre la minería de datos y el análisis de datos
- Business Intelligence vs Machine Learning: cuál es mejor
- Análisis predictivo versus minería de datos: cuál es más útil