Introducción a Data Lake vs Data Warehouse
Data Lake vs Data Warehouse son los términos que se usan indistintamente, pero existen diferencias entre ambos términos. Hemos presentado el siguiente diagrama para comprender la diferencia de alto nivel entre estos dos y muy pronto iremos en detalle para cada uno de ellos.
¿Qué es Data Lake?
Un lago de datos es un tipo de repositorio de almacenamiento que consta solo de datos sin formato en formato estructurado, semiestructurado y no estructurado. Los científicos de datos y los ingenieros de aprendizaje automático utilizan principalmente el lago de datos, ya que les ayuda a responder preguntas que aún no se han respondido o tal vez a crear una pregunta que aún no se conoce. Contiene una gran cantidad de datos con diferentes tipos y cuando se integran, resultan ser muy útiles en términos de modelado predictivo que se utiliza principalmente para construir modelos de aprendizaje automático.
¿Qué es un almacén de datos?
Un almacén de datos es una ubicación centralizada para almacenar los datos transformados que se hacen en un formato estructurado antes de almacenarlos en el almacén de datos. Un almacén de datos puede tener datos de múltiples fuentes de datos que se cargan usando el proceso ETL en el almacén y luego se usan para fines de Business Intelligence.
Comparación cara a cara entre Data Lake y Data Warehouse (infografía)
A continuación se muestran las 14 diferencias principales entre Data Lake y Data Warehouse 
Diferencias clave
A continuación se detallan las principales diferencias entre el lago de datos y el almacén de datos:
- Consiste en datos estructurados y no estructurados de diferentes plataformas, como sensores, aplicaciones y sitios web, etc. Consiste principalmente en datos relacionales de RDBMS, sistemas DBMS y otras bases de datos y aplicaciones operativas.
- Data Lake es un procesamiento de esquema en lectura. El almacén de datos es el procesamiento de esquema en escritura.
- Es muy ágil Es menos ágil
- La configuración es fácil y puede adaptarse a los cambios. Tiene una configuración fija y es muy difícil de cambiar.
- Es utilizado principalmente por científicos de IA y profesionales de Machine Learning. Está siendo utilizado por profesionales de negocios.
Tabla de comparación entre Data Lake y Data Warehouse:
Analicemos la principal diferencia entre Data Lake y Data Warehouse
| Caracteristicas | Lago de datos | Almacén de datos |
| Almacenamiento | Los datos se mantienen en su forma cruda en Data Lake y aquí todos los datos se mantienen independientemente de la fuente de los datos. Solo se transforman en otras formas siempre que sea necesario. | Data Warehouse se compone de datos que se extraen de sistemas de métricas transaccionales y de otro tipo. Aquí los datos no están en forma cruda y siempre se transforman y limpian. |
| Uso y Propósito | El objetivo principal de Data Lake son los científicos de datos, los desarrolladores de Big Data y los ingenieros de aprendizaje automático que deben realizar un análisis profundo para crear modelos para el negocio, como el modelado predictivo. | El objetivo principal de Data Warehouse son los usuarios operativos, ya que estos datos están en un formato estructurado y pueden proporcionar informes listos para generar. Por lo tanto, se utilizan principalmente para la inteligencia empresarial. |
| Entradas de datos | Las principales entradas a Data Lake son todo tipo de datos, como datos estructurados, semiestructurados y no estructurados. Estos datos residen en el lago de datos en su forma original. | Las principales entradas al almacén de datos son datos estructurados que provienen de sistemas transaccionales y de métricas que luego se organizan en forma de esquemas. |
| Calidad de datos | Comprende datos sin procesar que pueden o no estar curados. | Consiste en datos seleccionados que están centralizados y listos para ser demandados con fines de análisis e inteligencia empresarial. |
| Normalización | Aquí los datos no están en forma normalizada. | Esquemas desnormalizados |
| Historia | Las tecnologías que se utilizan en lagos de datos como Hadoop, Machine Learning son relativamente nuevas en comparación con el almacén de datos. | Aquí la tecnología que se utiliza para un almacén de datos es más antigua. |
| Cronología de los datos | Un lago de datos puede tener todo tipo de datos y puede usarse teniendo presente el pasado, el presente y las perspectivas. | En lo que respecta a Data Warehouse, aquí se dedica la mayor parte del tiempo a analizar varias fuentes de datos. |
| Tiempo de procesamiento | Aquí, el tiempo de procesamiento al analizar y obtener resultados de los datos de Lake es mucho menor que el de Data Warehouse porque aquí los datos se almacenan en forma de datos sin procesar y no están en formato transformado y, como resultado, cortamos el tiempo eso podría estar gastando en la transformación de los datos. Podemos recoger los datos tal como están y hacer una limpieza básica y comenzar a construir nuestros modelos. | En el caso del almacén de datos, el tiempo que se consume para procesar es mayor en comparación con el lago de datos. La razón de esto es que los datos en cualquier almacén de datos primero deben transformarse y luego pueden analizarse. |
| Costo de almacenamiento | El costo de almacenamiento aquí en las tecnologías del lago de datos es relativamente más bajo que el del almacén de datos y también consume menos tiempo. | El costo de almacenamiento en las tecnologías de almacenamiento de datos es mayor en comparación con el lago de datos. Esto se debe a que necesita más almacenamiento para los datos transformados, ya que primero necesita almacenar los datos sin procesar y luego transformarlos para asignar varios campos de acuerdo con la estructura del Data Warehouse. |
| Compatibilidad | Aquí los datos siempre se mantienen en su formato sin procesar y solo se transforman cuando es necesario o cuando están listos para ser utilizados. | Aquí los datos se almacenan en formato transformado y podemos enfrentar problemas cuando intentamos hacer algún cambio. |
| Accesibilidad | Los datos dentro del lago de datos son altamente accesibles y pueden actualizarse rápidamente. | Los datos dentro del almacén de datos son más complicados y se requiere un mayor costo para realizar cualquier cambio, la accesibilidad también está restringida solo a usuarios autorizados. |
| Posición del esquema | El esquema se crea principalmente después de que se almacenan los datos. Esto trae una gran agilidad. | Aquí el esquema se crea principalmente antes del almacenamiento de datos. |
| Proceso de procesamiento | El lago de datos utiliza el proceso ELT, es decir, Extraer, Cargar y Transformar. | El almacén de datos utiliza el enfoque tradicional de ETL, es decir, extraer, transformar y cargar. |
| Beneficios | El lago de datos conduce a nuevos inventos ya que la integración reúne diferentes tipos de datos y también brinda respuestas a muchas preguntas sin respuesta. | La mayoría de los usuarios de la organización están involucrados en actividades operativas y el almacén de datos proporciona una plataforma brillante para crear informes y métricas sobre los datos transformados. |
Conclusión
En esta publicación, aprendimos sobre Data Lakes vs Data Warehouse. También seguimos adelante y comparamos ambos basados en diferentes parámetros. Esto debería ayudar a cualquier alumno a tener una idea básica detrás de las tecnologías que admiten Data Lake y Data Warehouse.
Artículos recomendados
Esta ha sido una guía de la principal diferencia entre Data Lake y Data Warehouse. Aquí hemos discutido las diferencias clave de Data Lake vs Data Warehouse con infografías y tabla de comparación. También puede echar un vistazo a los siguientes artículos para obtener más información:
- Scrum vs Waterfall - Diferencias principales
- MySQL vs MySQLi: ¿cuál es mejor?
- Microprocesador vs Microcontrolador
- Preguntas de la entrevista de modelado de datos