ARQUITECTURA E INGENIERIA DE DATOS. Pilares Sólidos para Decisiones Estratégicas

Walter E. Calcagno Lucares

Abril de 2024          Páginas: 448

Código: 11003       ISBN/EAN: 9788441549708

CONTENIDO: Esta obra proporciona una introducción accesible y completa a los conceptos clave, las técnicas y las mejores prácticas en el campo de la arquitectura y la ingeniería de datos, sin la necesidad de conocimientos previos en programación o estadísticas.

Aborda secuencialmente una descripción general de los conceptos clave en la arquitectura de datos, incluidas las definiciones esenciales hasta la descripción de los sistemas de gestión de datos, los modelos de datos, el almacenamiento y la integración de datos.

Se exploran las diferencias entre las bases de datos relacionales y no relacionales, así como las ventajas y desventajas de cada enfoque. También se abordan las consideraciones de seguridad y privacidad en la arquitectura de datos, y se proporcionan pautas para garantizar la protección de la información confidencial.

Luego se adentra en la ingeniería de datos, que se centra en la ingesta de datos, así como en la limpieza, el enriquecimiento y la validación de datos. Ya sea un gerente, un analista de negocios, un consultor o simplemente alguien interesado en aprender más sobre cómo los datos pueden impulsar el éxito empresarial, este libro le proporcionará las habilidades y el conocimiento necesarios para navegar con confianza en el complejo mundo de la arquitectura y la ingeniería de datos.

Walter Calcagno Lucares destaca a nivel latinoamericano como uno de los referentes en herramientas de Inteligencia de Negocios e Inteligencia Artificial aplicada a las soluciones empresariales.

Desde el año 2019 obtiene el premio Microsoft MVP en la categoría Data Platform, destacándose como ponente de primera línea en las distintas conferencias; Power BI Conference, Power BI Days, Global Power Platform, Pass SQL Saturday y Global AI Bootcamp, entre otras actividades como hackatones, 'bootcamps' y jornadas de charlas organizadas por comunidades profesionales de España y Latinoamérica.

Cuenta con las certificaciones MCT, MCP, Data Analyst, Power BI Analyst, Data Architect & Engineering y ejerce como instructor de los cursos de Big Data e Ingeniería de datos para los institutos The Valley en España y Chile y Temixa en Perú. En el año 2018 inicio su propia compañía dedicada a la analítica de datos siendo adquirida en el año 2022 por la firma consultora internacional EY (Ernst & Young), donde actualmente desempeña el rol de especialista en Arquitectura e Ingeniería de Datos colaborando con distintos equipos en las industrias de extracción minera, generación y distribución de energía, comercio logística y 'retail', servicios públicos, gobierno y banca privada, entre otras.

INDICE EXTRACTADO:

Introducción y cómo usar este libro
Introducción
Cómo usar este libro
Por qué decidí escribir este libro
Convenios utilizados en el libro
Ejemplos y recursos del libro

1. ¿Qué es la ciencia de datos?
Definición de ciencia de datos
¿Cómo se llega a esto? Pasar de los datos a la verdad
Pirámide de la sabiduría
Proceso de obtención de sabiduría
La importancia de los patrones en la toma de decisiones basada en datos
La transformación digital
   Propósito de la transformación digital
   Elementos de la transformación digital
   Desafíos y estrategias de implementación
   Futuro de la transformación digital

2. Roles en la ciencia de datos
Roles en la ciencia de datos
   Roles y profesionales en la ciencia de datos
Roles en gobierno de datos
Roles en ejecución y seguimiento de proyectos
Roles en desarrollo de software

3. Preguntas de negocios
Los tomadores de decisiones
   Automatizar la decisión
   Cómo decidir correctamente
La pirámide organizacional
Las preguntas generales de negocios
   Recapitulando sobre preguntas generales de negocios
Los análisis derivados de cada pregunta general
   La inteligencia de negocios
   La analítica avanzada
Resumen

4. El análisis descriptivo de datos
Una breve historia del análisis descriptivo de los datos
   ¿Cómo realizar, entonces, un análisis descriptivo?
Análisis exploratorio de datos
   Medidas de tendencia central
   Medidas de dispersión
   Diagrama de caja y bigotes o box-plot
Análisis de inteligencia de tiempo
   Medidas de acumulación

5. Análisis diagnóstico
Análisis diagnóstico
Elementos de causa y efecto
   Diagrama de Ishikawa
   Diagramas de flujos
Análisis de correlaciones
   Ejemplos de análisis de correlación usando Excel, Power BI y Python
Análisis de probabilidad condicional
   Conceptos básicos de probabilidad
   Probabilidad condicional
   Teorema de Bayes
Introducción a la teoría de juegos
   Equilibrio de Nash
Resumen

6. El análisis predictivo
El análisis predictivo
Fundamentos de aprendizaje automático e inteligencia artificial
   Un poco de historia
   Conceptos generales en IA
Modelos de regresión lineal y análisis en series de tiempo
   Modelos de regresión lineal
   Análisis de series de tiempo
Principios de arquitectura para el aprendizaje automático e inteligencia artificial
   Ciclo de desarrollo y consumo
   Automatización y orquestación
   Integración continua y MLOps
Resumen

7. Análisis prescriptivo
El análisis prescriptivo
   El caso Mercado Libre
Modelos basados en optimización o ajuste matemático
   Programación lineal
   Programación no lineal
Modelos de simulación
   Simulación estocástica
   Simulación determinística
   Simulación de Montecarlo
Modelos de recomendaciones
   Filtrado basado en contenido
   Filtrado basado en el usuario
   Filtrado híbrido
Resumen

8. ¿Qué son los datos?
Los datos
   La paradoja del dato
   Dando valor al dato
   Física y electrónica de datos
   Clasificación primaria de los datos
   Generación y captura de datos
Los metadatos
Los macrodatos
   Una breve historia
   Arquitecturas de macrodatos
Resumen

9. Tipos de datos
Clasificación implícita
   Datos numéricos
   Datos categóricos
Clasificación de tipo informática
Según su forma de almacenamiento físico
   Datos almacenados en filas
   Datos columnares
Según su encriptación y compresión

10. Modelado dimensional de datos
Las bases de datos
   Motores SQL
   Motores NoSQL
   ¿Cuál usar: SQL o NoSQL?
   Plantillas de cálculo
Vistas y procedimientos almacenados
   Vistas
   Consultas anidadas y CTE (Common Table Expressions)
   Procedimientos almacenados o funciones
Modelos estrella y copos de nieve
   Tablas de hechos y granularidad
   Tablas de dimensiones y multidimensionalidad
   Modelos estrella
   Modelos copo de nieve
   Modelos constelación
Resumen

11. Diseñando arquitecturas de datos
La misión de la arquitectura de datos
   Definición y capas de arquitectura
Principales desafíos de la arquitectura de datos
   Enfoque individual o de silos
   Escalabilidad en los datos
   Definición de escalabilidad
Enfoque de integración continua
   Integración continua (CI/CD)
   Las operaciones de datos o DataOps
Las operaciones de machine learning o MLOps
Resumen

12. Diseños principales de arquitecturas de datos
Evolución de los sistemas de almacenamiento analítico
   Los primeros pasos (1887-1990)
   La revolución analítica de los 90
UCAD, unidad centralizada para análisis de datos
   La primera división
   La segunda división, autoservicio y UCAD
El paradigma Data Mesh
   Los productos analíticos
   'Domain Driven Design'
   Productos analíticos orientados al dominio
Dilema 'on-premise' versus nube
   Estrategias de arquitecturas en la nube
   Caminos para la adopción de nube
Resumen

13. Capas de arquitectura
Las siete capas de arquitectura
   Capa de origen e ingesta de datos
   Capa de procesamiento y almacenamiento de datos
   Capa de servicios
   Capa de consumo
   Gobierno de datos
   Seguridad de datos
   Monitoreo y análisis
Diseños de arquitectura
   Alto nivel
   Diseños de detalles
Resumen

14. Ingeniería de datos
Ingeniería de datos
   Las tres primeras capas
   Herramientas de extracción
   Organizando nuestro 'data lake' o 'lakehouse'
Azure Data Factory
   Ejemplo de extracción y carga
Resumen

15. Iteraciones y transformaciones
'Pipelines', iteraciones y parámetros
Elementos clave de ADF
   Control de flujo
   Iteraciones
   Parámetros
   Ejemplo de ADF con parámetros e iteradores
Transformar datos
   Data Flow de ADF
   Power Query
Resumen

16. Ingeniería de datos con Microsoft Fabric
Qué es Microsoft Fabric
   Primeros pasos en Fabric
Capa de orígenes e ingesta
   Fabric Data Factory
   Synapse Stream Analytics
   Capa de almacenamiento o One Lake
   Capa de servicios Spark
   Capa de consumo
Resumen

17. Fundamentos de Azure
Microsoft Azure
   Distribución y nomenclatura global de Azure
   Administración de los servicios de Azure
Servicios en la nube
   Infraestructura como servicio (IaaS)
   Plataforma como servicio (PaaS)
   Software como servicio (SaaS)
   Modelo de responsabilidad compartida
   Principales productos de IaaS en Azure
   Principales productos de PaaS en Azure
   Seguridad y gobierno en Azure
Control de costes y gastos en Azure
   La gran 'pipeline'
   Microsoft Cost Management
Resumen

Índice alfabético