Categories
54cuatro

Manejar Synapse con Azure DevOps

Introducción

Synapse es una plataforma de #LakeHouse de #Azure. Permite armar un #datawarehouse, un #datalake e incluso correr scripts con desarrollos de #ML.

#AzureDevOps es un producto de Microsoft que proporciona funciones de control de versiones, informes, gestión de requisitos, gestión de proyectos, compilaciones automatizadas, pruebas y gestión de versiones.

Para la administración de los desarrollos que corren en la plataforma de #Synapse, es de vital importancia entender el enfoque CI/CD para un pipeline de data.

El enfoque sobre cómo manejar CI/CD con Azure Synapse difiere bastante de su enfoque de “desarrollo de software”. La única rama que puede usar para implementar su código es la rama de publicación (workspace_publish). Esta rama se creará/actualizará cuando presione publicar en su interfaz de usuario de Synapse, después de realizar cualquier cambio.

La rama de trabajo real, donde se integran todas las solicitudes de extracción para implementar nuevas funciones, es la rama de colaboración (rama principal). Esta es también la base para sus publicaciones automatizadas.

El pipeline CI

La construcción ya está prácticamente hecha, porque todo ya está preparado como una solución lista para la implementación. Esta es la razón por la que solo necesita empaquetar su código con fines de trazabilidad y reutilización.

El pipeline CD

Esta tarea también es bastante fácil, porque puede usar una tarea predefinida llamada “Implementación del espacio de trabajo de Synapse”. Aquí solo necesita insertar su Workspace de destino, autenticarse a través de Service Connection (Suscripción). Además, debe desactivar los disparadores para una compilación limpia, pero también hay una tarea previa a la compilación para usar en Azure DevOps llamada “toggle-triggers-dev”.

Azure Synapse Analytics Security, Governance, and CI / CD

CI/CD

Y ahora ambos juntos en una canalización yaml completamente funcional. El activador siempre se activa cuando se publica una nueva plantilla de Synapse en nuestra rama de publicación.

Categories
54cuatro

Conceptos básicos de la transformación digital basada en datos para las empresas

Los temas de las transformaciones varían desde la transformación de la gestión de ventas, de la planificación estratégica hasta la revisión de precios y modelos de negocio.  

Sin embargo, una denominación común que se vuelve cada vez más clara entre todos esos esfuerzos es utilizar mejor los datos y la tecnología en su práctica comercial, para impulsar una mayor competitividad y alcanzar metas significativamente más ambiciosas.  

Con las palabras de moda sobre #Analytics (análisis), Machine Learning (#ML), Inteligencia Artificial (#AI) y sus interacciones con las empresas hoy en día, los conceptos básicos de una transformación impulsada por datos (Data-Driven model) pueden no estar siempre claros.  

Este artículo tiene como objetivo proporcionar algunos conocimientos fundamentales sobre el tema. 

¿Qué significa Data-Driven Model o “transformación basada en datos”? 

Cuando decimos “transformación impulsada por datos”, se refiere a cualquier iniciativa en una organización que implique un mayor o mejor uso de los datos, y la analítica a menudo aprovecha la nueva tecnología introducida.  

Los datos son la fuente de análisis y modelado que, a su vez, respaldará la extracción de información empresarial posterior o la automatización de operaciones. Dependiendo del caso de uso específico para la transformación, los requisitos de datos en términos de variedad de datos, volumen, granularidad y actualidad, etc. serán diferentes.  

Dada la entrada de datos proporcionada, se pueden aplicar análisis tradicionales (como análisis estadístico descriptivo) o algoritmos avanzados como AI / ML para ayudar a cumplir con el objetivo de los casos de uso, ya sea predicción de adquisición de clientes, pronóstico de ingresos, predicción de rotación de empleados u operaciones, casos de uso orientados como la utilización de #RPA (Robotic Process Automation) para la automatización del proceso de reclamaciones de seguros, etc.  

En una transformación, las tecnologías digitales deben participar para almacenar, transformar datos y realizar modelos predictivos, generar conocimientos o realizar automatización operativa; estos son ejemplos de las tareas más básicas y comunes para las que se puede utilizar la tecnología digital.  

Lo que implica una transformación puede variar mucho de un escenario a otro, según el objetivo de la transformación, el alcance del cambio, las tecnologías y los socios comerciales involucrados. Para una transformación exitosa, a menudo se requieren cambios en otras áreas, como la estructura organizativa, la cultura, las habilidades y capacidades de los trabajadores, además de los aspectos técnicos. 

¿Por que se persigue ampliamente? 

Los beneficios de la toma de decisiones y la transformación basadas en datos se han visto y probado ampliamente en todos los dominios e industrias.  Éstos pueden ser tanto a corto como a largo plazo, y se manifiestan de diferentes formas:  

  • Apoyar una mejor toma de decisiones que puede conducir a un rendimiento comercial directo, por ejemplo, utilizando la segmentación de clientes predictiva basada en datos y el marketing dirigido para aumentar la adquisición de clientes, el crecimiento de la demanda u otros KPI de rendimiento comercial (indicador clave de rendimiento) 
  • Impulse una mayor productividad y eficiencia operativa como, por ejemplo, utilizando RPA para automatizar el proceso de reclamos de seguros o la gestión del inventario del almacén.  
  • También otros beneficios comerciales como ser la satisfacción del cliente, la retención de empleados, y muchos más.  

ERRORES COMUNES 

Aunque los detalles de la transformación pueden variar mucho de un entorno a otro, existen algunos desafíos y trampas que se ven comúnmente: 

  • Calidad y compatibilidad de datos  

Este es el desafío más común al realizar una transformación basada en datos y, sin embargo, se descuida fácilmente. Con la naturaleza básica de las tareas relacionadas con el almacenamiento y la gestión de datos, a menudo realizadas por el personal de nivel junior en el departamento de TI, este aspecto a menudo se invierte poco entre todos los proyectos “grandes” o “brillantes” de una organización.  

Dicho esto, los datos son la entrada y el “combustible” para iniciar cualquier transformación impulsada por los datos. “Cada cosa en su lugar”, como decimos, no se puede realizar ningún análisis de calidad o trabajo de modelado de AI / ML si la calidad de los datos no está ahí.  

Al diseñar la transformación y estimar el resultado, una auditoría completa y detallada del estado de los datos debe ser un elemento imprescindible, que se puede realizar desde la fase de preparación de una transformación.  

A lo largo del viaje de la transformación, tener una hoja de ruta para mejorar la calidad de los datos a menudo también es un paso necesario.  

  • Sistemas de datos y TI dispares + áreas organizativas en silos.  

Una transformación impulsada por datos a menudo puede abarcar múltiples funciones comerciales de la organización. Tomando como ejemplo la transformación de la digitalización de la planificación de la demanda (esta es una operación comercial clave en cualquier empresa de productos), para esta transformación, los datos requeridos tendrán origen de bastantes funciones: historial de demanda del cliente de la cadena de suministro, datos de planificación de ventas, nuevo producto ofreciendo datos de I + D, por nombrar sólo algunos. Estos conjuntos de datos normalmente residen en diferentes partes de la organización en diferentes sistemas de TI, no necesariamente conectados y sincronizados entre sí. 

Comprender los matices de diferentes conjuntos de datos de diferentes unidades de negocio, recopilar y armonizar múltiples fuentes de datos para configurarlas para que sean compatibles y estén conectadas entre sí, es el desafío principal de toda empresa. Sin embargo, este aspecto es una condición suficiente para iniciar una transformación multifuncional. 

  • Adopción e integración de nuevas tecnologías  

La introducción de nueva tecnología es ciertamente inevitable en una transformación impulsada por datos. Con multitud de factores de barrera, desde aspectos tecnológicos hasta aspectos organizativos y psicológicos humanos, la adopción de una nueva tecnología en el flujo de trabajo empresarial existente nunca es fácil en ninguna organización. La nueva plataforma o herramienta de datos debe integrarse con el entorno de TI existente; Además de eso, se necesita la adopción de la herramienta con un uso eficaz y eficiente de la nueva tecnología, pero a menudo es difícil de lograr.  

  • Centrarse en la tecnología sin crear un caso de uso empresarial general 

La tecnología puede crear cambios revolucionarios en las operaciones comerciales, pero por sí sola no genera valor. La entrega general de un resultado de transformación se comprenderá si faltan cambios suficientes en la infraestructura comercial de soporte; pueden ser procesos comerciales obsoletos o capacidades de los trabajadores u operaciones comerciales ascendentes, etc.  

Utilizando la transformación de la digitalización de la planificación empresarial para una instancia nuevamente, la planificación exitosa de un extremo a otro requiere no sólo la entrada de pronóstico de demanda que se realizará con la tecnología AI / ML, sino también un proceso de negocios de planificación renovado para adaptarse al rol de los planificadores con una nueva herramienta de planificación. 

Además, también se requieren nuevas habilidades del planificador, como evaluar AI / ML y construir un consenso humano entre las funciones, etc., para completar toda la transformación de la planificación.  

La sobre indexación del valor de la nueva tecnología mientras se descuida la intervención humana, la gobernanza y la conducta empresarial en general puede comprometer fácilmente el valor potencial para entregar o incluso dañar el negocio. 

  • Se necesitan nuevos roles, capacidades, cultura organizacional y cambio de mentalidad. 

Incluso cuando se han atendido todos los aspectos técnicos de una transformación, para que genere un beneficio sostenido a lo largo del tiempo, la mayoría de las veces es necesario establecer nuevos roles, capacidades, cultura y mentalidad de la organización.  

Cambiar la cultura organizacional, por ejemplo, cultivar una práctica más impulsada por los datos (versus la experiencia y el instinto), y una mentalidad para usar la tecnología para mejorar la eficacia operativa e innovar, etc.