Categories
54cuatro

ETL inverso – La integración como motor del cambio

Dentro de lo que llamamos Integración, existen distintos conceptos, distintas arquitecturas e incluso distintas herramientas a considerar.

Elegir una plataforma de integración que permita capturar la data necesaria para ser utilizada es de vital importancia para lograr usabilidad y obtener valor de nuestra información.

Hemos escrito muchas notas en nuestro blog sobre arquitecturas de integración de datos basadas en eventos (Event Stream). En este caso vamos a analizar como el caso de ETL inverso como flujo de eventos es igualmente importante. En los últimos años, con el crecimiento expansivo de la #analítica, han surgido cientas de herramientas de #Integración de Datos, principalmente impulsadas por el #marketing digital.

Herramientas como Fivetran, Hightouch o la #OpenSource Grouparoo permiten crear un pipeline muy simple, de forma declarativa, de donde extraer informacion de varias fuentes y transportarla hacia un destino que permita utilizar esa data para análisis.

Diferencias en los métodos

Los procesos de ETL tradicionales fueron evolucionando. En la actualidad existen múltiples formas de Extraccion. De las mencionadas anteriormente Hightouch permite sincronizar datos con cualquier herramienta SaaS utilizando SQL, donde la sincronización de la tabla se puede modelar como un flujo de eventos. El modelo seria así:

El resto utilizan Conectores prearmados, adecuándose a distintos métodos como conexiones a #API o por medio de SDK, como el caso de Fivetran:

Como se mencionó mas arriba, este tipo de herramientas son impulsada por el marketing digital y suelen tener una fuente determinada de orígenes y destinos, muy relacionados a usar los datos para la mejora de campañas, customer experience, etc.

La integración en otros segmentos

Cuando vamos a un ambiente corporativo donde las necesidades de integración conlleva la extracción de datos para ser usados en casos de uso distintos al del marketing, apelamos por lo general a Extraer, Transformar y Cargar la informacion. Sin embargo, este proceso también ha cambiado mucho los últimos años. Hemos cambiado #ETL a ELT, y aunque la diferencia parezca solo una letra, en la practica el cambio es grande. En un proceso #ELT los datos sin procesar se Extraen (E) del sistema de origen y se cargan (L) en un almacén de datos o data lake y para luego ser transformados (T).

Esta “pequeña” alteración del proceso hace que los equipos de Integración estén adoptando otro enfoque nuevo, llamado “ETL inverso”.

Que es ETL Inverso

En lineas generales, ETL inverso (o reverse ETL) es solo otra canalización de datos. El ETL inverso es lo que hacen las herramientas arriba mencionadas y algunas mas, como Headsup, Polytomic y Seekwell. Básicamente consiste en mover datos desde un almacén de datos a sistemas de terceros para hacer que los datos estén operativos, a través de conectores prestablecidos, tanto para la extracción como el procesamiento e inserción en el destino.

Conclusión

El enfoque ETL inverso está ayudando a redefinir la plataforma de integración de datos al permitir que los equipos de datos creen pipelines de extremo a extremo eligiendo las herramientas que mejor se adapten a sus casos de uso mediante conectores prestablecidos, creando una plataforma que incluya ETL tradicionales, ELT para estructuras de data lake y event streams para plataformas realtime. Las plataformas de integración deben ser lo suficiente flexibles para lograr una canalización que asegure el transito de datos hacia las fuentes o herramientas mas apropiadas para cumplir con los desafíos de negocios que nos propongan, muchas herramientas provistas por proveedores cloud, otras tantas herramientas open source y muchas otras comerciales nos están permitiendo tener un abanico de posibilidades de gran potencia.


Queres saber mas?

Contactate
Categories
54cuatro

INTELIGENCIA DE LOCALIZACIÓN

Algunas industrias necesitan trabajar con datos basados en análisis demográficos y espaciales, y eso significa no solo combinar datos para la visualización geoespacial, sino también enriquecerlos. Pero combinar estos datos no es tan simple como con otro tipo de informacion.

Que es la inteligencia en la localización?

Este tipo de informacion permite trabajar con ubicaciones de todo tipo para lograr objetivos de negocio. Afecta a distintas industrias, y requieren una manipulación particular según el caso. Vamos a poner algunos ejemplos:

#Telcos: requieren conocer sus instalaciones de cableado de fibra óptica y cobre, para ello utilizan herramientas GIS (geographic information system) que les permiten situar sus cableados en capas dentro del mapa. Este mapa permite tener un control de sus activos, y ademas esa informacion puede ser usada para detectar fallas en la red.

#Retail: la decisión acerca de la nueva ubicación de una nueva tienda puede ser determinada analizando el perfil demográfico para entender como las variables geográficas afectan las interacciones entre prospectos comerciales y negocios. Esta industria requiere de soluciones de #geomarketing.

#Energía: suelen visualizar los activos de petróleo y minería para realizar el seguimiento de la producción por área y por pozo, para lo cual requieren soluciones con mapas interactivos que sirvan la información requerida.

#Logística: buscan optimizar las rutas para lograr ahorros operativos y comerciales, a través de la ecuación de gastar menos combustible recorriendo menos kilómetros y mejorando la experiencia del cliente entregando en menores tiempos. Esta industria ademas de mapas en real time, suelen requerir soluciones de planificación inteligente con algoritmo de selección de rutas.

Como cumplir los requerimientos de estas industrias?

Existen 3 soluciones que #54cuatro puede proveer a través de la #analítica de soluciones basadas en ubicaciones.

ANALÍTICA ESPACIAL

La combinación y el mapeo de datos geoespaciales no es suficiente para una visión real. #54cuatro trabaja los grandes volúmenes de datos y los enriquece con análisis espaciales, agregando métricas como el tiempo de viaje, y otros datos que permiten optimizar el territorio.

ANÁLISIS DEMOGRÁFICO

54cuatro permite enriquecer sus datos combinando, asignando y agregando datos de fuentes externas, de líderes de la industria o de #OpenData, para nutrir los reportes con data demográfica, geográfica y social para el análisis de los clientes.

INTEGRACIÓN GIS

Su sistema de información geográfica o #GIS es tan bueno como los datos que usted maneje. 54cuatro con toda la gama completa de fuentes necesarias para el análisis espacial, desde archivos planos hasta #ESRI y #BigData, y mostrarlo directamente con la tecnología de #BI o visualización deseada.


Contactate

Categories
54cuatro

Porque fracasa la Transformación Digital en algunas empresas

Se asocia inmediatamente la transformación digital, con implementaciones tecnológicas.

En parte es correcto, el proceso de transformación digital requiere que los componentes tecnológicos apoyen cambios en la organización; pero previo a eso existen dos componentes claves.

#Personas y #Procesos.

El foco del cambio tiene que venir por el quiebre de mentalidades clásicas, estáticas, rígidas. Ese cambio debe ser apalancado con procesos ágiles y medibles.

A partir de eso, se podrán implementar soluciones de tecnología que afecten los servicios de fabricación, de atención al cliente, de entrega, etc.

Las empresas tecnológicas lógicamente quieren vender tecnología. Pero realizar ventas sin tener recorridos periodos de maduración que permitan absorber esos nuevos componentes asegura el fracaso de la adopción tecnológica, logrando que no exista transformación alguna en la organización. Cada proceso de transformación debe entender factores externos como el rubro del cliente, la industria, su competencia, sus objetivos e incluso entender la incertidumbre económica, las desaceleraciones globales de consumo, entre otros factores, por que incluso las crisis manifiestan situaciones auspiciosas para la creación y/o modificación de culturas y procesos. También debe entender factores internos, como el tipo de management, la resistencia al cambio, el nivel profesional, roles y responsabilidades.

En vez de chocar contra los obstáculos, es necesario gestionarlos de manera que se derroten a si mismos.

Un cambio fundamental en el proceso es conocer el estadio de Alfabetización de Datos, algo clave para cualquier empresa que aspira a lograr una Digitalización Empresarial, a partir del uso de los datos y la #analítica avanzada. #Gartner recomienda preguntarse lo siguiente:

  • ¿Cuántas personas en la empresa pueden interpretar operaciones estadísticas sin inconvenientes?
  • ¿Cuántos líderes son capaces de construir una estrategia de negocio basándose en números concretos y relevantes?
  • ¿Cuántos gerentes son capaces de explicar claramente el resultado de sus operaciones o procesos utilizando determinados datos?
  • ¿Cuentan con científicos de datos que sean capaces de explicar algoritmos de aprendizaje automático?
  • ¿Cuántos de sus clientes tienen la capacidad de apreciar e interiorizar la esencia de los datos que comparte con ellos?

«Las #organizaciones no solo deben educar a sus #colaboradores para que hagan uso de los datos en la producción de soluciones, productos o servicios para garantizar que su entendimiento les ayude a alcanzar sus metas; también deben asegurarse de que al interior de la organización todos hablen el mismo lenguaje de datos para desarrollar una comunidad que se retroalimente para ser más competitiva», afirma Donald Feinberg VP de Gartner.

Con todo estas variables sobre la mesa, es necesario efectuar un programa que permita adoptar nuevas culturas orientadas a la colaboración y la mejora continua, pulir procesos o incluso automatizarlos, e implementar componentes tecnológicos que aceleren los cambios.

Contactate

    Por favor, demuestra que eres humano mediante la selección el coche.