Etiqueta: BigData

Categories
54cuatro

Caso de Uso: Monitoreo de Animales

Resumen ejecutivo

Alcanzar el objetivo de desarrollo sostenible de la ONU de un “mundo con hambre cero” para 2030 requerirá ser más productivo, eficiente, sostenible, inclusivo, transparente y resiliente. Este objetivo requiere una transformación urgente del sistema actual de agricultura, ganadería y alimentación en general.

La Industria 4.0 está transformado muchas industrias con tecnologías disruptivas como #Blockchain, Internet de las Cosas, Inteligencia Artificial. En el sector agrícola y alimentario #SmartAgro, la difusión de tecnologías móviles, #BigData, #IoT y #Edge computing, ya están mejorando el acceso de los pequeños productores a desarrollos innovadores que les mejora su operatoria.

En #54cuatro estamos convencidos que el gran desafío de empresas como la nuestra es lograr democratizar el acceso a estas tecnologías que hasta hace poco eran exclusividad de grandes corporaciones.

En el mundo existen distintas soluciones que permiten monitorear todo tipo de elementos y por supuesto, animales. Se pueden monitorear animales de todos los tipos, desde vacas, toros, ovejas, caballos, inclusive animales salvajes o de agua.

Así como existe la comunicación entre equipos industriales de tipo #M2M (machine to machine), asumimos este desafío de armar un sistema de comunicaciones que denominamos #A2M (Animal to Machine).

Nuestra metodología a diferencia de productos standard, implica un desarrollo a medida teniendo en cuenta problemáticas puntuales.

En esta nota vamos a desarrollar el enfoque utilizado para el proyecto de Monitoreo de Búfalos en la provincia de Chaco, República Argentina.

Problemática

La situación que encontramos tiene que ver con perdidas económicas de unos USD 300.000 debido a la falla en la localización de los animales y la falla en la detección de celo, lo que generaba que las Bufalas no fuesen preñadas. La complejidad adicional provenía del hecho que el campo es de 6.000 hectáreas.

Análisis

Rodeo de los bufalos

Monitorear en granjas pequeñas y delimitadas es simple, pero ante tanto terreno tuvimos que cambiar el enfoque del proyecto. Lo primero que hicimos fue investigar el comportamiento del bubalino. Gracias a distintas entidades como el International Buffalo Federation, detectamos los siguientes patrones:

•El bubalino tiene 150 glándulas sudoríparas por cm2 a diferencia de la vaca que tiene 1500. Esto hace que necesite si o si del agua para enfriarse. Esta informacion nos sirve para detectar zonas de ubicación frecuente basados en la temperatura.

•Vive en promedio 25 años a diferencia de la vaca que vive 10, y puede dar 16 crías contra 6 que da la vaca. Esto nos marca la importancia de ubicar a las hembras para evitar perder de ciclos de celo.

•Cuando la Búfala esta en celo se deja perseguir por el macho o lo deja que se apoye sobre la grupa. Podemos detectar síntomas de celo teniendo en cuenta el comportamiento de sus movimientos.

•El animal enfermo o con riesgo de muerte, se aleja del grupo. Esto es importante para controlar la causa de mortandad y recuperar los sensores.

Diseño de Solución

Con esos patrones comenzamos a diseñar 3 cosas. Por un lado la cobertura de red para detectar la posición del animal. En segundo lugar el tipo de sensor, dado que por como se comporta el animal, no podíamos usar un sensor común porque no aguantaría tanto tiempo sumergido, porque el animal se lo rozaría contra arboles para quitárselo, etc. Y por otro lado, patrones de reportes que nos permitan detectar ubicación, posibles condiciones de celo, enfermedad, etc.

Diseñamos el sensor basados en el comportamiento. Lo que hicimos fue probar diseños sobre modelos 3D.

Para la conectividad instalamos:

• 3 Mástiles de comunicaciones a 3 vientos completos de 36 Metros de alto, estrella antirotor, baliza. Obra civil: anclajes elevados, cerco de protección de campo con puertas, y ahi montamos 3 Gateways LoRa.

• Radioenlaces para transporte IP Ubiquiti y Routers Mikrotik PoE en Gabinetes de exterior de 10U, Autónomos mediante Energía solar (paneles y baterías de 100ah).

Parte del modelo impreso 3D

Cada animal se transformo en un nodo de trasmision. Usamos la plataforma de geolocalización desarrollada por Odea para determinar el posicionamiento y cruzar los datos del #GPS con los datos del Ear Tag que contiene:

  • UID Stick
  • ID Posicionamiento
  • Nombre
  • Genero
  • Fecha Nacimiento
  • Posición
  • Estado Servicio
  • Vacunación
  • Peso

Adicionalmente incorporamos otros tipos de Datapoints que eran de nuestro interés, como por ejemplo factores climáticos y cronogramas de sanidad.

App mobile con seguimiento de cada animal

Finalmente para reducir los tiempos de detección del estado del animal, adoptamos un dron dotado con plan de vuelo, plan de vuelo multiespectral, y con un gran rango visual, gracias a la gente de Runco quienes nos ayudaron a encontrar el mejor equipo para lo que necesitábamos.

Vista del dron en RGB y NDVI

Resultados

Con la implementación de nuestra solución, la plataforma se estará dotando de insights provenientes de cada nodo, lo que nutrirá nuestros catálogos de datos y nos permitirán ir ajustando algoritmos de detección de patrones. Esos patrones detectados deben posibilitar algunos resultados claves:

  • Encontrar a cada animal
  • Detectar señales de celo
  • Entender el comportamiento según temperatura, humedad, lluvias, etc.
  • Optimizar el control del peso de cada animal y la alimentación en base a los controles.
  • Disminuir riesgos y mortandad
[popup_anything id=”2076″]

Categories
54cuatro

SRE: Observabilidad y Monitoreo

observabilidad

Nota publicada originalmente por el CTO de #54cuatro en Linkedin.

La #observabilidad es una característica dentro de un sistema de control que permite dar con una solución prediseñada a un problema que surja. Dentro del mundo TI, la observabilidad de un sistema permite evaluar resultados para llegar a conclusiones sobre los estados de un recurso.

Si bien han surgido distintos puntos de vista sobre la definición, a partir de la masificación de #DevOps (y #SRE), el crecimiento de las instalaciones #Cloud, el uso intensivo que hacen las plataformas de #bigdata y la adopción de #Contenedores, la observabilidad se volvió una palabra en constante crecimiento.

A diferencia de las actividades de monitoreo tradicionales, donde el objetivo es “observar” el estado, la salud y #performance de #Redes, #Servidores, #Servicios, #Redes, Aplicaciones, etc para luego tomar acciones, la observabilidad podriamos definirla como un componente mas del diseño de una aplicación que permite tener en cuenta todos los elementos de la misma para saber como monitorearlas y operarlas.

Al igual que el análisis de la seguridad en nuevos desarrollos (#DevSecOps), es de esperar que también se realicen los diseños de monitoreo de los componentes en etapas tempranas de la construcción del software y no al momento de la implementación.

Sin ir a mas, en el sitio de SRE de Google, indican que la operación exitosa de un servicio implica una amplia gama de actividades: desarrollar sistemas de monitoreo, capacidad de planificación, responder a incidentes, asegurar que se aborden las causas fundamentales de las interrupciones, y ponen esta pirámide que permite ver los elementos que intervienen para hacer que un servicio sea confiable, desde el más básico hasta el más avanzado.

No hay texto alternativo para esta imagen

Diseñar y desarrollar aplicaciones “observables” permite ser proactivo y prever los posibles puntos de fallas, con el objetivo de lograr rápidas recuperaciones ante fallos y administrar de forma eficiente el capacity planning y junto a ello la performance.

Podemos pensar un sistema observable a partir del control de todas las partes, conociendo como se desarrolló, como estará montado y como se comportará, podremos definir el monitoreo horizontal (servidores, redes, transacciones, logs) y el monitoreo vertical (experiencia de usuario, tracing, debug) mas acorde. El Monitoreo y la Observabilidad son cosas diferentes y también complementarios.

De hecho, el concepto de observabilidad no tiene que estar ligado al incidente. Una aplicación observable puede reportar datos que permitan mejorar la arquitectura, la performance, el escalamiento automático sin la necesidad que haya un perjuicio o incidencia dentro de la plataforma.

Para ir finalizando, podemos decir que debemos de adoptar una estrategia que consista en diseñar aplicaciones observables desde su nacimiento, diseñando de que manera vamos a controlar y monitorear la nueva aplicación, entendiendo que componentes vamos a usar y cuales son las mejores métodos y/o herramientas para respaldas la salud de esas aplicaciones; de allí el nacimiento de grandes conjuntos de tools que funcionan muy bien juntas. Se me vienen a la cabeza soluciones basadas en #ELK, en #Influx o la dupla #Prometheus y #Grafana, básicamente Prometheus recopila datos y métricas de diferentes servicios y los almacena de acuerdo con un identificador único, el nombre de la métrica, y una marca de tiempo (en una base time series) y Grafana se encarga de realizar hermosos dashboards donde mirar dicha información. Toda esta informacion puede ser “cruzada” con aquellos datos adicionales que tengamos configurada en nueva navaja suiza del monitoreo como las experiencias de los usuarios y con toda la correlación de los eventos determinar que todos los servicios de monitoreo estén vivos y saludables.

Video de Monitoreo de Infra

No hay texto alternativo para esta imagen

Video de Monitoreo #Netflow

Como siempre… Gracias por leerme! Hasta la próxima!

[popup_anything id=”2076″]

Categories
54cuatro-EN

What DataOps solves

We already made entries of #DataOps (data operations), but to refresh the memory we say: it is the combination of people, processes and technology that allow us to handle data that is useful for #developers, #datascientist, #operations, applications and tools (eg #artificial #intelligence) , allowing to channel the data, keep them safe during their life cycle and configure a #governance over them.

The faster we manipulate and deliver the data, the faster the #growth for the business will be due to the use of the information, therefore, its objective is to promote data management practices and procedures that improve the speed and accuracy of the analysis.

The idea of ​​this post is to make a short-list with 5 basic problems that are solved with the implementation of DataOps in an organization.

Let’s see what DataOps solves:

#Bug fixes: In addition to improving the agility of development processes, DataOps has the power to boost time to respond to errors and defects by significantly reducing times.

#Efficiency: in DataOps, data specialists and developers work together and, therefore, the flow of information is horizontal. Instead of comparing information in weekly or monthly meetings, the exchange occurs regularly, which significantly improves communication efficiency and the final results.

#Objectives: DataOps provides developers and specialists in real-time data on the performance of their systems.

#DataSilos: DataOps faces the data silos that are generated in different departments or management of a company, many groups see their operations as inviolable “fifths” in which each silo is a barrier to success to implement better management strategies of data. The implementation of a correct governance is crucial for obtaining all the data sources that the organization requires to meet its business objectives.

#Skills: It is a fact that data professionals do not abound. The lack of availability of the right people to manage #BigData & #BI projects means that the projects are not executed in a timely manner, or worse, that they fail. It is a mistake to put more data on a computer that does not have the knowledge and resources to handle it.

We invite you to join our Linkedin Group of “DataOps in Spanish”

[popup_anything id=”2095″]

Categories
54cuatro

Que soluciona DataOps

Ya hicimos entradas de #DataOps (operaciones de datos), pero para refrescar la memoria decimos: es la conjunción de personas, procesos y tecnología que permiten manejar datos que sean de utilidad para #desarrolladores, #datascientist, #operaciones, #aplicaciones y herramientas (ej #inteligencia #artificial), permitiendo canalizar los datos, mantenerlos seguros durante su ciclo de vida y configurar una #gobernanza sobre los mismos.

Mientras mas rapido manipulemos y entreguemos los datos, mas rápido sera el crecimiento para el negocio por el uso de la informacion, por lo tanto, su objetivo es promover prácticas y procedimientos de gestión de datos que mejoren la velocidad y precisión de los análisis.

Short-list con 5 problemáticas básicas que son resueltas con la implementación de DataOps en una organización.

Veamos que nos resuelve DataOps:

#Corrección de errores: además de mejorar la agilidad de los procesos de desarrollo, DataOps tiene el poder de impulsar el tiempo para responder a errores y defectos reduciendo los tiempos significativamente.

#Eficiencia: en DataOps, los especialistas de datos y los desarrolladores trabajan juntos y, por lo tanto, el flujo de información es horizontal. En lugar de comparar información en reuniones semanales o mensuales, el intercambio ocurre regularmente, lo que mejora significativamente la eficiencia comunicacional y los resultados finales.

#Objetivos: DataOps proporciona a desarrolladores y especialistas en datos en tiempo real sobre el rendimiento de sus sistemas.

#Silos de datos : DataOps enfrenta a los silos de datos que se generan en distintos departamentos o gerencias de una empresa, muchos grupos ven sus operaciones como “quintas” inviolables en las cuales cada silo es una barrera para el éxito para implementar mejores estrategias de administración de datos. La implementación de un governance correcto es crucial para la obtención de todas las fuentes de datos que requiere la organización para cumplir con sus objetivos de negocios.

#Skills: es un hecho que los profesionales de datos no abundan. La falta de disponibilidad de las personas adecuadas para administrar proyectos de #BigData y #BI (#BusinessAnalytics) significa que los proyectos no sean ejecutados en tiempo y forma, o peor aun, que fallen. Es un error poner más datos en un equipo que no tiene el conocimiento y los recursos para manejarlos.

Vea nuestro workshop de DataOps

Los invitamos a unirse a nuestro Grupo en Linkedin de “DataOps en Español“

[popup_anything id=”2076″]

Categories
54cuatro

El triatlon y su relación con el mercado laboral de IT

Hace unos años atrás los triatletas no eran #triatletas de nacimiento. Para los que no saben, el triatlon como deporte es relativamente joven. El #triatlon #Ironman, nació en 1978, del desafío acerca de sus cualidades como atletas de un #nadador, un #ciclista y un #maratonista. Y la International Triathlon Union que regula el triatlon olímpico fue fundada en 1989. Hasta hace poco tiempo, las competencias eran ganadas por ex nadadores devenidos en triatletas, ex ciclistas devenidos en triatletas o ex maratonistas devenidos en triatletas.

Gonzalo D’Angelo – CTO de 54cuatro y 3x Ironman


Con el pasar de los años naciendo deportistas formados como triatletas desde su infancia. Su fortaleza no reside en nadar, en pedalear o en correr, de forma individual, sino en ejecutar las 3 disciplinas de forma eficaz, permitiendo generar marcas asombrosas en cada carrera.
Y porque esta introducción? En la tecnología esta pasando algo similar. Ex sysadmins devenidos en #DevOps. Ex administradores de storage transformados en Cloud Specialist. Ex #DBA que mutaron a roles de #BigData. Ni que hablar de los programadores. Con el auge de #Python y #R, muchos fueron variando sus perfiles hacia este lenguaje.


Todos sabemos el déficit de profesionales de IT, pero también sabemos que es necesario lograr perfiles de especialistas en poco tiempo. La industria de los videojuegos crece YoY de manera sustancial, una demanda que crece por muchos sobre la oferta de recursos. De igual manera, la industria basada en datos, crece al ritmo de la generación de datos. Las necesidades de recursos como #DataEngineers y #DataScientist son cada vez mayores. Incluso gracias al auge del análisis de informacion, se han sumado al IT tradicional muchos especialistas en estadísticas (desde matemáticos hasta economistas) que han logrado aportar un gran valor a la generación de algoritmos.

Ni que hablar la unión de los mundos físicos y lógicos, que vienen de la mano de las tecnologías 4.0. Electrónica, Robótica, Seguridad Informática, Desarrollo, Análisis de datos. Lo que hasta hace poco eran actividades con algunos puntos de contacto hoy son un subconjunto en el marco de la revolución 4.0.

Industria 4.0 (Monty Rakusen / Getty)

Entidades como el #ITBA o #DigitalHouse vienen haciendo un trabajo estupendo, aggiornando su curricula, desarrollando programas específicos, pero es necesario habilitar de forma inmediata la especialización de la formación desde etapas tempranas para generar nuevos Ingenieros, con dotes de #Desarrolladores, #Ingenieros y Cientistas de Datos, Especialistas de Seguridad, ligados de forma temprana a Ingenieros eléctricos, civiles, en robótica, para que las industrias puedan lograr cubrir la demanda de profesionales; y porque no también pensar en Ingenieros en Videojuegos o en Industria 4.0.

[popup_anything id=”2076″]

Categories
54cuatro

Entendiendo Industria 4.0

El ultimo mes estuve trabajando con varios clientes en proyectos industriales en Buenos Aires, Queretaro, Puebla, Monterrey y Saltillo, la gran cantidad de charlas y recorridas me parecieron una buena oportunidad para escribir una breve reseña de Industria 4.0 y todo lo que trae acarreado este nuevo concepto.

Historia y Concepto:

El concepto de #Industria4.0 nació en #Alemania, y suele ser mencionado también como cuarta revolución industrial, #ciberindustria o industria inteligente. Se espera que la industria 4.0 sea capaz de impulsar cambios sociales al nivel de la primera revolución industrial y las maquinas a vapor, la producción en masa de la segunda, y la electrónica e informática que prolifero en la tercera.

Mark Watson, director de #IHS lo describe de esta manera: “El desafío para la cuarta revolución industrial es el desarrollo de software y sistemas de análisis que convierten el diluvio de datos producidos por las fábricas inteligentes en información útil y valiosa.”

Detalle del significado:

La Industria 4.0 combina la infraestructura física propia de la fabrica tradicional con software, sensores, tecnología de comunicaciones, y analítica. Industria 4.0 viene siendo liderada por las automotrices y supondrá un nuevo modelo de manufactura orientados por la adopción de #IoT (Internet of Things) y #CPS (Cyber-Physical Systems). Esta integración generara cambios horizontales que afectaran a la cadena de valor y cambios verticales que irán desde la sensorización de los parámetros de cada proceso hasta el cambio en la ejecución de toma de decisiones; motivo por el cual, las tecnologías de Big Data cobran principal relevancia dado que son las que dotan de inteligencia a los sistemas que permiten detectar anomalías, predecir comportamientos, simular procesos industriales (y optimizarlos), generar procesos autónomos que incluso puedan contar con tecnología de aprendizaje.

Sabemos que las fabricas tendrán las siguientes características:

  • Automatización de sus procesos industriales
  • Conectada para enviar la informacion de sus ejecuciones
  • Inteligencia para procesar los datos
  • Flexibilidad para adaptarse a los cambios
  • Sostenible respecto al uso de recursos
  • Coordinada por humanos

Las industrias existentes o nuevas que sean consideradas 4.0 deben tener un fuerte uso de sus datos. Usar sus datos significa convertirlos en informacion, y esa informacion en conocimiento. El conocimiento mejora la toma de decisiones sobre los negocios. La Industria 4.0 permite mejorar la calidad de los productos, optimizar en gran medida los costos, provocar una reducción del time-to-market e incrementar la seguridad en todos sus aspectos.

Recorriendo el camino hacia 4.0:

El camino de una fabrica entorno al concepto Industria 4.0 se basa en gran parte en la adopción de forma masiva de sensores que permitan controlar distintos parámetros de interés, monitorizando todo lo que se nos ocurra y junto a ello generando una gran cantidad de datos. El abaratamiento del costo de sensores hace pensar que incluso cada producto pudiera contar con uno incorporado. Actualmente una maquina compleja cuenta con miles de sensores que son leídos en mili segundos. A eso se le suma la gran cantidad de dispositivos IoT que crecen exponencialmente dia a dia y que generan millones de datos. Transformar una fabrica a un modelo 4.0 significa también adoptar los requisitos necesarios para poder procesar el gran volumen de datos que cada dispositivo genera y que se seguirán incrementando a lo largo de los años. Ademas los orígenes de los datos son de lo mas diversos, de manera que se tiene que tener en cuenta la complejidad que significa procesar datos con fuentes y formatos distintos en tiempo real para asociar y relacionar distintas variables para entender comportamientos que permitan armar predicciones. Reemplazar la toma de decisiones a un modelo guiado por datos fehacientes por sobre el modelo de toma de decisiones por intuición sera un gran paso en materia de disminución de errores y que traerá aparejado un significativo aumento de la calidad.

Realidad aumentada e Inteligencia artificial como motor del cambio:

Vale destacar que los cambios vendrán por otros medios como el del añadido de informacion virtual al entorno físico de una planta. Para ello la Realidad Aumentada cobra vital importancia. Podríamos visualizar un almacén y por medio de AR analizar el stock, tener visualmente detalles de productos, KPI, realizar simulaciones y muchísimos usos prácticos mas.

Un ejemplo practico de como la AR ayuda en la vida real, podemos ver el vídeo de VW y su software MARTA, que ayuda a los técnicos guiándolos cuando necesitan desarmar algún componente de un auto.

Con respecto a la validación y simulación de procesos de fabricación, la AR permite obtener planes industriales probados desde el minuto 0, lo que genera un proceso de manufactura optimizado, sin errores y seguro. Una gestión optima de la planta industrial permite aumentar la competitividad desde diferentes puntos de vista, como el ahorro energético analizando los patrones de consumo de cada proceso y permitiéndonos optimizar dichos procesos o adoptar fuentes renovables que permitan generar energía dentro de la planta a través de paneles solares, baterías, etc y reducir la dependencia de la red eléctrica.

Otro factor clave que lideran los cambios de la industria es la adopción de tecnología de Inteligencia Artificial. La definición del cofundador del laboratorio de AI del MIT Marvin Minsky es: “Es la ciencia de hacer que las maquinas hagan cosas que requerirían inteligencia si las hicieran personas”.

La AI debe ayuda a la toma de decisiones, entendiendo y analizando patrones que para un humano serian imposibles. Es por eso que resaltamos la importancia de Big Data y todos los componentes basados en algoritmos que debemos adoptar para conseguir tomar decisiones automatizadas y tener previsibilidad de comportamientos.

Para entender el uso practico de la #AI, podemos resumir el ciclo de uso de los datos asi: recoger los datos generados por #PLC y sensores para convertirlos en informacion, manejar esa informacion y explotarla desde sistemas de #BigData, y usar esa informacion para entender patrones y tendencias mediante #algoritmos.

Lógicamente que cuanto mas datos, mas informacion y cuanto mas informacion, mas herramientas a nuestro favor. Podemos dotar a las maquinas de un comportamiento de aprendizaje automático (#MachineLearning) y que a medida que avance el tiempo la maquina pueda entender esos patrones y tendencias para ejecutar acciones automáticas. De esta manera y para usar de ejemplo, una maquina podría reportar la presión de sus inyectores, eso generaría un entendimiento de la situación de la maquina y del proceso de fabricación como así también el control de calidad; y con el aprendizaje realizado basado en tendencias avisar sobre el agotamiento de alguna materia prima, disminuyendo de esa manera la parada de la maquina para ser recargada, mejorando #OEE y manteniendo estable el proceso de calidad preestablecido.

Los desafíos que vienen y su hoja de ruta:

Algunos desafíos claves en el proceso de adopción de Industria 4.0, son el análisis de millones de sensores generando datos, asegurar la inviolabilidad de esos datos generados, la trasmision de datos hacia servidores o nubes para su análisis (#5G sera un gran aliado de la expansión de la Industria 4.0 simplificando gran parte del proceso de trasmision) y finalmente la #ciberseguridad de todos los componentes ya que mayores dispositivos conectados son también mayores puertas de acceso que controlar.

Junto con los requisitos claves, surge el concepto de #PLM (product lifecycle management). Consiste en la gestión, a través de soluciones integradas de software, del ciclo completo de vida del producto, desde la concepción del producto con soluciones #CAD (Computer Aided Design), pasando por el análisis y la optimización del producto con soluciones #CAE (Computer Aided Engineering), llegando al análisis de cómo se va a producir y dar mantenimiento a este producto con soluciones #DMF (Digital Manufacturing) y capturando, reutilizando y compartiendo con cada uno de los actores del ciclo productivo toda la información generada en cada una de las etapas antes mencionadas con soluciones #PDM (Product Data Management).

En resumen, para transformar nuestra organización a un modelo de Industria 4.0, debemos considerar:

  • Apalancar cambios en el modelo operativo con procesos automatizados, sensorización total y OEE digital.
  • Integrar los sistemas de TI con los sistemas de fabricación.
  • Controlar eficientemente el uso de energía.
  • Optimizar de los procesos de stock, logística y cadenas de suministro.
  • Efectuar controles de calidad unitarios y totales.

Para comenzar es necesario efectuar un assessment total de las fabricas, entender la situación actual e indice de maduración tecnológica y trazar una hoja de ruta con los requerimientos a implantar y como recomendamos siempre, empezar con cambios progresivos y que dichos cambios cuenten con el apoyo de las personas que son quien en definitiva son los promotores de los cambios de envergadura.

[popup_anything id=”2076″]

54cuatro © 2024. All rights reserved.