Situación inicial
y problemática
La motivación fue la contingencia de falta de disponibilidad del activo equivalente sobre otra solución tecnológica.
Tecnologías
utilizadas
- Azure CosmosDB
- Azure Data Factory
- Azure Storage Account
- Azure Key Vault
- Azure Function
- Azure Kubernetes Service
- Node.js
- Integración con DataDog
Solución
propuesta
La solución se basó en la construcción de una base de datos documental CosmosDB en Azure cuya ingesta involucraba la integración de una solución OnPremise que ante la disponibilidad de la información publicaba la misma sobre una cuenta de almacenamiento Azure vía POST protegido por SAS (Shared Access Signature con rotación trimestral).
El modelo de trabajo se resume en:
Un pipeline de Azure Data Factory con un disparador escuchando la aparición del evento de publicación en Azure Storage Account, inicia la labor de ingesta con una serie de actividades que contemplan caminos alternativos ante fallas. Este pipeline dialoga con Azure Key Vault para rescatar información sensible y los pasos que involucran azure functions se integran con la herramienta de trazabilidad y monitoreo que el cliente tiene contratada. La acción de importación de 12 M de filas demanda aproximadamente 30 minutos una vez al mes y su consumo desde Dynamics 365 a través de un microservicio alojado en Azure Kubernetes Services no supera los 300ms para rescatar la colección de propensiones de consumo de un cliente.
