AlerTable: Data Quality automatizzata in modo efficiente e scalabile

Un framework per semplificare la gestione dei processi di data quality.

Scenario

L’approccio tradizionale

Nella classica modalità convenzionale di data quality, il processo previsto è solitamente così composto: individuazione di un problema di qualità dei dati tramite la gestione di una segnalazione o ticket, gestione della problematica in reperibilità tramite “workaround”, censimento del problema e della regola che permette di individuarlo, implementazione del controllo di data quality, gestione della soglia e dell’eventuale tolleranza, definizione del workflow da innescare a fronte del ripresentarsi del problema e infine il mantenimento nel tempo del controllo stesso.

Si tratta quindi di svariati passaggi reiterati nel tempo. Data la possibilità che una piattaforma dati possa richiedere l'introduzione di centinaia o migliaia di controlli di qualità dei dati, è evidente che l'impegno richiesto sia considerevole. Inoltre, poiché tutte le operazioni sono manuali, è probabile incontrare difficoltà.

Picture

La soluzione

Data Quality: un nuovo approccio

Data Reply ha sviluppato il framework AlerTable in grado di agevolare e automatizzare l’intero processo di gestione della Data Quality, attraverso le seguenti funzionalità.

  • Suggerimento di regole di Data Quality tramite il processamento dei dati presenti nelle fonti dato

  • Le soglie suggerite si adattano in autonomia nel tempo, facilitando così il lavoro di manutenzione

  • Un'applicazione web semplice e immediata per poter creare e gestire le regole di Data Quality a tutti i livelli, dall’IT al business

  • Integrazione con AI per poter introdurre regole di data quality in linguaggio naturale

  • Possibilità di ottenere la documentazione dei controlli configurati con un click

AlerTable: dettagli del framework per Augmented Data Quality

A seguito dell’esperienza pluriennale maturata nei progetti di Data Quality, è emerso che il framework suggerisce regole che coprono solitamente il 90% dei controlli di integrità mediamente necessari in una qualsiasi data platform. Per poter colmare il 10% rimanente è possibile introdurre manualmente le regole necessarie tramite un’interfaccia grafica semplice e immediata.

Modulo 1

Il framework adotta algoritmi di Machine Learning per estrarre informazioni rilevanti e apprendere dai dati elaborati, con lo scopo di identificare in modo proattivo i controlli da implementare, valutare l'impatto che questi avranno e suggerirne l’introduzione alle figure responsabili. Sfrutta modelli di Anomaly Detection (es. Isolation Forest) per individuare correlazioni statistiche tra i dati presenti nelle fonti dato e quindi suggerire controlli contestualizzati.

Modulo 2

La soluzione offre grande flessibilità e scalabilità, sia per quanto riguarda la fonte ed il volume dei dati su cui eseguire i controlli, sia per l'architettura su cui implementarla. Il framework è stato sviluppato con lo scopo di monitorare e segnalare i problemi di qualità dei dati presenti su qualsiasi data platform, data warehouse, data lake, su processi ETL (Extract, Transform, Load) e di business intelligence.

Modulo 3

L'interfaccia di AlerTable permette sia ad utenti tecnici sia ad utenti business di gestire e monitorare qualsiasi controllo di Data Quality con semplicità e immediatezza. Grazie ad una serie di API, la soluzione permette inoltre la gestione di notifiche via mail, l’utilizzo di strumenti di ticketing e l'esportazione degli esiti delle regole di Data Quality per creare dashboard, KPI o grafici personalizzati. Infine, la soluzione è anche in grado di gestire dati sensibili e quindi aderire alle esigenze di data privacy e data protection.

Vantaggi di business

Il framework AlerTable viene implementato sull'architettura del cliente, prediligendo la metodologia Agile e il criterio DevOps, questo approccio e il design stesso del framework rendono possibile il rilascio in produzione in tempi molto brevi. Alcuni risultati ottenuti sui clienti che già adottano AlerTable.

  • Unica soluzione “enterprise” per la Data Quality

  • Più di 1000 regole di Data Quality suddivise in varie ed eterogenee fonti dati

  • Regole suddivise in diverse tematiche (anagrafica, contabile…), ognuna con un workflow specifico

  • Migrazione di un elevato numero di regole già censite in maniera flessibile e semplice