Upstream data platform

Technology Reply ha realizzato per un cliente Power & Energy una Data Platform con l’obiettivo di raccogliere in Real Time i dati provenienti dai diversi sistemi sorgenti e renderli disponibili per le analisi in ambito Upstream.

Scenario

La Data Platform ha l’obiettivo di integrare i diversi tipi di dato dai sistemi sorgenti eterogenei, ognuno focalizzato su una specifica area funzionale. Le aree funzionali in ambito Upstream hanno come elemento centrale i pozzi perforati. A queste sono legati i dati acquisiti durante le fasi di perforazione:

  • Log, ovvero le informazioni raccolte durante le estrazioni;

  • Campioni di roccia o di fluido prelevati dal sottosuolo su cui è possibile eseguire analisi di laboratorio di diversa tipologia allo scopo di ottenere informazioni utili riguardo ai livelli geologici del sottosuolo (ad esempio descrizioni delle proprietà fisiche dei campioni);

  • Traiettorie di perforazione del sottosuolo;

  • Stratigrafia, ovvero le tipologie di dato geologico determinate a seguito di misurazioni o analisi associate a intervalli di profondità;

  • Dati di rilevamento sismici;

  • Mappe di esplorazione (in 2D e 3D) di interesse del cliente;

  • Dati territoriali legati al terreno, mare, vento, etc.

La trasmissione e relativa acquisizione dei dati, grazie all’utilizzo di Oracle Golden Gate che permette una ricezione del dato in modalità Change Data Capture, porta un notevole vantaggio alla piattaforma, garantendo una disponibilità del dato in Real Time all’utente finale.

Una volta prelevati i dati in Real Time dai sistemi sorgenti, questi vengono processati e standardizzati attraverso processi di ETL (extract, transform, load). Durante questa fase i dati vengono aggregati ed infine, una volta superati i controlli di Data Quality, inseriti all’interno dei modelli di Business realizzati sulla base delle diverse esigenze degli utenti. Un’applicazione web realizzata utilizzando Oracle Application Express permette la visualizzazione e la gestione dei dati lato front-end, le quali costituiscono un aspetto centrale della Data Platform. L’accesso alla Web Application è stato implementato mediante un meccanismo di autorizzazione, autenticazione e profilazione per rispondere alle diverse esigenze del cliente. Gli utenti, una volta effettuato l’accesso, potranno consultare, arricchire e gestire i dati a loro accessibili (a seconda del ruolo) per generare nuove informazioni tecniche e funzionali. Inoltre ogni utente è limitato a visualizzare ed operare solo ed esclusivamente sui dati delle proprie aree funzionali.

L’interfaccia principale offre sia una visualizzazione tabellare delle informazioni, con filtri specifici in base al tipo di dato a cui si fa riferimento, sia una mappa geografica satellitare su cui è possibile eseguire ricerche visive. La piattaforma, diventando il single point of truth di molteplici aree in ambito Upstream, ha il compito di centralizzare tali informazioni e condividerle verso gli altri sistemi tramite un API Layer che può essere interrogato dall’esterno.

Soluzione

I dati vengono replicati con una logica di Real Time appoggiandosi alle funzionalità offerte da Oracle Golden Gate, in modo da garantire il costante allineamento dei dati tra sistemi sorgenti e Data Platform. Il caricamento all’interno della Data Platform è gestito tramite Oracle Data Integrator, mediante il quale è possibile applicare le trasformazioni appropriate ai dati replicati ed inserirli nei Data Model target.

I dati derivanti dal processo di ETL possono essere aggregati ed analizzati all’interno di pagine APEX e possono essere pubblicati verso applicazioni esterne usando servizi di API Oracle. Le diverse dashboard integrano le componenti Low Code di Oracle Application Express con componenti custom che permettano di soddisfare completamente i requisiti del cliente.

L’implementazione di uno strumento di orchestrazione tramite Oracle Business Process Management permette di monitorare tutti i processi che sono stati avviati, automaticamente o dagli utenti di Business, al fine di garantire concorrenza e consistenza sull’intero sistema. Per garantire il corretto funzionamento dei processi ETL viene utilizzato il servizio di Application Monitoring in grado di rilevare e correggere eventuali errori dei flussi di caricamento o problematiche infrastrutturali; tale servizio è stato arricchito tramite l’implementazione di un set di alert custom, inviati da Oracle Enterprise Manager, al fine di intervenire tempestivamente in caso di anomalie. Inoltre gli utenti Business hanno la possibilità di aprire segnalazioni mediante ticket per anomalie riscontrate o richiesta di informazioni su una piattaforma di DevOps, capace di offrire una comunicazione agile ed immediata con il team di sviluppo.

Vantaggi

I principali vantaggi offerti dalla realizzazione della Data Platform sono:

  • Aggiornamento del dato in Real Time tramite Change Data Capture

  • Integrazione di diverse sorgenti in un’unica Data Platform

  • Riduzione della ridondanza dei dati

  • Visualizzazione dati a FE in base al ruolo aziendale e abilitazione assegnata

  • Centralizzazione dell’operatività dell’utente

  • Facilitazione della data discovery dell’utente