MAIA - MLOPs Platform

ACCELERARE E AUTOMATIZZARE IL LIFECYCLE DEI PROGETTI ML

Piattaforma per la gestione dei progetti Machine Learning e facilitare le operations


Come si sta muove il mercato sulla governance delle machine learning operations?

Le iniziative di intelligenza artificiale e apprendimento automatico stanno sempre più maturando, ciò nonostante EA e leader di innovazione tecnologica continuano ad affrontare sfide significative nel passaggio alla produzione. ML-Ops (“machine learning” + “operations”) è una pratica di collaborazione e comunicazione tra data scientist e professionisti delle operations per aiutare a gestire il ciclo di vita della produzione ML (o deep learning ).
Punti di attenzione:

Technology & Tools

I gruppi di Data Science utilizzano piattaforme e framework ML di natura variegata per costruire i loro modelli.

Le tecnologie ML sono diverse rispetto a quelle utilizzate per lo sviluppo delle business application.
  • Deployment issues
  • Lack of monitoring
  • Lag in integration activities

Team skills

Per minimizzare i rischi operativi ed assicurare la compliance rispetto alle normative, le applicazioni AI richiedono pratiche e strumenti di governance che per molte aziende risultano nuovi
  • Explainability
  • Fairness
  • Bias detection
  • Bias mitigation
  • Reporting

Risk & Regulations

I gruppi di Data Science utilizzano piattaforme e framework ML di natura variegata per costruire i loro modelli. Le tecnologie ML sono diverse rispetto a quelle utilizzate per lo sviluppo delle business application

Quali funzionalità prevede MAIA?

I principali fornitori di servizi cloud pubblici offrono servizi disgiunti e gli utenti sono vincolati a crearsi un flusso di integrazione end-to-end. Durante le esperienze progettuali svolte negli ultimi anni, Blue Reply ha sviluppato MAIA, una soluzione in grado di accelerare la gestione di progetti Machine Learning, rispondendo a tutti gli interrogativi su:

  • Model selection
  • Model training
  • Model versioning
  • Model simulation
  • Comparison between trained models
  • Monitoring model performance
  • Bias mitigation analysis
  • Fairness & Explainability analysis
  • Train, build & release


La piattaforma MAIA supporta nativamente la validazione dei modelli ML, è possibile anche integrare librerie di terze parti. Attraverso le tecniche di Explainability implementate anche l’utente Reader (es. utente business) può comprendere il comportamento di un modello in termini comprensibili.

«[..] Entro il 2022, almeno il 50% dei progetti di apprendimento automatico non sarà pienamente implementato nella produzione.»

Lettura consigliata: Gartner, 12 novembre 2019, Farhan Choudhary, Arun Chandrasekaran

Collaborazione tra utenti

Il modello autorizzativo di MAIA è suddiviso per utenti, gruppi e progetti. E’ possibile personalizzare il livello di accesso fornito a ciascun utente, per progetto. È necessario disporre delle autorizzazioni di manager o owner per aggiungere un nuovo utente nel progetto. Le impostazioni di accesso sono integrabili con IAM aziendale, ed è anche possibile gestirle con authentication manager dedicato.
I principali ruoli previsti sono:
  • Developer (Data Scientist) - Può effettuare il training dei modelli machine learning e fare build e release fino all'ambiente precedente alla produzione.
  • Reader (Business user) - Può vedere il dettaglio del progetto, modelli trainati e risultati. Può testarlo direttamente per verificarne il comportamento su specifici casi. Fornisce il feedback per successivi re-training. Accede al monitoring delle performance in ambiente produttivo
  • Manager (Team Leader) - E’ un amministratore di progetti e/o gruppi. Ha la responsabilità di promuovere la baseline del modello ML nell’ambiente di produzione. Accede a tutte le funzionalità del developer e del reader senza limitazione alcuna. Aggiunge nuovi utenti al gruppo.
  • Administrator (Uff.Infrastruttura / DevOPs Leader) - E’ il responsabile dell’intera piattaforma. In termini di grants e funzionalità interviene trasversalmente a livello di progetti e gruppi. Non ha alcuna limitazione sulla piattaforma.

Gestione per gruppo, progetto e modello

Osservando la struttura tecnologica del modello machine learning, ponendo attenzione alle caratteristiche da gestire (tra cui dataset, algoritmi, parametri) è stata disegnata una soluzione a contenitori, tenendo presente chi e quali operazioni si devono svolgere. Per cercare di standardizzare l’approccio all’Intelligenza Artificiale, la Piattaforma mette a disposizione, a seconda della tipologia di progetto, una struttura dedicata in grado di guidare il Datascientist e più in generale gli sviluppatori degli algoritmi di AI. Questo si è reso necessario, oltre che per sfruttare appieno le capabilities offerte dalla piattaforma anche per cercare di impostare uno standard in modo da minimizzare gli sforzi di gestione per i singoli progetti.