Reinforcement Learning

La nuova frontiera delle Telecomunicazioni

SCENARIOIl Reinforcement Learning

Il Reinforcement Learning (RL) rappresenta, insieme al Supervised e Unsupervised Learning, uno dei tre paradigmi fondamentali del Machine Learning, ovvero quell'insieme di tecniche volte a rendere un computer in grado di imparare ad eseguire un compito senza essere esplicitamente programmato per farlo.

Il RL si è rivelato negli anni essere un approccio estremamente efficace in numerosissimi campi.

Uno fra i tanti la robotica, permettendo alle macchine di eseguire operazioni complesse come il movimento, la manipolazione di oggetti o la navigazione sociale. O ancora i giochi da tavolo nei quali, grazie ad un algoritmo di RL sviluppato da Google nel 2006 si è stati in grado di vincere contro il campione del mondo del gioco Go, storicamente l’ultimo tra i giochi di questo genere (come gli scacchi) a rimanere imbattuto dall’intelligenza artificiale.

Il funzionamento generale di un algoritmo di RL è piuttosto semplice ed intuitivo, avendo questo numerose similarità con il modo in cui noi umani apprendiamo dall’esperienza.

Gli elementi principali che costituiscono un qualsiasi algoritmo di RL, indipendentemente dalla sua tipologia specifica, sono tre:


Il cuore di un algoritmo di RL è quindi dato dal modo in cui l’agente interagisce con l’ambiente sulla base dei feedback dati dalla ricompensa. L’agente esplora l’ambiente compiendo delle azioni sulla base di processi decisionali e criteri formali che vanno sotto il nome di policy.

Esso cerca da un lato di sfruttare la conoscenza acquisita per scegliere azioni che portino a risultati ottimali e dall’altro di esplorare nuovi scenari scegliendo azioni in maniera randomica per uscire dalla sua “zona di comfort” ed essere quindi in grado di adattarsi ad eventuali cambiamenti dell’ambiente e considerare soluzioni che altrimenti non avrebbe considerato.

Tramite questo processo avviene la fase di apprendimento dell’agente, nella quale la policy viene aggiornata sulla base dei feedback ricevuti.


IL RL NELLE TELECOMUNICAZIONI

Numerose sono le tecnologie che stanno prendendo piede e rivoluzionando il mondo delle telecomunicazioni. Le reti stanno diventando sempre più complesse e le prestazioni che ci si aspetta da esse sempre più elevate. Risulta ormai chiaro a tutti come l’AI rappresenti uno strumento essenziale per venire incontro a questi cambiamenti e il RL gioca in questo scenario un ruolo predominante.

L’enorme complessità delle reti fa si che queste sfuggano facilmente alla supervisione umana, ponendo il bisogno di affidarsi ad algoritmi che siano in grado di arrivare dove l’uomo non riesce. Il RL si è dimostrato essere uno strumento in grado di ottenere performance largamente al di sopra di quelle umane e per di più in maniera autonoma, da qui uno dei motivi per cui si colloca in questo scenario.

Particolarmente efficace e adatto nel contesto delle telecomunicazioni è l’approccio che prevede di utilizzare il Deep Learning negli algoritmi di RL: il Deep Reinforcement Learning. In contesti i cui l’environment risulta particolarmente complesso (come una rete) l’agent può avvalersi di una rete neurale per processare le informazioni che riceve dall’ambiente al fine di stimare le quantità che gli permettono di valutare l’azione corretta tra quella possibili. Questo aumenta drasticamente le prestazioni e l’efficacia di questi algoritmi e permette di ovviare ad una serie di problematiche che gli algoritmi di RL hanno per loro natura.


USE CASE

Il RL, grazie alla sua versatilità, trova applicazioni in numerosi scenari anche molto diversi fra loro. Alcuni esempi di interesse nel mondo delle telco sono:

• Risoluzione di task “classici” del Machine Learning: il problema in questo caso viene ristrutturato come un task di decision-making. Un esempio è la time series forecasting.

L’agente impara a predire valori futuri (azione) sulla base delle osservazioni passate (environment) e di una metrica di valutazione, come ad esempio l’accuratezza della predizione (reward).

• Routing optimization: sulla base di una metrica di interesse che si vuole ottimizzare (e.g. bandwidth, delay ecc.) l’agente, quando avviene una richiesta di comunicazione tra due nodi, sceglie il percorso ottimale in modo da ottimizzare nel lungo periodo la metrica.

Questo significa che l’ottimizzazione prenderà in considerazione anche possibili comunicazioni future seguendo un approccio proattivo

.

USE CASE NOC INTELLIGENTE

IL RL può essere utilizzato per la creazione di un Network Operation Center (NOC) in quanto utile nei seguenti aspetti:

• Network automation: l’agente colleziona ed elabora dati di rete e di telemetria per eseguire azioni volte a garantire un corretto ed efficiente funzionamento della rete, ad attuare misure correttive quando un fault si verifica o ad agire in maniera proattiva sugli stessi. Esempi sono la configurazione dinamica dei dispositivi, il traffic engineering o la fault-prevention.

• Network optimization: sulla base di metriche di interesse l’algoritmo può eseguire task di ottimizzazione per aumentare le performance della rete, come ad esempio un’ottimizzazione di routing capace di outperformare i comuni protocolli come OSPF o EIGRP .

• Action Recommender Engine (ARE): un Sistema di raccomandazione a supporto degli operatori NOC che suggerisce gli step da eseguire quando un problema si presenta, rappresentando un’evoluzione dei largamente usati codebook.

VANTAGGI DEL REINFORCEMENT LEARNING

  • Generalità

    l’interazione agent-environment tramite reward fa del RL un approccio completamente generale e versatile. Esso risulta applicabile ad una varietà sconfinata di scenari e obiettivi, e in aggiunta senza una forte dipendenza dai dati.

  • Adattamento

    l’utilizzo del deep learning nel DRL permette agli algoritmi di sfruttare le capacità di generalizzazione delle reti neurali, rendendoli inseribili in scenari molto diversi da quelli incontrati in fase di training e robusti a possibili cambiamenti della rete.

  • Open Source

    il RL dispone di numerose e valide soluzioni che forniscono framework open source per l’implementazione degli algoritmi. Questo si traduce in costi ridotti per le licenze, alta versatilità e ampio supporto da parte della community.

IL RUOLO DI NET REPLY

Tecnologie come il 5G, l’IoT, l’Edge Computing, il Digital Twin pongono le loro basi di implementazione tra gli altri anche sull’AI, rendendo palese quanto le nuove tecnologie e le nuove reti non potranno più pensarsi svincolate da questo strumento. Padroneggiare l’Intelligenza Artificiale è e sarà essenziale per garantire soluzioni di qualità e a passo con i tempi.

In Net Reply lo studio di questi strumenti è in continua crescita e lo slancio all’innovazione sempre maggiore. Ci impegniamo ad adoperare e sperimentare nuove tecnologie per offrire soluzioni all’avanguardia e in continua evoluzione. La nostra metodologia abbraccia l'innovazione per dare nuova vita a soluzioni consolidate nel tempo, permettendoci di valorizzare le risorse esistenti ma conservando sempre uno sguardo attento e costante sul futuro.


Contattaci

Prima di compilare il form di registrazione, si prega di prendere visione dell'Informativa Privacy ai sensi dell’art. 13 del Regolamento UE n° 679/2016
Input non valido
Input non valido
Input non valido
Input non valido
Input non valido
Input non valido

Privacy

Dichiaro di aver letto e ben compreso l'Informativa Privacy e acconsento al trattamento dei miei dati personali per finalità di marketing da parte di Reply SpA, in particolare per l’invio di comunicazioni promozionali e commerciali o la segnalazione di eventi aziendali o webinar, con modalità di contatto automatizzate (es. SMS, MMS, fax, e-mail e applicazioni web) e tradizionali (es. telefonate con operatore e posta tradizionale).