Dal DevOps al GenAIOps: sviluppare Agentic AI in un panorama in continua evoluzione

Il GenAIOps è l’insieme delle pratiche e dei processi utili per lo sviluppo e la distribuzione di applicazioni agentiche. Ha chiaramente origine nel movimento DevOps, ma assume un significato più specifico per la natura non deterministica delle componenti che costituiscono queste applicazioni. Quest’incertezza intrinseca è ulteriormente acuita da un panorama tecnologico in continua evoluzione, con strumenti e modelli che si susseguono costantemente.

Come spesso accade, facendo ricorso ai principi più che a tecnologie specifiche. Nel nostro caso è stato fondamentale lavorare per iterazioni a tutti i livelli, un concetto cardine anche nell’Agile. Questa modalità ci ha aiutato su due fronti: quello funzionale, perché in un contesto così innovativo è difficile definire a priori cosa si vuole dal sistema, e quello tecnico, perché ci consente di esplorare modi diversi di realizzare una funzionalità.

In fase di sviluppo ci concentriamo sul comportamento del sistema (BDD) che vogliamo ottenere e lo implementiamo a step, spesso in modalità test-first col supporto dello sviluppo agentico. A livello di prodotto, significa supportare sperimentazioni come l’A/B testing per raccogliere feedback dagli stakeholders. Nel medio-lungo termine si traduce nell'evolvere parti dell’architettura, imparando dall'esperienza e adattandoci ai cambiamenti come l’evoluzione dei modelli LLM che portano a superare i vincoli di partenza. Come si vede, si tratta spesso di applicare i principi tratti dal DevOps, che però acquistano una valenza particolare in un contesto così dinamico come la GenAI.

Su questo punto le applicazioni agentiche si differenziano molto da quelle tradizionali, per due aspetti derivanti dal non determinismo: da un lato, un test ripetuto più volte può dare risultati diversi; dall'altro, ogni risultato non è necessariamente giusto o sbagliato, ma ricade in uno spettro continuo di correttezza. La nostra soluzione consiste nel combinare diverse euristiche tratte dall’esperienza utente, che consentano di confrontare versioni diverse e monitorare l’andamento del sistema nel tempo.