I sistemi che reggono non sono i più intelligenti. Sono quelli che sanno dove non esserlo.

C’è una tentazione che riconosco bene, perché ci sono cascato anch’io. Quando uno strumento è capace di ragionare, viene naturale affidargli tutto. Se sa interpretare un documento, che interpreti anche quale archiviare. Se sa scrivere una risposta, che decida anche quando mandarla.

È il momento in cui i sistemi diventano brillanti nelle dimostrazioni e inaffidabili nella vita quotidiana.

Le cose che ho visto funzionare per mesi, senza sorveglianza continua, hanno tutte la stessa forma. C’è una parte che non ragiona mai, e una parte che non esegue mai. La prima fa cose noiose e prevedibili: prende un file, lo mette dove va, aggiorna un registro, manda una notifica. Fa sempre la stessa cosa nello stesso modo, e se qualcosa non torna si ferma e lo dice.

La seconda guarda, incrocia, propone. Non tocca niente.

Tenerle separate sembra una complicazione inutile, e nelle prime settimane lo è: si scrive più codice per fare meno cose. Il vantaggio arriva dopo, quando qualcosa va storto, ed è un vantaggio di natura diversa da quella che ci si aspetta.

Non è che sbagli di meno. È che sai sempre chi ha sbagliato.

Se la parte noiosa fallisce, fallisce in modo rumoroso e ripetibile: c’è un errore, si legge, si corregge, non succederà più. Se la parte che ragiona propone una sciocchezza, la sciocchezza resta una proposta, e qualcuno la scarta prima che diventi un fatto. Nessuno dei due errori è irreversibile.

Nei sistemi in cui le due cose sono mescolate, invece, ogni errore è dello stesso tipo: qualcosa è successo, non si sa bene perché, e non è chiaro se succederà ancora.

Da qui viene una regola che uso quando devo decidere cosa affidare a cosa. Non guardo quanto un compito è difficile. Guardo se è reversibile. Le azioni che si possono disfare possono anche essere sbagliate: sono un costo, non un danno. Le azioni che non si possono disfare, quelle che escono verso il mondo, che toccano soldi o persone o obblighi di legge, hanno bisogno di una firma umana anche quando la macchina ha ragione.

Soprattutto quando ha ragione, perché è lì che si smette di controllare.

La versione breve è che la domanda giusta, davanti a qualunque automazione, non è cosa può fare da solo. È un’altra, e va fatta prima di cominciare.

Cosa non deve poter fare da solo, nemmeno se ha ragione?

L’elenco che esce da lì è corto, quasi sempre più corto di quanto si temeva. Ma è la differenza fra una cosa che si accende una volta e continua a lavorare, e una cosa che dopo tre settimane si spegne perché nessuno si fida più.