Valutare le politiche è necessario per prendere decisioni informate.
Il premio Nobel per l’Economia 2021 è stato assegnato per studi di questo tipo, in Italia portati avanti anche dall’Istat.
Aumentare il salario minimo ha effetti negativi sulla domanda di lavoro da parte delle imprese?
È necessario introdurre un sostegno economico per i reduci del Vietnam? Ovvero: l’aver abbandonato le proprie abitudini per andare a combattere in Vietnam ha avuto conseguenze negative sui redditi da lavoro dopo il congedo?
Queste due domande sono solo dei famosi esempi di cui si sono occupati i premi Nobel per l’Economia 2021. Quesiti simili, che in ultima analisi riguardano relazioni di causa ed effetto, sono sempre più presenti nell’agenda del dibattito pubblico: ci interroghiamo di continuo sull’efficacia delle politiche pubbliche, siano esse sussidi monetari (reddito di cittadinanza), incentivi agli investimenti delle imprese (super-ammortamento), imposizione di divieti (come i limiti di velocità), campagne di comunicazione (sui vaccini) o fornitura di servizi (come i corsi di riqualificazione professionale). Saper rispondere a queste domande ha un duplice obiettivo: da un lato aiutare il decisore pubblico a migliorare il disegno delle politiche per renderle più efficaci, ottimizzando l’utilizzo di denaro pubblico; dall’altro, favorire una più ampia consapevolezza da parte dei cittadini sull’utilizzo di risorse pubbliche.
Per affrontare questi temi è fondamentale disegnare un processo rigoroso, basato sui dati e sulla valutazione degli effetti (causali) delle politiche pubbliche, in grado di isolare i cambiamenti imputabili alle singole misure [1].
Il primo passo della valutazione è individuare l’obiettivo principale che la politica si impegna ad affrontare, scegliendo gli strumenti dei quali intende avvalersi. Successivamente, è necessario rappresentare obiettivi e strumenti in dimensioni osservabili e misurabili, individuando una variabile che rappresenti lo strumento della politica (l’effetto di cosa) e una variabile con cui misurare l’effetto (l’effetto su cosa). La prima è detta “variabile trattamento”, la seconda “variabile risultato”. Ad esempio, l’aumento del salario minimo è la “variabile trattamento” e il tasso di occupazione è la “variabile risultato”; partire per la guerra del Vietnam è la “variabile trattamento” (“non trattato” è chi rimane a casa, “trattato” è chi va in guerra) mentre il salario dopo il congedo è la “variabile risultato”.
L’approccio controfattuale
Il disegno per la valutazione della politica dovrebbe contenere anche indicazioni sulla raccolta delle informazioni successive all’implementazione della politica stessa (dati ex post), il cui utilizzo permette un approccio valutativo controfattuale. L’approccio controfattuale ha i suoi limiti, ma ha il vantaggio di proporre una definizione chiara dell’effetto, o l’impatto, di una politica e di misurarlo compiutamente. L’effetto di una politica è la differenza tra ciò che è realmente accaduto con l’attuazione della politica e ciò che sarebbe invece accaduto se la politica non fosse entrata in vigore. Il “ciò che è realmente accaduto” è il fattuale, il dato osservabile, mentre il “ciò che sarebbe accaduto” è il controfattuale, uno scenario ipotetico. Ad esempio, l’effetto sul tasso di occupazione dell’aver aumentato il salario minimo è dato dalla differenza tra il tasso di occupazione reale e il tasso di occupazione stimato nel caso in cui il salario minimo non fosse stato aumentato.
Il problema essenziale della valutazione controfattuale consiste nell’inosservabilità dello scenario controfattuale: l’effetto della politica è una differenza tra due valori, di cui però uno solo è osservabile. Se è possibile misurare facilmente il tasso di occupazione dopo aver aumentato il salario minimo, è impossibile misurarlo (nello stesso periodo) supponendo che il salario minimo non sia stato aumentato.
Come stimare allora il mondo controfattuale? Iniziamo dalla comprensione di cosa non è l’effetto di una politica. L’effetto non è la differenza tra il prima e il dopo. La variazione del numero di occupati a seguito dell’aumento del salario minimo – prima e dopo il “trattamento” – non è l’effetto di questa misura politica. L’impatto presuppone infatti un rapporto di dipendenza causale tra la politica e la variazione nella variabile risultato. La variazione temporale, invece, potrebbe dipendere da altri fattori, quali l’evoluzione favorevole del ciclo economico. In altre parole, la variabile risultato potrebbe presentare una dinamica temporale indipendente dalla politica.
L’effetto non è nemmeno la differenza tra i trattati e i non trattati. La differenza tra il salario di chi è andato in guerra e il salario di chi è rimasto a casa non costituisce una misura dell’impatto della partecipazione alla guerra, perché le due categorie di persone possiedono caratteristiche socio-economiche diverse, come l’attitudine allo studio o una maggiore propensione al combattimento, che influenzano sia la variabile trattamento (andare in guerra) sia la variabile risultato (il salario). Questo aspetto prende il nome di distorsione da selezione. Ad esempio, è probabile che i giovani con meno voglia di studiare, quindi già con un potenziale di reddito più basso, si offrano come volontari in guerra più frequentemente di chi invece preferisce continuare a studiare. Perciò la differenza dei salari tra i due gruppi riflette non solo l’effetto negativo di essere stati in Vietnam, cioè l’effetto che vorremmo misurare, ma anche la differenza nei percorsi lavorativi potenziali tra chi è partito e chi no.
Gli esperimenti naturali
Sebbene la misurazione puntuale del mondo controfattuale non sia possibile, una strada alternativa è quella di individuare ragionevoli approssimazioni. Qui entrano in campo gli econometristi: il loro compito è ideare e utilizzare metodi statistici per ricostruire lo scenario controfattuale, sfruttando solo dati osservabili e senza intervenire sul processo di selezione che divide gli individui in trattati e non trattati.
Il controllo del processo di selezione sarebbe in realtà auspicabile perché, come nella sperimentazione clinica, assegnando in modo casuale gli individui al gruppo dei trattati e al gruppo dei non trattati saremmo ragionevolmente sicuri che i due gruppi siano statisticamente equivalenti e non vi siano differenze significative nelle loro caratteristiche di partenza (anche non direttamente osservabili, come l’attitudine allo studio): in altre parole che non vi sia distorsione da selezione. In questo modo, il gruppo dei non trattati potrebbe riprodurre in maniera plausibile il controfattuale e consentirci di calcolare l’effetto medio della politica.
Tuttavia, in campo socio-economico, aspetti etici e legali normalmente prevengono l’ideazione di esperimenti controllati. In alcuni casi, se siamo “fortunati”, può essere la natura stessa del processo di selezione a fornirci parzialmente un’assegnazione di tipo casuale, che cercheremo di sfruttare. È il caso degli esperimenti naturali, non progettati dal ricercatore, ma che si avvalgono di circostanze fortuite o variazioni nelle politiche che determinano differenze di trattamento tra gli individui.
Il premio Nobel per l’Economia 2021 è stato assegnato a David Card, Joshua D. Angrist e Guido W. Imbens proprio per le loro ricerche teorico-empiriche, iniziate negli anni ’90, su come derivare dagli esperimenti naturali conclusioni rigorose sui rapporti di causa ed effetto. Come riporta nella motivazione l’Accademia Reale Svedese delle Scienze: «Card, Angrist e Imbens hanno mostrato come gli esperimenti naturali siano una ricca fonte di conoscenza. Le loro ricerche hanno migliorato notevolmente la nostra capacità di rispondere a domande chiave sui rapporti causali, con grande beneficio per la società».
Seguendo Card, Angrist e Imbens è arrivato il momento di rispondere alle due domande iniziali sul salario minimo e sulla guerra in Vietnam.
Salario, occupazione e il metodo della differenza-nelle-differenze
All’inizio degli anni ’90 era opinione comune tra gli economisti che l’aumento del salario minimo determinasse una riduzione dell’occupazione. Card e il collega Alan Krueger si sono inseriti nel dibattito realizzando uno degli studi empirici più importanti perché, a differenza dei precedenti, ricostruiva un nesso di causa-effetto sfruttando in modo ingegnoso un esperimento naturale, legato alle differenze nell’applicazione del salario minimo tra il New Jersey e la confinante Pennsylvania [2]. Nel 1992 lo Stato del New Jersey ha aumentato il salario minimo orario da 4,25 a 5,05 dollari, mentre la Pennsylvania lo ha mantenuto invariato.
Card e Krueger si sono concentrati sull’occupazione nei fast food – un settore in cui le retribuzioni sono basse e il salario minimo può fare la differenza – in due aree confinanti e molto simili dei due Stati.
Come sappiamo, l’effetto dell’aumento del salario minimo non si può calcolare come differenza temporale – prima e dopo l’aumento – del numero medio dei dipendenti nei fast food del New Jersey, perché questa differenza potrebbe essere influenzata da altri fattori (dinamica indipendente). Però la difformità nell’applicazione del salario minimo tra due territori confinanti permette l’individuazione di un gruppo di controllo: i fast food della Pennsylvania. Data la vicinanza e l’omogeneità dei due territori considerati, infatti, non vi è alcun motivo per ritenere che, a parte il livello del salario minimo, altri fattori influenzino l’andamento dell’occupazione in modo diverso su entrambi i lati del confine. Detto altrimenti, ci aspettiamo che la variazione dell’occupazione in Pennsylvania rappresenti la dinamica ottenibile in assenza di un aumento del sussidio.
L’effetto dell’aumento del salario minimo sull’occupazione è quindi la differenza tra il numero medio dei dipendenti del New Jersey dopo e prima l’aumento del salario minimo, depurata però dalla differenza del numero medio dei dipendenti della Pennsylvania per lo stesso intervallo temporale. La prima differenza rappresenta il fattuale, la seconda rappresenta la variazione dell’occupazione imputabile allo scenario controfattuale. L’effetto medio è la differenza tra le differenze, e infatti questo metodo si chiama differenza-nelle-differenze (in inglese difference-in-differences, DID). Card e Krueger hanno così mostrato che l’aumento del salario minimo non ha avuto un impatto negativo sull’occupazione nei fast food.
I reduci del Vietnam e il metodo delle variabili strumentali
Nel 1990 Angrist ha cercato di verificare se i reduci del Vietnam avessero ottenuto un reddito da lavoro più basso dopo il congedo rispetto allo standard [3]. L’effetto da stimare è quello della variabile trattamento “andare in guerra” sulla variabile risultato “reddito” ma, come abbiamo già detto, non si può stimare direttamente a causa della distorsione da selezione. Angrist ha quindi ingegnosamente sfruttato il fatto che all’inizio degli anni ’70 era stata reintrodotta la leva obbligatoria, con i maschi americani nati tra il 1950 e il 1952 reclutati mediante sorteggio. Il sorteggio è uno strumento nelle mani del ricercatore, una nuova variabile (detta appunto strumentale) che, essendo del tutto casuale, non soffre di distorsione da selezione. Il sorteggio non ha un effetto diretto sul reddito, ma lo influenza attraverso la variabile trattamento, perché condiziona fortemente le scelte degli individui circa l’andare o non andare in guerra.
L’effetto del sorteggio sul reddito si può misurare sfruttando questa assegnazione casuale. Ad esempio, per la leva del 1950, la differenza dei redditi medi nel 1984 tra i non sorteggiati e i sorteggiati è di 639 dollari: in apparenza, sembrerebbe che chi nel 1950 non è andato in Vietnam, nel 1984 disponesse di un reddito lievemente più alto. Ma non è così: non tutti i sorteggiati sono davvero andati in Vietnam, perché molti riuscivano a evitare di partire (rinvio per motivi di studio, esonero per motivi di salute, ecc.), e nemmeno i non sorteggiati sono tutti rimasti a casa, perché alcuni di essi si offrivano comunque volontari. Sono casi non trascurabili: nella leva del 1950 la percentuale dei renitenti sui sorteggiati è del 65%, mentre la percentuale dei volontari sui non sorteggiati è del 19%. Volontari, renitenti e coloro che seguono fedelmente gli esiti del sorteggio, i cosiddetti compliers, costituiscono le sotto-popolazioni, non confrontabili, che vorremmo esaminare. Tuttavia, gli effetti specifici per queste sotto-popolazioni non sono osservabili, perché non è possibile distinguere volontari e compliers nel gruppo dei sorteggiati, e renitenti e compliers nel gruppo dei non sorteggiati. Perciò la differenza media osservata tra sorteggiati e non sorteggiati (639 dollari) è calcolata su tutta la popolazione.
In pratica, però, conoscendo la quota di compliers è possibile riproporzionare la media osservata. Il punto fondamentale è che, sebbene non possiamo identificare individualmente i compliers, possiamo però calcolarne la percentuale, misurando un altro effetto causale: quanto il “sorteggio” abbia influenzato l’esito della variabile trattamento “andare in guerra”. Ad esempio, per la leva del 1950 la percentuale dei compliers è del 16% sulla popolazione soggetta a sorteggio. Se quindi consideriamo la differenza di 639 dollari come attribuibile al solo 16% della popolazione, l’effetto complessivo stimabile dell’“andare in guerra” è pari a una riduzione del reddito di circa 3994 dollari = 639/0,16.
Merito di Angrist, ma anche di Imbens e Rubin [4], è di aver introdotto una metodologia evidenziandone le possibilità e i limiti. In particolare, l’effetto medio stimato è locale perché si calcola solo per i compliers; d’altronde, è impossibile costruire un controfattuale per i volontari e i renitenti, perché i volontari sono tutti partiti per la guerra, mentre i renitenti sono tutti rimasti a casa.
La valutazione delle politiche in pratica: l’esempio dell’Istat
Gli esempi esposti nei paragrafi precedenti sono tratti dalla realtà statunitense, che costituisce, sia dal punto di vista teorico che da quello pratico, un riferimento importante per la valutazione delle politiche.
L’attività di valutazione ha assunto comunque un’importanza crescente anche in Europa, benché le implementazioni siano assai variegate tra i Paesi. L’adozione del recente piano per la ripresa Next Generation EU costituisce un ulteriore stimolo.
L’Italia ha adottato uno specifico disegno di legge per definire la governance del Piano Nazionale di Ripresa e Resilienza (PNRR), istituendo una struttura dedicata «alla predisposizione e attuazione del programma di valutazione in itinere ed ex post del PNRR». Questa iniziativa rafforza e, auspicabilmente, integra le esperienze già esistenti presso gli enti di ricerca e le altre amministrazioni, quali ad esempio la Banca d’Italia.
L’Istat, in particolare, ha tra i suoi compiti quello di «favorire i processi decisionali di tutti i soggetti della società», risultato ottenibile anche attraverso lo sviluppo di una specifica attività di ricerca sulla valutazione ex ante ed ex post. Questi compiti sono assegnati a una specifica struttura, il Servizio per l’Analisi dei Dati e la Ricerca Economica, Sociale e Ambientale (PSS), che si occupa della valutazione degli effetti delle politiche pubbliche a livello micro e macroeconomico.
Per svolgere questa funzione, il servizio PSS ha sviluppato un articolato insieme di modelli. A livello macroeconomico è stato realizzato il modello MeMo-IT per la previsione degli andamenti dell’economia italiana, utilizzato anche per una stima controfattuale degli effetti del PNRR.
A livello microeconomico sono stati sviluppati sia un modello di microsimulazione per la valutazione degli impatti distributivi delle politiche fiscali sulle famiglie (FaMiMod), sia uno sulle imprese (Istat-MATIS). Questi modelli, legati a valutazioni di tipo ex ante [5], sono stati affiancati da specifiche analisi di valutazione ex post, ad esempio coadiuvando l’Istituto del Commercio Estero nello studio sull’efficacia dei servizi erogati per sostenere le imprese italiane nel processo di internazionalizzazione.
Considerando il PNRR, un’altra attività in corso riguarda la realizzazione di un sistema di monitoraggio in grado di associare le misure previste dal piano con degli specifici indicatori di sviluppo sostenibile.
L’Istat ha inoltre avviato il potenziamento delle attività di valutazione anche all’interno del Sistema Statistico Nazionale istituendo un apposito circolo di qualità denominato “Indicatori e metodologie per la valutazione delle policy”, con l’obiettivo di favorire la collaborazione fra tutte le istituzioni coinvolte nella produzione di informazioni orientate alla valutazione.
Rispetto alle best practice internazionali rimane molta strada da percorrere, ma è auspicabile che i bisogni di valutazione richiesti ai fini dell’utilizzo dei fondi del PNRR possano costituire un ulteriore impulso per il settore.
In questa categoria
Open Access
