User:ProgressiveProblemshift/sandbox

Crisi di replicabilità - Il concetto di replicazione sperimentale

Il concetto di replicazione può essere generalmente definito come uno strumento metodologico basato sulla ripetizione di un esperimento al fine di stabilire un certo fatto, verità o un elemento di conoscenza scientifica (Schmidt, 2009). In una replicazione, la ripetizione di una certa procedura sperimentale viene operata su un campione di dati diverso dall’esperimento originale, in maniera tale da testare l’affidabilità dei risultati di quest’ultimo (Nosek et al., 2022). In questo senso, la replicazione si differenzia dalla riproduzione, in quanto la seconda viene definita come una procedura volta al ripetere lo stesso processo di analisi sugli stessi dati dell’originale. La replicazione si differenzia anche da un test di “robustezza” che è invece volto all’analizzare gli stessi dati con una strategia di analisi sufficientemente diversa (Nosek et al., 2022).

Generalmente, nel decidere se un esperimento è stato replicato con successo, questa decisione si conforma come un giudizio dicotomico di tipo “replicato/non replicato” (Nosek et al., 2022).

Nel contesto di un test di verifica d’ipotesi, la replicazione di risultati trovati in precedenza avviene quando i risultati ottenuti in uno studio di replicazione sono statisticamente significativi nella direzione prevista dallo studio originale (Nosek et al., 2022). Un secondo metodo per stabilire se una replicazione ha avuto successo sta nel calcolare gli intervalli di confidenza del parametro stimato (e.g. la differenza tra le medie di due gruppi sperimentali in un test t) per l’esperimento originale e per la replicazione, e il valutare se la stima del parametro dei due esperimenti rientri nell’intervallo di confidenza dell’altro esperimento (la stima dell’originale nell’intervallo di confidenza della replicazione e vice versa). Altri metodi includono: stabilire se il risultato ottenuto nella replicazione sia coerente con la possibile dimensione dell’effetto stimata dall’originale, valutare soggettivamente se i risultati della replicazione e quelli dell’originale siano simili, o l’utilizzo di fattori Bayes per comparare i risultati dell’originale e della replicazione nel contesto della statistica Bayesiana. (Nosek et al., 2022)

La definizione di cosa implichi esattamente “ripetere un esperimento” è ancora un concetto molto discusso nel campo delle metascienze, specialmene quando applicato alle scienze psicologiche (Schmidt, 2009; Nosek et al., 2020). In generale, vi è accordo sul fatto che in diverse discipline scientifiche, non sia possibile riprodurre un esperimento tale e quale all’originale (una cosiddetta “replicazione esatta”). Secondo Schmidt (2009), ciò è particolarmente vero per le discipline scientifiche che lavorano con “unità irreversibili”, ovvero sistemi complessi che variano inevitabilmente col passare del tempo non rendendo possibile lo stabilire le stesse condizioni dell’esperimento originale. Un esempio offerto sta nelle reazioni fisiologiche dei partecipanti di uno studio a stimoli minacciosi, che si conformano necessariamente in maniera diversa una volta che l’esposizione a questi stimoli viene ripetuta multiple volte in diversi momenti. Più in generale, due esperimenti è inevitabile che si differenzino in una moltetudine di aspetti, tra cui: il campione studiato, il contesto sperimentale (i.e. il laboratorio dove si tiene l’esperimento), la conformazione delle condizioni sperimentali, et cetera. (Nosek et al., 2022). In psicologia sociale, secondo Crandall e Sherman (2016), l’impossibilità di condurre una replicazione esatta viene racchiusa dalla nozione per cui non si può “discendere due volte nello stesso fiume”. L’espressione in questo contesto riflette l’idea che i fenomeni psicologici sono necessariamente influenzati da una moltetudine di fattori quali cultura, lingua, priming di certe conoscenze ed idee, il significato attribuito a domande e frasi, e le esperienze costantemente soggette a cambiamento dei partecipanti a diversi studi. In questo senso, i fenomeni psicologici sono influenzati dal contesto storico e culturale dove avvengono (a differenze dei fenomeni nelle scienze naturali) e ciò rende impossibile replicare un esperimento in maniera esatta rispetto all’originale.

Con questa premessa, un numero di tassonomie è stato sviluppato con l’obbiettivo di definire diversi tipi di replicazione sperimentale. Comunemente, una distinzione molto spesso usata è quella tra i seguenti tipi

a. Replicazione diretta - Una replicazione viene definita come “diretta” se sufficientemente simile all’esperimento originale da un punto di vista metodologico, in maniera tale da aspettarsi legittimamente di ottenere gli stessi risultati (Lebel et al., 2017). Più nello specifico, una replicazione diretta può essere intesa come un esperimento che ripete le carattereristiche cruciali per riprodurre un certo effetto o fenomeno. Le caratteristiche cruciali per la produzione di un certo effetto sono a loro volta basate sulla comprensione teorica dell’effetto stesso. (Zwaan et al., 2018)

b. Replicazione concettuale - Una replicazione viene definita come “concettuale” nel momento in cui si testa una certa ipotesi già testata in precedenza con significative variazioni metodologiche. Un esempio di variazione metodologica significativa può essere l’utilizzo di una diversa operazionalizzazione delle variabili independenti e dipendenti nello studio di replicazione rispetto all’originale. (Schmidt, 2009; Lebel et al., 2017)

Allo stesso tempo, altre tassonomie sono state proposte che vedono la differenza tra diversi tipi di replicazione come riflessa da un continuum di similarità metodologica rispetto all’originale. In questo senso, si possono quindi individuare i seguenti tipi di replicazione:

1. Replicazione esatta - Una replicazione dove tutto ciò che è sotto il controllo del ricercatore viene ripetuto tale e quale all’originale. Ciò include: l’operazionalizzazione delle variabili dipendenti ed indipendenti, gli stimoli utilizzati per le variabili dipendenti ed indipendenti, i dettagli procedurali dell’esperimento e le caratteristiche fisiche del luogo dove l’esperimento avviene. Si ammette invece una variazione nelle variabili contestuali (e.g. momento storico).
2. Replicazione molto prossimale - Una replicazione dove a differenza della replicazione esatta, vi è anche una variazione nei dettagli procedurali dell’esperimento e nelle caratteristiche fisiche del luogo dove l’esperimento avviene (mentre non vi è variazione nell’operazionalizzazione delle variabili e negli stimoli utilizzati.
3. Replicazione prossimale - Una replicazione dove a differenza delle precedenti, vi è anche una variazione negli stimoli utilizzati per le variabili dipendenti ed indipendenti (mentre non vi è variazione per l’operazionalizzazione delle due variabili).
4. Replicazione distale - Una replicazione dove a differenza delle precedenti, vi è anche una variazione nell’operazionalizzazione delle variabili dipendenti ed indipendenti.
5. Replicazione molto distale - Una replicazione per cui ogni singolo aspetto metodologico menzionato in precedenza può essere diverso, e solo l’astrazione teorica del fenomeno è la stessa.

Pratiche di Ricerca Discutibili

Una delle possibili cause dei bassi tassi di replicabilità in diversi campi e sottocampi scientifici può essere vista nelle cosiddette Pratiche di Ricerca Discutibili (PDR). Le pratiche di ricerca discutibili sono una serie di pratiche di ricerca che rientrano in una “zona grigia” tra pratiche accettabili e non accettabili. Il problema principale nell’utilizzo di queste pratiche sta nell’aumentare in maniera significativa la probabilità di ottenere falsi positivi (Simmons, 2011).

Alla luce di ciò, un’alta prevalenza nell’utilizzo di PDR può portare alla proliferazione di un numero significativo di falsi positivi. Studi riportanti questi risultati risultano di conseguenza non-replicabili in successivi studi.

La non-chiara accettabilità delle PDR dipende dall’intenzione del ricercatore che le mette in pratica. A seconda del livello di consapevolezza sulla problematicità del loro impiego, le PDR ricadono lungo un continuum che va dal grave caso di una volontaria “cattiva condotta” scientifica a l’assenza di consapevolezza dello star impiegando pratiche di ricerca problematiche, passando per casi in cui il loro utilizzo viene giustifcato da bias cognitivi o avviene per semplice sbadatggine del ricercatore.

Esempi comuni di PDR includono il formare un’ipotesi solo una volta che si è a conoscenza dei dati (i.e. HARKing), il raccogliere dati fino a quando non si trovano risultati significativi, il riportare esclusivamente le ipotesi che sono state confermate, il riportare esclusivamente le variabili dipendenti che hanno portato a risultati significativi, l’esclusione di outlier, covariate o condizioni sperimentali al fine di ottenere risultati significativi.