Metoda różnicy w różnicach

Zmiany współczynnika aktywności zawodowej kobiet objętych i nieobjętych podniesieniem kwoty wolnej od podatku w 1994 r. w USA; jest to przykład danych odpowiednich do analizy techniką różnic w różnicach

Metoda różnicy w różnicach (ang. difference in differences, DID) – używana w ekonometrii i innych naukach społecznych quasi-eksperymentalna technika oszacowania wpływu badanej zmiennej niezależnej na dane obserwacyjne z eksperymentu naturalnego. Zmiany zachodzące w takich obserwacjach analizowane są z reguły przy pomocy regresji liniowej jako interakcja w sposób pozwalający wyodrębnić interesujący badaczy efekt.

W metodzie tej obserwuje się podobne wyjściowo populacje, które z zewnętrznych – w idealnym przypadku, całkowicie losowych – przyczyn poddane zostały różnemu oddziaływaniu interesującej badaczy zmiennej. Przykładowo, sytuacje takie powstają w następstwie ograniczonej geograficznie zmiany prawa, zdarzenia przyrodniczego, lub losowych przydziałów do uzyskania świadczenia społecznego. Tworzy to naturalny odpowiednik grupy kontrolnej i grupy eksperymentalnej. Ich zaobserwowane własności są następnie porównywane – z zasady z użyciem regresji, w której kontroluje się niezależne zmiany wewnątrz grup w czasie (efekty zmiennych zakłócających), i pomiędzy grupami (wyjściowe różnice) – aby wyizolować przedmiot badania: te z pozostałych zmian, które są związane zarówno z przynależnością do danej grupy, jak i ze stanem zmiennej niezależnej (innymi słowy, efekt interakcji grupa × czas).

O ile rzeczywiście udało się skontrolować zmienne zakłócające, technika ta pozwala rzetelnie mierzyć efekty oddziaływań niedostępnych właściwym eksperymentom ze względów finansowych lub etycznych. Eksperymenty naturalne badane metodą DID mogą obejmować o wiele większe próby i cechować się wyższą trafnością od badań laboratoryjnych, porównań przekrojowych pomiędzy grupami w jednym momencie, lub porównań podłużnych jednej grupy. Metoda różnicy w różnicach zawodzi jednak, jeśli zmienne zakłócające nie zostały prawidłowo rozpoznane. Zawodne mogą być również oparte na tej technice wnioski o związkach przyczynowo-skutkowych: przykładowo, przyczynowość może być odwrotna.

Definicja formalna

Różne stopnie zmiany w różnych grupach (wizualnie, trendy które przestają być równoległe po zmianie w badanym czynniku) charakterystyczne dla interakcji statystycznych i stanowiące podstawę techniki DID

W regresji z użyciem dwóch zmiennych technice różnic w różnicach odpowiada model:

$y_{ist}={\beta }_0+{\beta }_{1}s+{\beta }_{2}t+{\beta }_{3}s\cdot t+{ϵ}_{ist}$

w którym $y_{ist}$ to poziom zmiennej zależnej dla osoby $i,$ warunkowo względem $s$ i $t.$ Wymiary $s$ i $t$ mogą opisywać na przykład kraj zamieszkania i rok. Towarzyszące im współczynniki ${\beta }_1$ i ${\beta }_2$ oszacowują więc różnice związane tylko z upływem czasu, lub innym miejscem zamieszkania. Współczynnik ${\beta }_3$ oszacowuje „różnice w różnicach” – wielkość efektu związaną jednocześnie z położeniem i upływem czasu. Jeśli to potrzebne, stosuje się przy nim zmienną zero-jedynkową (dummy) do oznaczenia grup, w których nastąpiła zmiana w zmiennej niezależnej.

Jest to specyficzna dla tego kontekstu eksperymentalnego interpretacja typowej interakcji statystycznej: oprócz tego, że porównywane populacje zmieniały się w czasie, część zmian zachodziła w różnych grupach w istotny sposób inaczej.

Jeśli przyjmiemy dla prostoty przykładu, że zmienne $s$ i $t$ przyjmują jedynie dwie wartości, $s=A,B$ i $t=1,2,$ wówczas różnice średnich efektów w tych grupach spełniają następującą zależność:

${\beta }_3=({\bar{y}}_{D,2}-{\bar{y}}_{D,1})-({\bar{y}}_{A,2}-{\bar{y}}_{A,1})$

Wraz z uwzględnianiem dodatkowych parametrów kontrolujących zmienne zakłócające uzyskiwane oszacowanie powinno stawać się odporniejsze na błędy. Wyjątkiem od tego są zmienne, które nie są egzogenne (tzw. collider variables) – regresja opiera się na założeniu o ścisłej egzogeniczności modelu.

Wszystkie założenia zastosowanej metody statystycznej, z zasady regresji metodą najmniejszych kwadratów, obowiązują w przypadku techniki różnicy w różnicach. Dodatkowo, metoda DID przyjmuje założenie równoległości trendów. Przy braku zmiany badanego czynnika, różnica pomiędzy porównywanymi grupami powinna być stała. Piętą achillesową techniki są warunki, w których oprócz zmiany badanego czynnika zaszły inne, zakłócające zmiany.

Przykład: badanie Carda i Kruegera (1994)

Jedną z najczęściej cytowanych publikacji stosujących metodę różnicy w różnicach jest badanie Carda i Kruegera z 1994 r. o efektach zmiany płacy minimalnej w stanie New Jersey. Autorzy porównali poziom zatrudnienia w branży fast food w tym stanie oraz sąsiadującej i podobnej Pensylwanii, w okresie podniesienia płacy minimalnej z $4,25 do $5,05 w 1992 r. Zestawienie samych zmian zatrudnienia w New Jersey przed i po reformie prawa byłoby narażone na błędy ze względu na trudność rzetelnego skontrolowania takich czynników, jak lokalne warunki makroekonomiczne czy pogodowe. Wykorzystanie obserwacji z Pensylwanii jako naturalnej grupy kontrolnej pozwala przeciwdziałać temu problemowi. Badacze uwzględnili dodatkowo w kilku alternatywnych modelach szereg zmiennych kontrolnych, aby zweryfikować odporność wyników. Rezultaty porównania zasugerowały, że – przeciwnie do oczekiwań nasuwanych przez najprostsze, klasyczne teorie – podniesienie płacy minimalnej nie spowodowało w tym przypadku wzrostu bezrobocia. Badanie to zapoczątkowało trwającą nadal polemikę na temat interpretacji i replikowalności jego wyników.