Temat 19 z 64· Wartość społeczna i pomiar wpływu

Model logiczny

Model logiczny (logic model) to liniowy diagram łączący nakłady, działania, produkty, rezultaty i wpływ programu, czytany od lewej do prawej jako łańcuch rozliczalności: zasoby wchodzą, działania się odbywają, produkty są wytwarzane, rezultaty zmieniają się dla beneficjentów, a wpływ narasta w szerszej lub dłuższej skali czasu. To standardowa struktura, względem której fundatorzy i audytorzy oczekują, że program będzie raportowalny, oraz zorientowany w przód odpowiednik mapowanej wstecz teorii zmiany.

Dlaczego to ważne

Magenta Book HM Treasury określa model logiczny jako wymagany element projektu ewaluacji programu, a fundatorzy tacy jak National Lottery Community Fund budują swoje szablony wniosków i raportowania wokół dokładnie tego pięciokolumnowego łańcucha. Jego wartość polega na tym, że zmusza program do określenia na jednym diagramie, ile wyda, co z tym zrobi, co wytworzy i — krytycznie — co powinno się zmienić w rezultacie, na poziomie szczegółowości, który akapit prozy zwykle zaciemnia. Model logiczny z wypełnionymi kolumnami nakładów i działań, ale pustą lub niejasną kolumną rezultatów, jest rozpoznawalny na pierwszy rzut oka, i właśnie dlatego fundatorzy o niego proszą.

Matematyka

Model logiczny to łańcuch strukturalny, a nie wzór:

Nakłady         Działania         Produkty             Rezultaty             Wpływ
(zaangażowane   (co się z nimi    (bezpośrednie,       (zmiana dla           (długoterminowa
 zasoby)         robi)             policzalne wyniki)   beneficjentów)        zmiana na poziomie
                                                                              populacji lub
                                                                              systemowa)

Każda kolumna powinna być bardziej szczegółowa niż poprzednia: nakłady to to, co wydajesz, działania to to, co robisz, produkty to to, co zostaje dostarczone niezależnie od efektu, rezultaty to to, co zmienia się w skutek — rozróżnienie omówione w całości w rezultatach a produktach — a wpływ to trwała, często tylko częściowo przypisywalna, długoterminowa zmiana.

Przykład obliczeniowy

Samorząd lokalny (cyfrowa usługa doradztwa zadłużeniowego):

  • Nakłady: roczny budżet 180 000 £, 4,0 etatów doradców, system obsługi spraw.
  • Działania: sesje informacyjne, indywidualne wizyty doradztwa zadłużeniowego.
  • Produkty: 900 przeprowadzonych wizyt; 750 wydanych planów zadłużeniowych i świadczeniowych.
  • Rezultaty: spośród klientów docierających do 6-miesięcznej obserwacji, 60% (450 z 750) zgłasza zmniejszone zaległości, średnio zmniejszenie o 1200 £ na klienta — 540 000 £ łącznego zmniejszenia zaległości.
  • Wpływ: mierzalny spadek wniosków o pomoc dla bezdomnych w bazie klientów usługi w ciągu dwóch lat, tylko częściowo przypisywalny tej usłudze obok innych interwencji (zob. analiza kontrfaktyczna).

Organizacja charytatywna (partnerstwo skierowań do banku żywności):

  • Nakłady: 45 000 £, 1,5 etatu koordynatora, umowy partnerskie z 12 instytucjami kierującymi.
  • Działania: segregacja skierowań, pakowanie i dystrybucja paczek.
  • Produkty: 5000 paczek żywnościowych rozdanych 1100 gospodarstwom.
  • Rezultaty: 68% ankietowanych gospodarstw (748 z 1100) zgłasza poprawę bezpieczeństwa żywnościowego podczas rozmowy kontrolnej po 4 tygodniach.
  • Wpływ: wkład w zmniejszenie lokalnego zapotrzebowania na usługi kryzysowe, udokumentowany tylko w zagregowanych statystykach obszaru, nieprzypisywalny samej tej organizacji.

Związek z inżynierią oprogramowania

Model logiczny jest bliski dosłownemu modelowi danych dla systemu rezultatów: nakłady i działania to dane operacyjne, które już posiadasz (wydatki, personel, dzienniki sesji); produkty łatwo oprzyrządować, bo są liczone w punkcie dostarczenia; rezultaty wymagają celowo zaprojektowanego zbierania danych kontrolnych (ankiety, powiązanie danych administracyjnych), które nie będzie istnieć, dopóki ktoś go nie zbuduje; wpływ zwykle wymaga powiązanych, podłużnych lub populacyjnych danych poza systemami jakiegokolwiek pojedynczego programu. Inżynierowie budujący narzędzia raportowe powinni naciskać na zamawiających, by definiowali wskaźniki rezultatów i wpływu na etapie projektowania, zamiast domyślnie wybierać pulpit wyłącznie produktów, bo to wspierają już dane transakcyjne. Zob. społeczny zwrot z inwestycji dla metody, która wycenia konkretnie kolumny rezultatów i wpływu, oraz realizację korzyści dla śledzenia, czy kolumna wpływu została faktycznie dostarczona.

Pułapki

  • Zatrzymywanie się na produktach. Pulpit raportujący przeprowadzone wizyty lub rozdane paczki i sugerujący korzyść raportuje działalność, a nie wyniki — zob. rezultaty a produkty.
  • Brak wyrażonego związku przyczynowego między kolumnami. Model logiczny podaje łańcuch, ale nie dlaczego działania miałyby dawać produkty, które miałyby dawać rezultaty; to uzasadnienie należy do teorii zmiany, a model logiczny bez niej jest nieprzetestowany.
  • Traktowanie go jako jednorazowego dokumentu wniosku. Modele logiczne stworzone wyłącznie dla spełnienia wniosku o finansowanie i nigdy nieaktualizowane przestają odzwierciedlać to, co program faktycznie robi.
  • Pełzanie przypisania w kolumnie wpływu. Twierdzenie, że zmiana na poziomie populacji została spowodowana wyłącznie przez jeden program, bez kontrfaktu, przecenia to, co wspierają dowody.

Źródła