Тема 18 із 64· Соціальна цінність і вимірювання впливу
Теорія змін
Теорія змін (theory of change) — це явний, змальований у зворотному напрямку причинний шлях від довгострокової цілі до передумов і діяльності, які мають існувати для її досягнення, разом із припущеннями, що з'єднують кожну ланку. Її будують, починаючи з бажаного результату й багаторазово питаючи «що має бути істинним безпосередньо перед цим, щоб це сталося?», доки не дійдуть до діяльності, яку справді можна забезпечити, — це протилежний напрям до логічної моделі, і саме тому вони доповнюють одна одну, а не взаємозамінні.
Чому це важливо
Метод зворотного змалювання формалізували Center for Theory of Change та ActKnowledge, спираючись на роботу оцінювачки Керол Вайс над тим, щоб зробити припущення програм явними, щоб їх можна було перевіряти, а не приймати на віру. Британське оцінювання грантів засвоїло це безпосередньо: Magenta Book HM Treasury вважає теорію змін відправною точкою будь-якого дизайну оцінювання, а фундатори, як-от National Lottery Community Fund, вимагають від заявників сформулювати її, перш ніж фінансувати пропозицію. Причина, чому це важливо для програмного інженера, у тому, що теорія змін — документ, який має визначати, що ваша система повинна вимірювати: якщо причинний ланцюг каже «охоплення допомогою залежить від того, що заявники отримують персоналізований розрахунок», це перевірювана заява, яку ваш продукт можна оснастити для підтвердження чи спростування.
Математика
Теорія змін структурна, а не числова. Кожна ланка має нести і припущення, і індикатор, який міг би показати, що припущення хибне:
Довгостроковий результат (мета)
↑ передумова + припущення + індикатор
Проміжний результат N
↑ передумова + припущення + індикатор
...
Проміжний результат 1
↑ передумова + припущення + індикатор
Діяльність / втручання
↑ вкладені ресурси
Ресурси
Ця структура живить методи оцінювання впливу, які існують для перевірки, чи припущення на кожній ланці справді виконуються, та контрфактичний аналіз, який перевіряє, чи довгостроковий результат настав би і так.
Робочий приклад
Місцева влада (запобігання безпритульності): довгостроковий результат — стійкі оренди через 12 місяців для домогосподарств, яким загрожує виселення.
- Передумова: домогосподарства мають реалістичний, доступний план погашення заборгованості. Припущення: плани, узгоджені працівником, стійкіші за призначені судом. Індикатор: % планів, що все ще діють через 6 місяців.
- Передумова: домогосподарства звертаються за допомогами, на які мають право. Припущення: цифровий калькулятор допомог збільшує кількість правильних заяв порівняно з паперовими формами. Індикатор: частка точності заяв, порівняно до/після запровадження інструмента.
- Діяльність: сортування працівником, цифровий калькулятор допомог, переговори щодо заборгованості.
У пілотній когорті з 120 домогосподарств припущення про калькулятор допомог виправдалося для 102 домогосподарств (85%), які надалі правильно подали заяви, що підтвердило подальше оцінювання процесу, — давши команді програми доказ для цієї конкретної ланки, а не єдину наскрізну заяву про запобігання безпритульності.
Благодійна організація (наставництво молоді): довгостроковий результат — зменшення виключень зі школи. Передумови, змальовані у зворотному напрямку: покращена емоційна регуляція → довірчі стосунки віч-на-віч з наставником → стабільний щотижневий контакт протягом двох семестрів. Теорія чітко стверджує, що відсутність передумови «стабільний щотижневий контакт» (скажімо, через плинність наставників) передбачає, що результат не настане, що є перевірюваною, спростовуваною заявою, а не надією.
Зв'язок з програмною інженерією
Теорія змін має формувати модель даних продукту ще до того, як створено хоч одну панель: визначте, які ланки потребують індикатора, і оснастіть саме їх, замість типового фіксування того, що найлегше журналювати. Вона також дисциплінує розмови про дорожню карту — функція, що не відповідає жодній ланці ланцюга, очевидно не варта створення. Див. логічну модель щодо спрямованого вперед ланцюга підзвітності, збудованого після узгодження теорії, соціальну віддачу на інвестиції щодо методу, що залежить від теорії змін для окреслення результатів до оцінки, та результати проти продуктів щодо розрізнення, від якого залежать ланки проміжних результатів.
Пастки
- Плутанина з логічною моделлю. Теорія змін причинна й пояснювальна (чому ми віримо, що це працює); логічна модель послідовна й описова (що відбувається в якому порядку). Створення лише однієї залишає відсутнім або «чому», або слід підзвітності.
- Залишення припущень неявними. Вся цінність зворотного змалювання — у виявленні перевірюваних припущень; теорія змін, що лише перелічує блоки та стрілки, не називаючи, що могло б зробити кожну ланку хибною, — декорація.
- Створення раз і відкладання на полицю. Теорія змін, написана для грантової заявки й ніколи не переглянута, перестає бути корисною, щойно докази починають суперечити ланці.
- Пропуск внеску зацікавлених сторін. Теорія змін, збудована повністю замовниками без внеску працівників першої лінії чи бенефіціарів, має схильність кодувати припущення, в які ніхто з тих, хто надає послугу, насправді не вірить.
Джерела
- Center for Theory of Change. https://www.theoryofchange.org/
- ActKnowledge. https://www.actknowledge.org/
- HM Treasury, Magenta Book (2020), Chapter 3. https://www.gov.uk/government/publications/the-magenta-book
- National Lottery Community Fund, theory of change guidance. https://www.tnlcommunityfund.org.uk/