Тема 20 от 64· Социална стойност и измерване на въздействието

Резултати и изходи

Изходът е пряк, измерим продукт на дадена дейност — той съществува в момента, в който се извърши предоставянето, независимо от това какъв ефект има. Резултатът е промяната, която следва за засегнатите хора, място или система. „500 души посетиха семинар за търсене на работа" е изход: това е вярно, дори никой от тях да не намери работа. „Перспективите за заетост на 500 души се подобриха" е твърдение за резултат и изисква доказателства за промяна, а не само за присъствие — объркването, което поражда повече подвеждащи отчети по безвъзмездни средства от почти всяка друга грешка в измерването в този сектор.

Защо е важно

Magenta Book на HM Treasury и финансиращи организации като National Lottery Community Fund изискват отчитане на резултатите именно защото изходите са онова, което програмите отчитат по подразбиране: евтини са за броене, винаги са налични и винаги изглеждат положително. Броят на изходите буквално никога не може да спадне вследствие на провал на програмата — повече проведени сесии е винаги „повече", докато резултатът може да разкрие, че програмата не работи. National Audit Office неведнъж е критикувал държавни програми, че отчитат равнищата на дейност, сякаш са доказателство за успех; софтуерна система, която улеснява отчитането само на изходи, затвърждава това по подразбиране, защото изходите не изискват последващо събиране на данни, а резултатите изискват.

Математиката

Няма формула, но има надежден тест за класифициране на показателя:

Тест за изход:    броим ли го в момента на предоставяне, вярно ли е, дори получателят да не е засегнат?
Тест за резултат: изисква ли сравнение преди/след или с/без, за да има смисъл?

Ако едно число може да е вярно при нулева полза за когото и да било, то е изход.

Това стои в рамките на по-широката верига на логическия модел и зависи от връзките към резултатите, определени в теория на промяната; превръщането на резултат в пари използва методите на социалната възвръщаемост на инвестицията.

Практически пример

Местна власт (подкрепа за заетостта): изход — 500 души посетиха семинари за търсене на работа. Резултат — при последваща проверка след 12 месеца 140 от тези 500 (28%) са в устойчива заетост (6+ месеца). Сравнителна група с подобни характеристики, но без достъп до програмата, има изходна заетост от 15% за същия период. Нетно повишение на резултата: 28% − 15% = 13 процентни пункта, т.е. приблизително 500 × 0,13 = 65 допълнителни души са на работа, които иначе нямаше да бъдат — приписваемият резултат, различен както от цифрата 500 за присъствие, така и от суровия брой 140 заети.

Благотворителна организация (организация за грамотност): изход — 1 200 сесии за четене, проведени за 300 деца. Резултат — средната „възраст на четене" се е подобрила с 8 месеца за период от 6 месеца, спрямо очаквана естествена базова прогресия от 6 месеца за 6 месеца. Нетно подобрение: 8 − 6 = 2 допълнителни месеца подобрение на възрастта на четене на дете, приписвано на програмата, а не пълните 8 месеца.

Връзка със софтуерното инженерство

Дневниците със събития и транзакционните системи инструментират изходите почти автоматично — прегледи на страници, сесии, приключени заявки, записани срещи — защото те се генерират от системата, докато върши работата си. Резултатите изискват модел на данни, който улавя същия индивид в по-късен момент спрямо изходно ниво или сравнение, и той трябва да бъде проектиран съзнателно: последващи анкети, свързани административни записи или сравнителна кохорта. Инструмент за отчитане, който поддържа само първото, тихо ще насочва организацията към отчитане само на изходи, независимо какво е поискал финансиращият. Вж. логически модел за мястото на резултатите във веригата на отчетност, разход на резултат за превръщането на това разграничение в показател за единичен разход и показатели за ефективност (KPI) в публичния сектор за по-широкия модел на избор на показатели.

Чести грешки

  • Отчитане на изходи, сякаш са резултати. „500 души присъстваха" загатва за полза, без да я доказва; означавайте присъствието изрично като изход.
  • Липса на изходно ниво или сравнителна група. Цифра за резултат без контрафактуален сценарий — вж. контрафактуален анализ — не може да отдели ефекта на програмата от онова, което би се случило така или иначе.
  • Оптимизиране за финансирания показател. Когато финансирането е обвързано с обема на изходите, екипите по предоставяне рационално максимизират присъствието за сметка на трайната промяна — провал по закона на Гудхарт.
  • „Измиване" на резултатите. Преименуване на показател за изход със звучене на резултат („резултати по ангажираност: 500 присъстващи") без последващо измерване зад него.

Източници