ਵਿਸ਼ਾ 20 / 64· ਸਮਾਜਿਕ ਮੁੱਲ ਅਤੇ ਪ੍ਰਭਾਵ ਦਾ ਮਾਪ
ਨਤੀਜੇ ਬਨਾਮ ਆਊਟਪੁੱਟ
ਆਊਟਪੁੱਟ ਕਿਸੇ ਗਤੀਵਿਧੀ ਦਾ ਸਿੱਧਾ, ਗਿਣਨਯੋਗ ਉਤਪਾਦ ਹੈ — ਇਹ ਉਸੇ ਪਲ ਮੌਜੂਦ ਹੋ ਜਾਂਦਾ ਹੈ ਜਦੋਂ ਸੇਵਾ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ, ਚਾਹੇ ਉਸਦਾ ਕੋਈ ਵੀ ਪ੍ਰਭਾਵ ਹੋਵੇ। ਨਤੀਜਾ ਉਹ ਤਬਦੀਲੀ ਹੈ ਜੋ ਸ਼ਾਮਲ ਲੋਕਾਂ, ਥਾਂ ਜਾਂ ਪ੍ਰਣਾਲੀ ਵਿੱਚ ਅੱਗੇ ਆਉਂਦੀ ਹੈ। "500 ਲੋਕ ਨੌਕਰੀ-ਖੋਜ ਵਰਕਸ਼ਾਪ ਵਿੱਚ ਆਏ" ਇੱਕ ਆਊਟਪੁੱਟ ਹੈ: ਇਹ ਉਦੋਂ ਵੀ ਸੱਚ ਹੈ ਜੇ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਨੂੰ ਕੰਮ ਨਾ ਮਿਲੇ। "500 ਲੋਕਾਂ ਦੀਆਂ ਰੁਜ਼ਗਾਰ ਸੰਭਾਵਨਾਵਾਂ ਸੁਧਰੀਆਂ" ਇੱਕ ਨਤੀਜੇ ਦਾ ਦਾਅਵਾ ਹੈ, ਅਤੇ ਇਸ ਲਈ ਸਿਰਫ਼ ਹਾਜ਼ਰੀ ਦਾ ਨਹੀਂ ਸਗੋਂ ਤਬਦੀਲੀ ਦਾ ਸਬੂਤ ਚਾਹੀਦਾ ਹੈ — ਇਹੀ ਉਲਝਣ ਖੇਤਰ ਵਿੱਚ ਲਗਭਗ ਕਿਸੇ ਵੀ ਹੋਰ ਮਾਪ-ਗ਼ਲਤੀ ਨਾਲੋਂ ਵੱਧ ਗੁੰਮਰਾਹਕੁਨ ਅਨੁਦਾਨ ਰਿਪੋਰਟਾਂ ਪੈਦਾ ਕਰਦੀ ਹੈ।
ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ
HM Treasury ਦੀ Magenta Book ਅਤੇ National Lottery Community Fund ਵਰਗੇ ਫੰਡਰ ਦੋਵੇਂ ਖ਼ਾਸ ਤੌਰ 'ਤੇ ਨਤੀਜਿਆਂ ਦੀ ਰਿਪੋਰਟਿੰਗ ਮੰਗਦੇ ਹਨ ਕਿਉਂਕਿ ਪ੍ਰੋਗਰਾਮ ਮੂਲ ਰੂਪ ਵਿੱਚ ਆਊਟਪੁੱਟ ਹੀ ਦੱਸਦੇ ਹਨ: ਇਹ ਗਿਣਨ ਵਿੱਚ ਸਸਤੇ ਹਨ, ਹਮੇਸ਼ਾ ਉਪਲਬਧ ਹਨ, ਅਤੇ ਹਮੇਸ਼ਾ ਸਕਾਰਾਤਮਕ ਲੱਗਦੇ ਹਨ। ਪ੍ਰੋਗਰਾਮ ਦੇ ਅਸਫਲ ਹੋਣ ਕਰਕੇ ਆਊਟਪੁੱਟ ਦੀ ਗਿਣਤੀ ਸ਼ਾਬਦਿਕ ਤੌਰ 'ਤੇ ਕਦੇ ਘਟ ਨਹੀਂ ਸਕਦੀ — ਵੱਧ ਸੈਸ਼ਨ ਹੋਣਾ ਹਮੇਸ਼ਾ "ਵੱਧ" ਹੀ ਹੁੰਦਾ ਹੈ, ਜਦਕਿ ਨਤੀਜਾ ਦਿਖਾ ਸਕਦਾ ਹੈ ਕਿ ਪ੍ਰੋਗਰਾਮ ਕੰਮ ਨਹੀਂ ਕਰ ਰਿਹਾ। National Audit Office ਨੇ ਸਰਕਾਰੀ ਪ੍ਰੋਗਰਾਮਾਂ ਦੀ ਵਾਰ-ਵਾਰ ਆਲੋਚਨਾ ਕੀਤੀ ਹੈ ਕਿ ਉਹ ਗਤੀਵਿਧੀ ਦੇ ਪੱਧਰ ਇਸ ਤਰ੍ਹਾਂ ਦੱਸਦੇ ਹਨ ਜਿਵੇਂ ਉਹ ਸਫਲਤਾ ਦਾ ਸਬੂਤ ਹੋਣ; ਜਿਹੜੀ ਸਾਫ਼ਟਵੇਅਰ ਪ੍ਰਣਾਲੀ ਸਿਰਫ਼ ਆਊਟਪੁੱਟ ਦੀ ਰਿਪੋਰਟਿੰਗ ਸੌਖੀ ਬਣਾਉਂਦੀ ਹੈ ਉਹ ਇਸਨੂੰ ਮੂਲ ਰੂਪ ਵਿੱਚ ਪੱਕਾ ਕਰਦੀ ਹੈ, ਕਿਉਂਕਿ ਆਊਟਪੁੱਟ ਨੂੰ ਕਿਸੇ ਫ਼ਾਲੋ-ਅੱਪ ਡੇਟਾ ਸੰਗ੍ਰਹਿ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ ਅਤੇ ਨਤੀਜਿਆਂ ਨੂੰ ਹੁੰਦੀ ਹੈ।
ਗਣਿਤ
ਕੋਈ ਸੂਤਰ ਨਹੀਂ, ਪਰ ਕਿਸੇ ਮਾਪ ਨੂੰ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰਨ ਲਈ ਇੱਕ ਭਰੋਸੇਯੋਗ ਪਰਖ ਹੈ:
Output test: is it countable at the point of delivery, true even if the recipient is unaffected?
Outcome test: does it require a before/after or with/without comparison to be meaningful?
If a number can be true with zero benefit to anyone, it is an output.
ਇਹ ਵਿਆਪਕ ਲਾਜਿਕ ਮਾਡਲ ਦੀ ਕੜੀ ਦੇ ਅੰਦਰ ਬੈਠਦਾ ਹੈ ਅਤੇ ਤਬਦੀਲੀ ਦੇ ਸਿਧਾਂਤ ਵਿੱਚ ਪਰਿਭਾਸ਼ਿਤ ਨਤੀਜੇ-ਕੜੀਆਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ; ਨਤੀਜੇ ਨੂੰ ਪੈਸੇ ਵਿੱਚ ਬਦਲਣ ਲਈ ਸਮਾਜਿਕ ਨਿਵੇਸ਼ ਵਾਪਸੀ ਦੀਆਂ ਵਿਧੀਆਂ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ।
ਹੱਲ ਕੀਤੀ ਉਦਾਹਰਨ
ਸਥਾਨਕ ਪ੍ਰਸ਼ਾਸਨ (ਰੁਜ਼ਗਾਰ ਸਹਾਇਤਾ): ਆਊਟਪੁੱਟ — 500 ਲੋਕਾਂ ਨੇ ਨੌਕਰੀ-ਖੋਜ ਵਰਕਸ਼ਾਪਾਂ ਵਿੱਚ ਹਿੱਸਾ ਲਿਆ। ਨਤੀਜਾ — 12 ਮਹੀਨਿਆਂ ਦੀ ਫ਼ਾਲੋ-ਅੱਪ 'ਤੇ ਉਨ੍ਹਾਂ 500 ਵਿੱਚੋਂ 140 (28%) ਟਿਕਾਊ ਰੁਜ਼ਗਾਰ (6+ ਮਹੀਨੇ) ਵਿੱਚ ਹਨ। ਸਮਾਨ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਾਲੇ ਪਰ ਪ੍ਰੋਗਰਾਮ ਤੱਕ ਪਹੁੰਚ ਤੋਂ ਬਿਨਾਂ ਤੁਲਨਾ ਸਮੂਹ ਦੀ ਉਸੇ ਸਮੇਂ ਦੌਰਾਨ ਆਧਾਰ-ਰੇਖਾ ਰੁਜ਼ਗਾਰ ਦਰ 15% ਹੈ। ਸ਼ੁੱਧ ਨਤੀਜਾ ਵਾਧਾ: 28% − 15% = 13 ਪ੍ਰਤੀਸ਼ਤ ਅੰਕ, ਇਸ ਲਈ ਅੰਦਾਜ਼ਨ 500 × 0.13 = 65 ਵਾਧੂ ਲੋਕ ਕੰਮ ਵਿੱਚ ਹਨ ਜੋ ਹੋਰਥੇ ਨਾ ਹੁੰਦੇ — ਇਹ ਕਾਰਨ-ਨਿਰਧਾਰਤ ਨਤੀਜਾ ਹੈ, ਜੋ 500 ਦੇ ਹਾਜ਼ਰੀ ਅੰਕੜੇ ਅਤੇ 140 ਦੇ ਕੱਚੇ ਰੁਜ਼ਗਾਰ ਗਿਣਤੀ ਦੋਵਾਂ ਤੋਂ ਵੱਖਰਾ ਹੈ।
ਚੈਰਿਟੀ (ਸਾਖ਼ਰਤਾ ਚੈਰਿਟੀ): ਆਊਟਪੁੱਟ — 300 ਬੱਚਿਆਂ ਨੂੰ 1,200 ਪੜ੍ਹਨ-ਸੈਸ਼ਨ ਦਿੱਤੇ ਗਏ। ਨਤੀਜਾ — 6 ਮਹੀਨਿਆਂ ਦੀ ਮਿਆਦ ਵਿੱਚ ਔਸਤ ਪੜ੍ਹਨ-ਉਮਰ 8 ਮਹੀਨੇ ਸੁਧਰੀ, ਜਦਕਿ 6 ਮਹੀਨਿਆਂ ਦੀ ਆਮ ਕੁਦਰਤੀ ਤਰੱਕੀ ਦੀ ਆਧਾਰ-ਰੇਖਾ 6 ਮਹੀਨੇ ਸੀ। ਸ਼ੁੱਧ ਨਤੀਜਾ ਲਾਭ: 8 − 6 = ਪ੍ਰਤੀ ਬੱਚਾ ਪੜ੍ਹਨ-ਉਮਰ ਵਿੱਚ 2 ਮਹੀਨਿਆਂ ਦਾ ਵਾਧੂ ਸੁਧਾਰ ਜੋ ਪ੍ਰੋਗਰਾਮ ਦੇ ਖਾਤੇ ਵਿੱਚ ਜਾਂਦਾ ਹੈ, ਪੂਰੇ 8 ਮਹੀਨਿਆਂ ਦਾ ਅੰਕੜਾ ਨਹੀਂ।
ਸਾਫ਼ਟਵੇਅਰ ਇੰਜੀਨੀਅਰਿੰਗ ਨਾਲ ਸਬੰਧ
ਇਵੈਂਟ ਲੌਗ ਅਤੇ ਲੈਣ-ਦੇਣ ਦੀਆਂ ਪ੍ਰਣਾਲੀਆਂ ਆਊਟਪੁੱਟ ਨੂੰ ਲਗਭਗ ਆਪਣੇ-ਆਪ ਮਾਪ ਲੈਂਦੀਆਂ ਹਨ — ਪੰਨਾ ਵੇਖਣਾ, ਸੈਸ਼ਨ, ਬੰਦ ਹੋਈਆਂ ਟਿਕਟਾਂ, ਬੁੱਕ ਹੋਈਆਂ ਮੁਲਾਕਾਤਾਂ — ਕਿਉਂਕਿ ਇਹ ਪ੍ਰਣਾਲੀ ਦੇ ਆਪਣਾ ਕੰਮ ਕਰਨ ਨਾਲ ਪੈਦਾ ਹੁੰਦੇ ਹਨ। ਨਤੀਜਿਆਂ ਲਈ ਅਜਿਹਾ ਡੇਟਾ ਮਾਡਲ ਚਾਹੀਦਾ ਹੈ ਜੋ ਉਸੇ ਵਿਅਕਤੀ ਨੂੰ ਬਾਅਦ ਦੇ ਸਮੇਂ ਆਧਾਰ-ਰੇਖਾ ਜਾਂ ਤੁਲਨਾ ਦੇ ਮੁਕਾਬਲੇ ਫੜੇ, ਜਿਸਨੂੰ ਜਾਣ-ਬੁੱਝ ਕੇ ਡਿਜ਼ਾਈਨ ਵਿੱਚ ਪਾਉਣਾ ਪੈਂਦਾ ਹੈ: ਫ਼ਾਲੋ-ਅੱਪ ਸਰਵੇਖਣ, ਜੁੜੇ ਪ੍ਰਸ਼ਾਸਕੀ ਰਿਕਾਰਡ, ਜਾਂ ਤੁਲਨਾ ਸਮੂਹ। ਜਿਹੜਾ ਰਿਪੋਰਟਿੰਗ ਸਾਧਨ ਸਿਰਫ਼ ਪਹਿਲੇ ਨੂੰ ਸਹਾਰਾ ਦਿੰਦਾ ਹੈ ਉਹ ਚੁੱਪਚਾਪ ਸੰਸਥਾ ਨੂੰ ਸਿਰਫ਼-ਆਊਟਪੁੱਟ ਰਿਪੋਰਟਿੰਗ ਵੱਲ ਧੱਕੇਗਾ ਭਾਵੇਂ ਫੰਡਰ ਨੇ ਕੁਝ ਵੀ ਮੰਗਿਆ ਹੋਵੇ। ਜਵਾਬਦੇਹੀ ਦੀ ਕੜੀ ਵਿੱਚ ਨਤੀਜੇ ਕਿੱਥੇ ਬੈਠਦੇ ਹਨ ਇਸ ਲਈ ਲਾਜਿਕ ਮਾਡਲ ਵੇਖੋ, ਇਸ ਅੰਤਰ ਨੂੰ ਇਕਾਈ-ਲਾਗਤ ਮਾਪ ਵਿੱਚ ਬਦਲਣ ਲਈ ਪ੍ਰਤੀ ਨਤੀਜਾ ਲਾਗਤ, ਅਤੇ ਮਾਪ ਚੁਣਨ ਦੇ ਵਿਆਪਕ ਨਮੂਨੇ ਲਈ ਜਨਤਕ ਖੇਤਰ ਦੇ KPI ਵੇਖੋ।
ਆਮ ਗ਼ਲਤੀਆਂ
- ਆਊਟਪੁੱਟ ਨੂੰ ਨਤੀਜੇ ਵਾਂਗ ਦੱਸਣਾ। "500 ਲੋਕ ਆਏ" ਲਾਭ ਦਾ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੈ ਪਰ ਉਸਨੂੰ ਸਿੱਧ ਨਹੀਂ ਕਰਦਾ; ਹਾਜ਼ਰੀ ਨੂੰ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਆਊਟਪੁੱਟ ਦਾ ਲੇਬਲ ਦਿਓ।
- ਕੋਈ ਆਧਾਰ-ਰੇਖਾ ਜਾਂ ਤੁਲਨਾ ਸਮੂਹ ਨਾ ਹੋਣਾ। ਕਾਊਂਟਰਫੈਕਚੁਅਲ ਤੋਂ ਬਿਨਾਂ ਨਤੀਜੇ ਦਾ ਅੰਕੜਾ — ਕਾਊਂਟਰਫੈਕਚੁਅਲ ਵਿਸ਼ਲੇਸ਼ਣ ਵੇਖੋ — ਪ੍ਰੋਗਰਾਮ ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਉਸ ਤੋਂ ਵੱਖ ਨਹੀਂ ਕਰ ਸਕਦਾ ਜੋ ਵੈਸੇ ਵੀ ਹੋ ਜਾਂਦਾ।
- ਫ਼ੰਡ ਵਾਲੇ ਮਾਪ ਲਈ ਅਨੁਕੂਲਨ। ਜਦੋਂ ਫ਼ੰਡਿੰਗ ਆਊਟਪੁੱਟ ਦੀ ਮਾਤਰਾ ਨਾਲ ਬੱਝੀ ਹੋਵੇ, ਸੇਵਾ ਟੀਮਾਂ ਤਰਕਸੰਗਤ ਤੌਰ 'ਤੇ ਟਿਕਾਊ ਤਬਦੀਲੀ ਦੀ ਬਜਾਏ ਹਾਜ਼ਰੀ ਵਧਾਉਂਦੀਆਂ ਹਨ, ਜੋ Goodhart ਦੇ ਨਿਯਮ ਦੀ ਅਸਫਲਤਾ ਦਾ ਇੱਕ ਰੂਪ ਹੈ।
- ਨਤੀਜਾ-ਧੋਖਾ (outcome washing)। ਕਿਸੇ ਆਊਟਪੁੱਟ ਮਾਪ ਨੂੰ ਨਤੀਜੇ ਵਰਗੀ ਸ਼ਬਦਾਵਲੀ ("ਸ਼ਮੂਲੀਅਤ ਨਤੀਜੇ: 500 ਹਾਜ਼ਰ") ਨਾਲ ਮੁੜ-ਨਾਮ ਦੇਣਾ ਜਦਕਿ ਪਿੱਛੇ ਕੋਈ ਫ਼ਾਲੋ-ਅੱਪ ਮਾਪ ਨਾ ਹੋਵੇ।
ਸਰੋਤ
- HM Treasury, Magenta Book (2020). https://www.gov.uk/government/publications/the-magenta-book
- National Lottery Community Fund, outcomes reporting guidance. https://www.tnlcommunityfund.org.uk/
- National Audit Office, value-for-money report methodology. https://www.nao.org.uk/