يطرح عضو مجلس الإدارة السؤال في ختام الاجتماع، بعد الشرائح، وبعد صور المشاركين المبتسمين: «إذن، هل نجح؟» فيقول مدير البرنامج إن التسجيل ارتفع، ودرجات الرضا عالية، والفريق فخور بالإطلاق. كل هذا قد يكون صحيحًا، ولا شيء منه يجيب عن السؤال. تحسّن الأمور بعد البرنامج ليس كتحسّنها بسبب البرنامج. والتمييز بين الاثنين هو كامل مهمة التقييم، وهي مهمة تستطيع أداءها جيدًا بميزانية متواضعة إن خطّطت لها مبكرًا.
تدرّبت على مناهج التقييم في برنامج ICPSR الصيفي، وتركّزت دكتوراهي في البحث والتقويم وتقييم البرامج. معظم التقييمات التي أراها تُخفق للسبب نفسه: لم يقرّر أحد، قبل انطلاق البرنامج، كيف سيعرفون إن كان قد نجح. يمشي هذا الدليل عبر الأسئلة التي تحسم ذلك، بلغة مبسّطة، كي تكلّف أو تنفّذ تقييمًا يصدّقه مموّل متشكّك فعلًا.
أولًا: قرّر ما الذي تسأل عنه حقًا
«هل نجح» يخفي سؤالين مختلفين على الأقل، والخلط بينهما يهدر المال.
- هل نفّذناه جيدًا؟ هذا تقييم العملية. هل وصل البرنامج إلى الفئة المقصودة، بالجرعة التي صُمم لها، وبالطريقة المكتوبة؟ برنامج دعم دراسي التقى نصف المرات المخطط لها لم يفشل في المساعدة؛ إنه لم يُختبر أصلًا. لا يمكنك الحكم على نتيجة لم تُنفّذها قط.
- هل غيّر شيئًا؟ هذا تقييم النتيجة، وهو ما يسأل عنه المجلس. هل صار من مرّوا بالبرنامج أفضل حالًا مما كانوا سيكونون عليه لولاه، في أمر يهمّك وقِسته؟
وهناك فصل زمني يستحق التسمية. التقييم التكويني يجري والبرنامج ما زال يتحرك، كي تصلحه. والتقييم الختامي يطرح الحكم النهائي بنعم أو لا في النهاية. من الأخطاء الشائعة والمكلفة أن تنفق كامل الميزانية على حكم ختامي، فتكتشف متأخرًا مشكلة تنفيذ كان فحص تكويني في الشهر الثاني سيلتقطها.
أصعب سؤال هو «مقارنةً بماذا؟»
هنا الفخ في قلب كل تقييم. تقيس المشاركين قبل البرنامج وبعده، فيتحسّنون، فيبدو ذلك دليلًا. لكنك لا ترى أبدًا الخط الزمني الآخر: ما الذي كان هؤلاء الأشخاص أنفسهم سيفعلونه دون البرنامج. تلك المقارنة الخفية، أي الوضع المقابل، هي ما يحاول كل تصميم موثوق أن ينوب عنه.
تحسّن الأمور بعد البرنامج ليس كتحسّنها بسبب البرنامج. وكامل الحرفة هو تقدير ما كان سيحدث على أي حال.
أشياء كثيرة تحرّك النتائج من تلقاء نفسها. من يسجّل في برنامج تدريب مهني غالبًا هم الأكثر بحثًا عن العمل أصلًا، فكانوا سيجدون وظائف بمعدل أعلى بأي حال. ودرجة قراءة تُقاس بعد خطّ أساس متدنٍّ تميل إلى الارتداد صعودًا وحدها، وهو نمط يُسمى الانحدار نحو المتوسط، سواء تدخّلت أم لا. والاقتصاد يتحسّن، والموسم يتغير، وسياسة في مكان آخر تتبدّل. التقييم الجيد يعزل أثر البرنامج عن كل ذلك. والضعيف ينسب لنفسه فضل المدّ.
تصاميم تستطيع تحمّل كلفتها فعلًا
لا تحتاج إلى مختبر. تحتاج إلى جواب قابل للدفاع عن «مقارنةً بماذا»، وثمة سُلّم خيارات من الأقوى إلى الأكثر عملية.
التوزيع العشوائي، حين يكون ممكنًا
إذا رغب في البرنامج أكثر مما تستطيع خدمته دفعة واحدة، فالقرعة عادلة وصارمة في آن. توزيع من يدخل الآن ومن يدخل لاحقًا عشوائيًا يُنشئ مجموعتين متشابهتين في المتوسط، فأي فرق لاحق بينهما هو أثر البرنامج. هذا أنظف تصميم، وهو متاح غالبًا في المواقف التي يفترض الناس أنه غير متاح فيها: قائمة الانتظار فرصة توزيع عشوائي مختبئة على مرأى من الجميع.
مجموعة مقارنة لم تُوزَّع عشوائيًا
حين يتعذّر التوزيع العشوائي، ابحث عن مجموعة تشبه مشاركيك قدر الإمكان ولم تمرّ بالبرنامج: موقع آخر، أو دفعة لاحقة، أو متقدمون لم يلتحقوا لأسباب لا صلة لها بنتائجهم. الخطر أن تختلف المجموعتان بطرق لا تراها، لذا تحاول مناهج مثل المطابقة والفروق في الفروق تسوية الملعب بمقارنة التغيّرات عبر الزمن بدل المستويات الخام. ليست محكمة كالقرعة، لكن مجموعة مقارنة مختارة جيدًا أقنع بكثير من مجموعة واحدة قِيست مرتين.
السلاسل الزمنية المنقطعة
حين يبدأ برنامج أو سياسة في تاريخ معلوم ولديك بيانات من قبله بمدة ومن بعده بمدة، تستطيع استخدام تاريخ البرنامج نفسه مقارنةً. تثبّت خط الاتجاه الذي كانت النتيجة تسير عليه أصلًا، ثم تختبر هل ينزاح الخط، في المستوى أو في الميل، عند بدء البرنامج تحديدًا. استخدمت هذا الأسلوب لدراسة سياسة القبول، حيث كثيرًا ما لا تستطيع توزيع الطلاب على شروط، لكن لديك سنوات من السجلات. قوّته أن اتجاه ما قبل البرنامج يؤدي جزءًا كبيرًا من مهمة استبعاد «كان الأمر متجهًا إلى هناك أصلًا». وضعفه أي شيء آخر تغيّر في اللحظة نفسها، فتذكر تلك التهديدات بأمانة بدل التظاهر بأنها غير موجودة.
قبل وبعد، مستخدمًا بأمانة
أحيانًا يكون قياس بسيط قبل وبعد على مجموعة واحدة كل ما تسمح به الميزانية. لا بأس، ما دمت تقول بوضوح ما يستطيع إظهاره وما لا يستطيع. يستطيع إخبارك هل تغيّر المشاركون. ولا يستطيع وحده إخبارك أن البرنامج سبّب التغيّر. مذكورةً بهذا التحفّظ، نتيجة قبل-وبعد دليل أمين يستحق الاقتناء. ومذكورةً كبرهان على الأثر، فهي أشيع طريقة تضلّل بها التقييمات من دفعوا ثمنها.
الأرقام تخبرك هل، والكلمات تخبرك لماذا
تقييم كمّي بحت قد يُظهر أن الدرجات تحرّكت دون تفسير ما جرى داخل البرنامج فحرّكها، وتلك الفجوة تهمّ حين تريد تكرار العمل أو توسيعه. هنا تثبت المناهج المختلطة جدواها. المقابلات ومجموعات التركيز والإجابات المفتوحة تخبرك أي أجزاء استخدمها المشاركون فعلًا، وأين تعطّل البرنامج، ولماذا سار رقمٌ في اتجاهه. أحلّل هذا النوع من المواد بأدوات مثل Atlas.ti وأقرنه بالجانب الكمّي في STATA أو SPSS أو R. ويتحقّق النصفان أحدهما من الآخر: إن قالت الأرقام إنه نجح ولم يستطع المشاركون الإشارة إلى شيء تغيّر لهم، فتلك إشارة لتدقّق أكثر قبل أن تحتفل.
كيف يختلّ تقييم بهدوء
معظم التقييمات المضلِّلة ليست غير أمينة. إنها نتيجة أخطاء قليلة متوقّعة.
- قياس السهل بدل الحقيقي. الحضور والرضا سهلا الجمع، فيحلّان محل نتائج لم يقِسها أحد. ورشة قد تكون جيدة الحضور ودافئة التقييم ولا تغيّر أي سلوك.
- التدريس للمقياس. ما إن يصير رقم واحد هو الهدف، حتى يحسّن الناس الرقم بدل الشيء الذي كان يفترض أن يمثّله. اختر مقاييس يصعب التلاعب بها، وأكثر من واحد حيثما أمكن.
- الصيد بحثًا عن نتيجة إيجابية. إن اختبرت البرنامج مقابل عشرين نتيجة وأبلغت عن اثنتين خرجتا جيدتين، فقد وجدت ضجيجًا لا أثرًا. حدّد نتائجك الرئيسة قبل النظر إلى البيانات، وقُل كم أمرًا اختبرت.
- الخلط بين الدلالة الإحصائية والأهمية. نتيجة قد تكون قابلة للرصد إحصائيًا وأصغر من أن تبرّر الكلفة، أو مهمة فعلًا لكنها قِيست على عيّنة أصغر من أن تؤكّدها. أبلغ عن حجم الأثر ومدى عدم يقينه، لا عن مجرّد تجاوز قيمة p لخط.
كيف يبدو تقرير تقييم مفيد
أفضل تقرير أستطيع كتابته لمموّل هو ما يستطيع التصرّف بناءً عليه، لا ما يختبئ خلف المنهج. يذكر السؤال بلغة مبسّطة، ويُظهر ما نُفّذ فعلًا قبل ادعاء أي أثر، ويعطي حجم النتيجة مع مدى أمين حولها، ويفصل ما يستطيع التصميم دعمه عمّا لا يستطيع. يقول ما فاجأنا. ويسمّي التهديدات التي لم نستطع استبعادها تمامًا. وينتهي بقرار يستطيع القارئ اتخاذه: أبقِه، أو أصلح هذا الجزء تحديدًا، أو اختبره على نطاق أوسع، أو أوقفه. تقرير لا يستطيع أن يخلص إلا إلى «كان البرنامج ناجحًا» غالبًا لم يُصمَّم كي يخلص إلى أي شيء آخر.
الخلاصة
هل نجح البرنامج سؤال حقيقي وقابل للإجابة، لكن فقط إن قرّرت كيف ستجيب عنه قبل أن يبدأ البرنامج. لا يلزم أن يكون التصميم مكلفًا؛ يلزم أن يملك «مقارنةً بماذا» موثوقة. ابنِ ذلك مبكرًا، وقِس ما يهمّ بدل ما يسهل، وكن أمينًا بشأن عدم اليقين، وستنتهي بدليل يثق به مجلس وبرنامج تستطيع تحسينه فعلًا.
تقييم البرامج وتحليل السياسات جزء من عملي. إذا احتاجت جهتكم أو مؤسستكم أو منظمتكم غير الربحية تصميم تقييم أو جعل تقييم قائم قابلًا للدفاع، تواصلوا معي لنحدد نطاقه.