أريد للتقييم أن يتتبّع القرار
أقدّر دقة التنبؤ والمعايرة ومقاييس الإنصاف ذات الصلة. وأحتاج إليها لفهم ما يجيده النموذج ومواضع إخفاقه. لكنني لا أعدّها حسابًا كاملًا عن نظام يوزّع مقابلات أو زيارات رقابية أو فرصًا محدودة أخرى. وأريد تتبّع الدرجة إلى الفعل، لأن المؤسسة تغيّر عند تلك النقطة شيئًا في حياة شخص.
أستخدم مقارنة افتراضية لتوضيح السؤال. يحصل نموذجان على تقييمات مجمّعة متقاربة في المجتمع نفسه، ثم يُستخدم كل منهما لاختيار عدد محدّد من الأشخاص. ولا أفترض أن القائمتين تضمّان الأفراد أنفسهم. وقبل أن أصف النظامين بأنهما متكافئان تشغيليًا، أريد فحص ما إذا كان تشابههما الظاهر يصمد أمام قاعدة القرار التي تحوّل الترتيب إلى اختيار.
ماذا أقصد بهوية التخصيص؟
أستخدم هوية التخصيص للتركيز على مَن يحصل على النتيجة. فقد يغيّر تعديل قريب من حدّ الاختيار فرصة شخص، مع تغيّر محدود في التقييم الإجمالي. وأريد معرفة الأفراد الذين يدخلون مجموعة المختارين أو يخرجون منها، وسبب ذلك، وما إذا كان مبرّرًا. ولا أتعامل مع تغيّر الاختيار بوصفه خطأ تلقائيًا؛ فقد يستلزم التصحيح تغيير مَن يُختار.
وأريد أيضًا إبقاء السؤال الفردي والسؤال الجماعي ظاهرين معًا. فتشابه نسب المجموعات لا يعني بالضرورة اختيار الأشخاص أنفسهم داخل كل مجموعة. وأفحص هذا التمييز عندما تكون للفرصة الفردية تبعات مؤثرة. ولا أستنتج الإنصاف أو غيابه من تداخل الهويات وحده؛ إذ ينبغي أن يستند هذا الحكم إلى الأهداف المعنية والأدلة والسياسة وإمكانات المراجعة.
التدقيق الذي أطلب من المؤسسة الدفاع عنه
أطلب وصفًا يربط أداء النموذج والمقاييس الجماعية ذات الصلة وقاعدة التخصيص والسعة المتاحة. ثم أسأل عمّا يتغيّر في مجموعة المختارين عندما يتغيّر النموذج أو القاعدة، بما يشمل التعامل مع عدم اليقين والتعادل. وأريد للتفسير أن يحدّد الاختيارات التي تعود إلى المؤسسة والسلوك الذي يصدر عن النموذج، كي لا تضيع المسؤولية بينهما.
وأطبّق هذا التوقّع بما يتناسب مع السياق. فلا أحتاج إلى تدقيق معقّد للهويات في كل توصية محدودة الأثر. وأطلب فحصًا أعمق حين تكون الفرص نادرة، أو تتراكم تبعات القرارات المتكررة، أو تقلّ فرصة الشخص في العودة للمنافسة. وأريد كذلك إجراء تحليل الهوية بصلاحيات وصول مناسبة. فإتاحة فحص القرار للمراجعين المخوّلين لا تستلزم كشف السجلات المعرّفة بالأشخاص للجمهور.
السؤال وراء بحثي
أربط هذه الحجة ببحثي في RIDI والعلاقة بين التقييم والقرارات اللاحقة. ويهمّني ما يتركه التدقيق المعلَن غير محدّد بشأن الفعل الذي يليه. وأرى سؤال التخصيص جزءًا من التزام أوسع بفحص الأنظمة عند المستوى الذي تعمل فيه. وعندما يقال لي إن نظامين يتقاربان في الأداء، يكون سؤالي التالي: هل يتخذان القرارات نفسها بشأن الأشخاص أنفسهم، وهل يهمّ الفرق في هذا السياق؟