دليل تشغيلي كامل لفريق من ١٠ أشخاص: بناء داتاست عالي الجودة عبر أربعة مسارات، بتعليمات مفصّلة، وإعدادات واجهة XML لكل معلّم، ونظام تجميع وحسم يقوده مُجمِّع واحد.
الهدف بناء داتاست مُعنون عالي الجودة يخدم تدريب/تقييم نماذج توجيه البرومبتات وتقدير صعوبتها وتصنيف مجالها، بالإضافة إلى تصنيف بيانات عامة متعدد الأبعاد لأغراض NLP.
ملف gold_dataset.json موحّد، خالٍ من الخلافات، مبنيّ على تصويت أغلبية وحسم بشري، مصحوب بتقرير جودة يوضّح نسب اتفاق المعلّمين (IAA) لكل حقل.
| المسار | المحتوى | الأبعاد | العدد | الإعداد (XML) |
|---|---|---|---|---|
| أ برومبتات ترجمة عامة | تصنيف اتجاه/نوع/مجال/صعوبة/جودة صياغة | ٩ | ٤٥ | config_A_general_prompts.xml |
| ب برومبتات ترجمة قانونية | نوع المستند/النظام القانوني/كثافة المصطلح/المخاطرة | ١٠ | ٤٥ | config_B_legal_prompts.xml |
| ج برومبتات ترجمة صحفية | النوع الصحفي/الحساسية/السجل/التوطين الثقافي | ١٠ | ٤٥ | config_C_journalistic_prompts.xml |
| د بيانات عامة (متقدم) | لغة/موضوع/نية/مشاعر/سلامة/جودة/كيانات | ١٠ | ٦٥ | config_D_general_data_advanced.xml |
٩ معلّمين موزّعين على أربعة مسارات + مُجمِّع واحد يقود التجميع وضمان الجودة.
| # | الكود | الدور | المسار | المسؤولية الأساسية |
|---|---|---|---|---|
| ١ | A1 | معلّم | أ | تصنيف برومبتات عامة + النصف الأول من التداخل |
| ٢ | A2 | معلّم | أ | تصنيف برومبتات عامة + النصف الثاني من التداخل |
| ٣ | B1 | معلّم (خبرة قانونية) | ب | تصنيف قانوني — يفضّل خلفية ترجمة محلّفة |
| ٤ | B2 | معلّم (خبرة قانونية) | ب | تصنيف قانوني — يفضّل خلفية ترجمة محلّفة |
| ٥ | C1 | معلّم | ج | تصنيف صحفي — حسّاسية سياسية/ثقافية |
| ٦ | C2 | معلّم | ج | تصنيف صحفي — حسّاسية سياسية/ثقافية |
| ٧ | D1 | معلّم | د | تصنيف بيانات متعدد الأبعاد + NER |
| ٨ | D2 | معلّم | د | تصنيف بيانات متعدد الأبعاد + NER |
| ٩ | D3 | معلّم | د | تصنيف بيانات متعدد الأبعاد + NER |
| ١٠ | G1 | المُجمِّع / قائد المشروع | تجميع | الإعداد + الأسئلة الذهبية + التجميع + الحسم + التقرير |
لكل معلّم ملف تاسك مستقل من ٢٥ عنصرًا = ٢٠ فريدة خاصة به + ٥ عناصر تداخل مشتركة بين معلّمي المسار. المُجمِّع G1 له ملف ذهبي من ١٥ عنصرًا.
| المسار | فريدة/فرد | تداخل مشترك | حِمل الفرد | ملفات التاسك | إجمالي المسار |
|---|---|---|---|---|---|
| أ عامة | ٢٠ | ٥ | ٢٥ | task_A1.json · task_A2.json | ٤٥ |
| ب قانونية | ٢٠ | ٥ | ٢٥ | task_B1.json · task_B2.json | ٤٥ |
| ج صحفية | ٢٠ | ٥ | ٢٥ | task_C1.json · task_C2.json | ٤٥ |
| د بيانات | ٢٠ | ٥ | ٢٥ | task_D1/D2/D3.json | ٦٥ |
| G1 مُجمِّع | ملف ذهبي (Gold) للمراقبة + قيادة التجميع والحسم | task_G1_gold.json | ١٥ | ||
task_X.json) ويعنونه بالكامل — العناصر الفريدة تخصّه، وعناصر التداخل (بادئة -OV-) يعنونها هو وزميله كلٌّ في نسخته.Overlap على عناصر -OV- فقط (٢ للمسارات أ/ب/ج، و٣ للمسار د)، ويوزّع الباقي بـ Assignments.-OV- (مثل A-OV-03) هو عنصر مشترك يُقاس عليه اتفاق المعلّمين. لا تناقشه مع زميلك قبل جلسة المعايرة.من الإعداد إلى التصدير النهائي في ست مراحل مترابطة.
G1 ينشئ المشاريع، يلصق XML، يستورد البيانات، يكتب الأسئلة الذهبية.
كل معلّم يعنون ٥٠ عنصرًا تجريبيًا، ثم جلسة مناقشة موحّدة للمفاهيم.
تنفيذ الحِمل الكامل حسب جدول التوزيع، مع مراقبة يومية.
G1 يصدّر ويحسب IAA. أي حقل كابا < ٠٫٦ يُعاد ضبطه.
تصويت أغلبية + حسم يدوي للخلافات عبر aggregate.py.
بناء الداتاست الذهبي + تقرير الجودة + التسليم.
| الفترة | النشاط | المسؤول | المخرَج |
|---|---|---|---|
| الأيام (-٣ إلى ٠) | إنشاء المشاريع، لصق XML، توزيع ملفات التاسك، تجهيز الملف الذهبي (١٥ عنصرًا) | G1 | ٤ مشاريع جاهزة |
| الأسبوع ١ | جولة معايرة (عناصر التداخل + عيّنة) + جلسة مناقشة + IAA أوّلي | الجميع | فهم موحّد + تعديل التعليمات |
| الأسبوعان ٢–٣ | تعليم الحِمل الكامل (٢٥ تاسك/معلّم) مع متابعة يومية | ٩ معلّمين | ~٢٠٠ عنصر معنون |
| الأسبوع ٤ (١–٣) | التصدير، حساب IAA النهائي، تشغيل سكربت التجميع | G1 | تقرير جودة + ملف خلافات |
| الأسبوع ٤ (٤–٥) | جلسة حسم الخلافات + بناء الداتاست الذهبي + التسليم | G1 + المعلّمون | gold_dataset.json |
required إجبارية؛ لا تترك عنصرًا ناقصًا.| المستوى | المعايير | مثال دلالي |
|---|---|---|
| مبتدئ | نص قصير، مجال عام، مصطلحات مألوفة، لا غموض، اتجاه واحد واضح | ترجمة جملة تحية أو إعلان بسيط |
| متوسط | مجال شبه متخصص، بعض المصطلحات، سياق واضح، أسلوب محدد بسيط | بريد تجاري أو خبر قصير |
| متقدم | مجال متخصص، مصطلحات كثيفة، يحتاج بحثًا مصطلحيًا، التزام أسلوبي دقيق | مقطع طبي أو بند عقد |
| خبير | تخصص دقيق + غموض/تناقض + مخاطرة عالية + إبداع لغوي أو توطين معقّد | منطوق حكم قضائي أو عنوان ساخر متعدد الطبقات |
ملاحظة: المسار (د) يستخدم بُعد «صعوبة التصنيف» (سهل/متوسط/صعب/غامض) الذي يصف صعوبة اتخاذ قرار التصنيف نفسه، لا صعوبة الترجمة، مصحوبًا بتقييم ثقة من ١ إلى ٥.
بطاقة لكل عضو: الكود، الإعداد المستخدم، الحِمل، ونقاط التركيز والأخطاء الشائعة.
task_*.json) على أصحابها.ملف task_G1_gold.json فيه ١٥ عنصرًا معروف الإجابة يبذرها G1 (~٥ لكل معلّم) في الطوابير. الدقة عليها مؤشر مباشر على الجودة. أقل من ٨٥٪ ← جلسة إعادة تدريب.
على عناصر التداخل نحسب Cohen Kappa (معلّمَين) أو Fleiss Kappa (ثلاثة). المستهدف ≥ ٠٫٧ لكل حقل. من ٠٫٦ إلى ٠٫٧ مقبول بتحفّظ، وأقل من ٠٫٦ يستوجب إعادة ضبط الحقل.
يراجع G1 عينة عشوائية ٥٪ من العناصر المتفَق عليها للتأكد أن الاتفاق ليس اتفاقًا على خطأ منهجي مشترك.
بعد الجولة التجريبية يجتمع الفريق لمناقشة الحالات الحدّية وتوحيد الفهم قبل الحِمل الكامل — أهم خطوة لرفع IAA.
| قيمة الكابا | التفسير | الإجراء |
|---|---|---|
| ٠٫٨١ – ١٫٠ | اتفاق شبه تام | اعتماد مباشر |
| ٠٫٦١ – ٠٫٨٠ | اتفاق جوهري | مقبول |
| ٠٫٤١ – ٠٫٦٠ | اتفاق متوسط | مراجعة تعريف الحقل |
| أقل من ٠٫٤١ | اتفاق ضعيف | إعادة معايرة إلزامية |
هذه المرحلة يقودها G1 وحده. الهدف تحويل تعليقات ٩ معلّمين إلى داتاست ذهبي واحد موثوق.
track_A.json … track_D.json وضعها في مجلد exports/.pip install pandas scikit-learn statsmodels python aggregate.py --input ./exports --output ./final
| الملف | المحتوى | استخدامك له |
|---|---|---|
quality_report.csv | نسبة الاتفاق وكابا لكل حقل في كل مسار | أي حقل كابا < ٠٫٦ ← ناقشه مع معلّمي المسار |
conflicts_for_adjudication.csv | كل صف فيه خلاف بين المعلّمين + الأصوات | احسم كل صف يدويًا حسب قواعد الحسم |
gold_dataset.json | نتيجة تصويت الأغلبية للعناصر المتفَق عليها | أدخل القيم المحسومة ثم صدّره نهائيًا |
needs_adjudication = true بقي دون حسم.gold_dataset.json النهائي + التقرير، وسلّمه للجهة المستفيدة.task_X.json). الحقول جاهزة: id, source, text, track, assigned_to.-OV-) موجودة في ملفَي معلّمي المسار؛ ابدأوا بها في المعايرة ثم أكملوا الباقي.