واحدة من المهام الرئيسية لتحليل البيانات هي التصنيف ، والذي يسمح لك بتقسيم الكائنات إلى فئات محددة مسبقا. أثناء عملية التصنيف ، يصبح من الضروري اختيار مقياس مناسب يسمح لك بتقييم جودة النموذج. أحد الأسئلة المهمة عند اختيار المقياس هو مدى أهمية اكتشاف الحالات الإيجابية (الإيجابيات الحقيقية) وتجنب الحالات الإيجابية الخاطئة (الإيجابيات الخاطئة).
أحد المقاييس الشائعة هو الدقة ، والتي يتم تعريفها على أنها نسبة الحالات الإيجابية الحقيقية إلى مجموع الحالات الإيجابية الحقيقية والإيجابية الخاطئة. توضح الدقة مدى دقة تصنيف النموذج للأشياء على أنها موجبة. إذا كان من المهم تقليل عدد الإيجابيات الخاطئة ، على سبيل المثال ، في مهام التشخيص الطبي ، حيث يمكن أن يؤدي القرار الإيجابي الخاطئ إلى قلق غير ضروري أو علاج غير ضروري ، فإن تعظيم الدقة هو أولوية.
ومع ذلك ، هناك حالات يكون فيها من المهم العثور على جميع الحالات الإيجابية. في مثل هذه الحالات ، يكون المقياس المفيد هو الاستدعاء ، والذي يوضح مدى اكتمال النموذج في العثور على حالات إيجابية. يتم تعريف الاستدعاء على أنه نسبة الحالات الإيجابية الحقيقية إلى مجموع الحالات الإيجابية الحقيقية والحالات السلبية الخاطئة. إذا، على سبيل المثال ، في مهمة العثور على الأخطاء الفائتة في رمز البرنامج ، من المهم تقليل عدد الحالات السلبية الخاطئة حتى لا تمر أي مشاكل دون أن يلاحظها أحد ، فيجب تعظيم الاستدعاء.
من المهم أن تتذكر أنه عند اختيار مقياس لتقييم جودة النموذج ، من الضروري مراعاة سياق المهمة وخصائص مجال الموضوع. في بعض الحالات ، تكون الدقة مقياسا ذا أولوية ، وفي حالات أخرى— تذكر. لذلك ، من المهم أن يفهم المحلل كيفية تقييم المقاييس لجودة النموذج والمخاطر التي تنشأ عند تعظيم مقياس على حساب مقياس آخر.
- متى تختار الدقة ومتى تتذكر: أمثلة على استخدام المقاييس
- 1. اختيار الدقة
- 2. حدد استدعاء
- الدقة: تعظيم النتائج بمستويات خطأ منخفضة
- أذكر: تهدف إلى اكتمال النتيجة مع مستوى منخفض من الحالات المحذوفة
- سؤال وجواب
- كيف يمكنني اختيار متري الدقة أو استدعاء?
- متى يجب أن تعظيم الدقة?
- متى يجب أن تعظيم أذكر?
متى تختار الدقة ومتى تتذكر: أمثلة على استخدام المقاييس
تستخدم مقاييس الدقة والاستدعاء لتقييم أداء خوارزميات التعلم الآلي ، خاصة في مهام التصنيف. اعتمادا على المهمة المحددة ومتطلبات النموذج ، قد يكون أحد هذه المقاييس أكثر أهمية.
1. اختيار الدقة
يكون مقياس الدقة مفيدا عندما يكون من المهم تقليل عدد الإيجابيات الخاطئة. قد يكون هذا مهما ، على سبيل المثال ، في الحالات التالية:
- كشف البريد المزعج في رسائل البريد الإلكتروني. في هذه المهمة ، يمكن أن يؤدي التصنيف الإيجابي الخاطئ (التعريف غير الصحيح للبريد الإلكتروني على أنه بريد عشوائي) إلى عواقب غير سارة ، مثل فقدان المعلومات المهمة بسبب وضع البريد الإلكتروني في عامل تصفية البريد العشوائي.
- الكشف عن الأمراض النادرة. إذا تم تحديد مرض نادر عن طريق الخطأ على أنه موجود ، فقد يؤدي ذلك إلى فحوصات طبية إضافية غير ضرورية ومكلفة وعلاج.
2. حدد استدعاء
يكون مقياس الاستدعاء مفيدا عندما يكون من المهم تقليل عدد النتائج السلبية الخاطئة. توضح الأمثلة التالية الحالات التي يمكن أن يكون فيها الاستدعاء أكثر أهمية:
- الكشف عن الأشياء الخطرة في الصور. في هذه المهمة ، يمكن أن تؤدي النتيجة السلبية الخاطئة (عدم الكشف غير الصحيح عن كائن خطير) إلى مواقف خطيرة ، على سبيل المثال ، عند تمرير ماسح ضوئي أمني غير مدرب في المطار.
- الكشف عن المعاملات الاحتيالية. إذا قلل النموذج من احتمالية الاحتيال وتخطى المعاملات السلبية الكاذبة ، فقد يؤدي ذلك إلى خسائر مالية كبيرة للشركة.
من المهم أن تضع في اعتبارك أن اختيار المقياس يعتمد على الأولويات والمخاطر المرتبطة بمهمة معينة. غالبا ما يكون من المهم تحقيق توازن بين الدقة والاستدعاء من خلال تحسين النموذج بطريقة تقلل من الأخطاء وتعظيم كلا المقياسين.
الدقة: تعظيم النتائج بمستويات خطأ منخفضة
الدقة هي مقياس يسمح لك بتقييم دقة النموذج أو الخوارزمية عند حل مشكلات التصنيف. يوضح أي جزء من الكائنات المخصصة للفئة الإيجابية بواسطة النموذج إيجابي حقا.
تعظيم الدقة أمر منطقي في المواقف التالية:
التشخيص الطبي: النظر في مهمة تحديد وجود مرض معين في المريض. في هذه الحالة ، يعد تعظيم الدقة أمرا مهما ، لأننا بحاجة إلى التأكد من صحة التشخيص ، ومن الأفضل إجراء تشخيص إيجابي كاذب بدلا من تفويت وجود مرض المريض.
التدقيق المالي: تلعب الدقة دورا مهما في المهام المتعلقة بالتدقيق المالي. في هذه الحالة ، نريد زيادة عدد الانتهاكات المحددة في البيانات المالية للمنظمات. يمكن أن يكون لاتهام شخص بريء عن طريق الخطأ بالاحتيال المالي أو فقدان انتهاكات حقيقية عواقب وخيمة ، لذلك من المهم تقليل عدد النتائج الإيجابية الخاطئة.
في كلا المثالين ، تسمح لك الدقة بضمان دقة عالية للنتائج وتقليل الأخطاء ، وهو المعيار الرئيسي للنجاح. من المهم ملاحظة أنه في بعض الحالات ، يمكن أن يؤدي تعظيم الدقة إلى انخفاض في الاكتمال (الاستدعاء) ، والذي يجب أخذه في الاعتبار في أهمية كلا المقياسين لحل مهمة معينة.
أذكر: تهدف إلى اكتمال النتيجة مع مستوى منخفض من الحالات المحذوفة
الاستدعاء هو مقياس يقيم قدرة النموذج على اكتشاف جميع الحالات الإيجابية في مجموعة البيانات. يأخذ في الاعتبار نسبة النتائج الإيجابية الحقيقية التي يمكن للنموذج اكتشافها.
يمكن أن يكون الاستدعاء مهما بشكل خاص عندما يكون حذف حالة إيجابية غير مرغوب فيه أو له عواقب وخيمة. توضح الأمثلة التالية المواقف التي يكون فيها الاستدعاء هو المقياس المفضل.
- التشخيص الطبي
- كشف الاحتيال
في السياق الطبي ، يمكن أن يؤدي حذف حالة إيجابية إلى عواقب وخيمة على المريض. على سبيل المثال ، إذا لم يكتشف النموذج وجود مرض خطير ، فقد يؤدي ذلك إلى تشخيص غير صحيح وفشل في توفير العلاج في الوقت المناسب. في هذه الحالة ، يكون مستوى الاستدعاء المرتفع مرغوبا فيه لتقليل عدد الحالات الإيجابية غير المكتشفة وزيادة دقة التشخيص.
إذا تم الكشف عن نشاط احتيالي ، فإن حذف حالة إيجابية يمكن أن يكون له أيضا عواقب مالية خطيرة. على سبيل المثال ، إذا لم يكتشف النموذج التحليلي المعاملات الاحتيالية ، فقد يؤدي ذلك إلى خسائر مالية كبيرة للشركة. في هذه الحالة ، يمكن أن يساعد مستوى الاستدعاء الأمثل في تقليل عدد المعاملات الاحتيالية التي تمر دون أن يلاحظها أحد.
في كلا المثالين ، يعد الاستدعاء مقياسا يهدف إلى تحديد جميع الحالات الإيجابية من أجل تقليل العواقب المحتملة لحذف نتيجة إيجابية. ومع ذلك ، يجدر أيضا التفكير في مقاييس أخرى ، مثل الدقة وقياس الفورمولا 1 وغيرها ، لتقييم أداء النموذج بشكل كامل.
سؤال وجواب
كيف يمكنني اختيار متري الدقة أو استدعاء?
يعتمد اختيار المقياس على المهمة المحددة ومتطلباتها. إذا كان من المهم بالنسبة لك تقليل عدد النتائج الإيجابية الخاطئة ، فيجب عليك زيادة الدقة إلى أقصى حد. إذا كان من الأهمية بمكان تجنب فقدان النتائج الإيجابية في المهمة ، فمن الجدير تعظيم الاستدعاء.
متى يجب أن تعظيم الدقة?
يعد تعظيم الدقة أمرا منطقيا عندما يكون من المهم تقليل عدد النتائج الإيجابية الخاطئة في المهمة. على سبيل المثال ، إذا كانت لديك خوارزمية تحدد ما إذا كان البريد الإلكتروني بريدا عشوائيا أم لا ، وتريد تجنب المواقف التي يتم فيها تمييز رسائل البريد الإلكتروني الجيدة عن طريق الخطأ على أنها بريد عشوائي.
متى يجب أن تعظيم أذكر?
تعظيم الاستدعاء أمر منطقي عندما يكون من الأهمية بمكان تجنب فقدان النتائج الإيجابية في المهمة. على سبيل المثال ، إذا كان من المهم بالنسبة لك تحديد جميع المرضى المرضى في مرحلة مبكرة من المرض من أجل بدء العلاج ، فإن زيادة الاستدعاء سيساعدك على عدم تفويت نتيجة إيجابية واحدة.