في التعلم الآلي ، عادة ما يتم استخدام طريقة تقسيم البيانات إلى عينات تدريب واختبار. يعد ذلك ضروريا لتقييم فعالية نماذج التعلم الآلي ومنع التجهيز الزائد. ومع ذلك ، قبل تقسيم البيانات إلى عينات ، من الضروري حل مشكلة تفرد البيانات غير المتصلة بالإنترنت وضمان الخلط العشوائي.
في بايثون ، هناك وظيفة خاصة تسمى "تقسيم اختبار التدريب" ، والتي تسمح لك بتقسيم البيانات بشكل فعال إلى عينات تدريب واختبار. الغرض الرئيسي من هذه الوظيفة هو تقسيم مجموعة البيانات الأصلية بشكل عشوائي إلى قسمين: عينة تدريبية ، والتي سيتم استخدامها لتدريب النموذج ، وعينة اختبار ، والتي سيتم استخدامها للتحقق من فعاليتها ودقتها.
يعد استخدام وظيفة" اختبار القطار " في بايثون أمرا بسيطا للغاية. تحتاج فقط إلى نقل بياناتك إليها في شكل مصفوفة أو مصفوفة ، وكذلك تحديد الحجم المطلوب لعينة الاختبار باستخدام معلمة "حجم الاختبار". Функция «train_test_split» возвращает обучающую и тестовую выборки, которые можно использовать для обучения и проверки модели соответственно.
وبالتالي ، فإن استخدام وظيفة" اختبار التدريب " يسمح لنا بتقسيم بياناتنا بسهولة إلى عينات تدريب واختبار واستخدامها لتدريب وتقييم نماذج التعلم الآلي في بايثون.
- التعريف والغرض
- تقنية الفصل
- مثال الاستخدام
- نقاط مهمة
- سؤال وجواب
- ما هو الغرض الرئيسي من استخدام تقسيم اختبار القطار?
- كيف تعمل وظيفة تقسيم اختبار القطار?
- كيف يمكنني تعيين حجم عينة الاختبار باستخدام وظيفة تقسيم اختبار القطار?
- هل من الممكن تعيين طريقة التوزيع العشوائي عند استخدام وظيفة تقسيم اختبار القطار?
- كيف يمكنني استخدام نموذج المدربين مع البيانات مقسمة إلى القطار واختبار?
التعريف والغرض
تدريب - اختبار سبليت بايثون هي طريقة لتقسيم مجموعة البيانات إلى عينات تدريب واختبار باستخدام بايثون. تستخدم هذه الطريقة على نطاق واسع في التعلم الآلي لتقييم جودة النموذج وإجراء تجارب مختلفة.
الغرض الرئيسي من تقسيم العينة إلى تدريب وعينة اختبار هو القدرة على اختبار جودة النموذج على البيانات التي لم ترها من قبل. يتيح لك ذلك تقييم مدى جودة تلخيص النموذج للبيانات وقادر على عمل تنبؤات لأمثلة جديدة لم تكن مرئية من قبل.
يتم استخدام عينة التدريب لتدريب النموذج ، أي لضبط معلماته بناء على البيانات المتاحة. يتم استخدام عينة الاختبار للتحقق من جودة النموذج وتقييم قدرته التنبؤية.
يتم فصل العينة إلى التدريب والاختبار بشكل عشوائي لتجنب تحويل الخصائص المطلوبة إلى إحدى العينات. في أغلب الأحيان ، يتم تقسيم العينة بشكل متناسب ، على سبيل المثال ، إلى تدريب 70 ٪ واختبار 30 ٪ ، ولكن يمكن تغيير هذه النسبة اعتمادا على المهمة المحددة وكمية البيانات.
باستخدام قطار اختبار سبليت بيثون يسمح لك لاختبار موثوق نموذج وتقييم جودته قبل تطبيقه على البيانات الجديدة ، والتي هي جزء لا يتجزأ من عملية التعلم الآلي ويساعدك على اتخاذ قرارات مستنيرة.
تقنية الفصل
تعد تقنية تقسيم البيانات إلى عينة تدريبية وعينة اختبار خطوة مهمة في إنشاء نموذج التعلم الآلي. يساعد على تقييم جودة النموذج والتحقق من أدائه على البيانات الجديدة.
يعد الفصل العشوائي أحد أكثر تقنيات الفصل شيوعا. في هذه الحالة ، يتم تقسيم البيانات بطريقة يتم فيها استخدام جزء من البيانات لتدريب النموذج ، ويتم استخدام الجزء الآخر لاختبار النموذج.
غالبا ما يتم استخدام مخطط فصل البيانات التالي:
- وتعديلا البيانات المصدر عشوائيا. هذا ضروري من أجل ضمان أخذ العينات العشوائية.
- يتم تعيين النسبة المئوية بين عينة التدريب وعينة الاختبار. عادة ما يتم استخدام نسبة 70: 30 أو 80: 20 ، ولكن يمكن تحديد قيم أخرى ، اعتمادا على تفاصيل المهمة.
- يتم تقسيم البيانات الأولية إلى قسمين وفقا لنسبة النسبة المئوية المحددة. سيتم استخدام عينة التدريب لتدريب النموذج ، وسيتم استخدام عينة الاختبار للتحقق من جودة النموذج وتقييمها.
من المهم ملاحظة أنه عند تقسيم البيانات ، من الضروري مراعاة تمثيل العينة. يجب أن تكون البيانات في عينات التدريب والاختبار تمثيلية وتعكس خصائص العينة الأولية بأكملها. خلاف ذلك ، قد لا يكون النموذج فعالا وقد لا يعطي نتائج موثوقة على البيانات الجديدة.
أيضا ، عند تقسيم البيانات ، يجب أن يؤخذ في الاعتبار أنه قد يكون هناك توزيع غير متساو للفئات في البيانات المصدر. في هذه الحالة ، يمكنك استخدام عينة طبقية تأخذ في الاعتبار النسبة المئوية للفصول في عينات التدريب والاختبار.
إن استخدام تقنيات فصل البيانات يجعل من الممكن تقييم تشغيل النموذج بشكل صحيح وتحديد فعاليته على البيانات الجديدة. هذه خطوة مهمة في إنشاء نموذج التعلم الآلي.
مثال الاستخدام
وفيما يلي مثال على استخدام طريقة ترين_تيست_سبليت () من مكتبة سكيت-تعلم:
استيراد المكتبات اللازمة:
استيراد الباندا كما بد
من سكليرن.نموذج_اختيار استيراد قطار_اختبار_تقسيم
Загружаем данные:
البيانات = بد.قراءة " سسف ("البيانات.كسف")
Разделяем данные на обучающую выборку и тестовую выборку:
س = البيانات.إسقاط ("الهدف" ، المحور=1)
ص = البيانات ["الهدف"]
س_ترين ، س_ترين ، ص_ترين ، ص_ترين = قطار_تختبر_تنقسم (س ، ص ، اختبار_حجم=0.2 ، حالة عشوائية=42)
. (س_ترين y ص_ترين)) (س_ترينtest ص_ترين). عينة التدريب هي 80 ٪ من البيانات الأصلية ، وعينة الاختبار هي 20٪. استخدمنا أيضا المعلمة العشوائية=42 لتعيين قيمة "عشوائية" محددة بحيث تكون النتائج قابلة للتكرار.
نستخدم العينات التي تم الحصول عليها لتدريب النموذج وتقييم جودته:
من سكليرن.نموذج خطي استيراد الانحدار الخطي
من سكليرن.استيراد المقاييس يعني خطأ
نموذج = الانحدار الخطي()
نموذج.صالح (س_ترين ، ص_ترين)
نموذج.توقع (س_اختبار)
مس = يعني خطأ (ص_تيست، ص_بريدي)
في هذا المثال ، استخدمنا الانحدار الخطي لتدريب النموذج وحصلنا على القيم المتوقعة لعينة الاختبار. ثم قمنا بتقييم جودة التنبؤ باستخدام مقياس الخطأ المتوسط ، والذي يوضح خطأ الجذر-المتوسط-المربع بين القيم الحقيقية (ص_الاختبار) والقيم المتوقعة (ص_ابريد).
إخراج النتائج:
طباعة ("يعني خطأ مربع:" ، مس)
باستخدام هذا الرمز ، ونحن إخراج متوسط قيمة الخطأ مربع (مس) ، والذي يسمح لنا لتقييم نوعية التنبؤ النموذج.
نقاط مهمة
يعد تقسيم العينة إلى عينات تدريب واختبار خطوة مهمة في تطوير نماذج التعلم الآلي. فيما يلي بعض النقاط المهمة التي يجب مراعاتها عند استخدام وظيفة تقسيم القطار في بايثون.
- فصل البيانات: تتيح لك وظيفة تقسيم اختبار القطار تقسيم البيانات المصدر إلى قسمين: عينة تدريب وعينة اختبار. يتم استخدام عينة التدريب لتدريب النموذج ، ويتم استخدام عينة الاختبار لتقييم جودتها. يرجى ملاحظة أن كلتا العينتين يجب أن تكون تمثيلية ويجب أن تعكس بشكل متساو هيكل البيانات العام.
- العشوائية: يجب أن يكون فصل البيانات عشوائيا لتجنب تحيز النتائج. في بايثون ، تتيح لك وظيفة تقسيم القطار تعيين معلمة الحالة العشوائية ، والتي تضمن إمكانية تكرار النتائج.
- حجم عينة الاختبار: من المهم اختيار الحجم المناسب لعينة الاختبار. عادة ما يتم تقسيم العينة إلى 70-80 ٪ للتدريب النموذجي و 20-30 ٪ للاختبار. ومع ذلك ، يعتمد حجم العينة المحدد على نوع البيانات وحجم العينة الأصلية.
- التقسيم الطبقي: عند تقسيم العينة ، قد يكون من المفيد مراعاة توازن الطبقات. إذا كانت البيانات تحتوي على خلل في الفئات ، فيمكنك استخدام معلمة التقسيم الطبقي لوظيفة تقسيم الاختبار. وهذا سوف يساعد على الحفاظ على نسبة متناسبة من الطبقات في عينات التدريب والاختبار.
ستساعد القدرة على استخدام وظيفة تقسيم اختبار القطار بشكل صحيح وأخذ هذه النقاط المهمة في الاعتبار في تحقيق نتائج أكثر دقة وتجنب الأخطاء عند تطوير نماذج التعلم الآلي في بايثون.
سؤال وجواب
ما هو الغرض الرئيسي من استخدام تقسيم اختبار القطار?
الغرض الرئيسي من استخدام وظيفة تقسيم اختبار القطار في بايثون هو تقسيم مجموعة البيانات المصدر إلى عينات تدريب واختبار. يتيح لك ذلك تقييم جودة النموذج وقدرته على التعميم والقدرة على اكتشاف البيانات الجديدة.
كيف تعمل وظيفة تقسيم اختبار القطار?
تقسم وظيفة تقسيم اختبار القطار مجموعة البيانات المصدر إلى عينات تدريب واختبار. يقبل البيانات (س) والمتغير المستهدف (ص) كمدخل ، ويحدد اختياريا حجم عينة الاختبار وطريقة التوزيع العشوائي. تقوم الوظيفة بتقسيم البيانات بشكل عشوائي إلى قسمين وإعادتها في النسبة المحددة من قبل المستخدم.
كيف يمكنني تعيين حجم عينة الاختبار باستخدام وظيفة تقسيم اختبار القطار?
يمكن تعيين حجم عينة الاختبار باستخدام معلمة حجم الاختبار عند استدعاء وظيفة تقسيم اختبار القطار. تأخذ هذه المعلمة القيم من 0 إلى 1 ، حيث يعني 0 أن عينة الاختبار فارغة ، ويعني 1 أن عينة الاختبار تتكون بالكامل من بيانات المصدر. على سبيل المثال ، حجم الاختبار=0.2 يعني أن عينة الاختبار ستكون 20 ٪ من البيانات الأصلية.
هل من الممكن تعيين طريقة التوزيع العشوائي عند استخدام وظيفة تقسيم اختبار القطار?
نعم ، يمكن ضبط طريقة التوزيع العشوائي عند استخدام وظيفة تقسيم اختبار القطار. للقيام بذلك ، يمكنك استخدام المعلمة العشوائية. تسمح لك هذه المعلمة بتعيين قيمة حالة عشوائية لاستخدامها عند تقسيم البيانات. إذا لم يتم تحديد معلمة الحالة العشوائية ، فسيتم استخدام الحالة العشوائية الحالية. إذا قمت بتحديد نفس قيمة الحالة العشوائية في كل مرة يتم فيها استدعاء الوظيفة ، فستكون نتيجة الانقسام هي نفسها.
كيف يمكنني استخدام نموذج المدربين مع البيانات مقسمة إلى القطار واختبار?
بعد تقسيم البيانات إلى عينات تدريب واختبار وتدريب النموذج على بيانات التدريب ، يمكنك استخدام النموذج المدرب للتنبؤ بقيم عينة الاختبار. يتيح لك ذلك تقييم جودة تنبؤات النموذج بناء على البيانات الجديدة التي لم يرها النموذج من قبل. يمكن مقارنة نتائج التنبؤات بالقيم الحقيقية من عينة الاختبار لتقييم دقة النموذج.