بايثون: كيفية تحديد لغة النص-الأساليب والأمثلة

يعد تحديد لغة النص مهمة مهمة في مجال معالجة اللغة الطبيعية. هناك العديد من الطرق والخوارزميات التي تسمح لك بتحديد لغة النص بدقة عالية. في هذه المقالة ، سنلقي نظرة على بعضها ونقدم أمثلة على استخدامها في لغة برمجة بايثون.

واحدة من أكثر الطرق شيوعا لتحديد لغة النص هي النهج الإحصائي. لأنه يقوم على تحليل وتيرة حدوث مختلف الحروف ، بيغرامز و تريغرامز. لكل لغة ، يتم تحديد الترددات المميزة لهذه العناصر ثم مقارنتها بالقيم المحسوبة لهذا النص. إذا كان الفرق بين القيم التي تم الحصول عليها كبيرا بما يكفي ، فيمكننا أن نستنتج لغة النص.

طريقة أخرى هي استخدام مكتبة لانجيد.الحمر ، والذي يوفر طريقة سهلة لتحديد لغة النص. يعتمد على خوارزمية تصنيف تعتمد على ن جرام ويحدد لغة النص بدقة تامة ، حتى على الأجزاء القصيرة. لاستخدام هذه المكتبة في بيثون ، تحتاج إلى تثبيته باستخدام نقطة واستيراد الوحدة المناسبة.

في هذه المقالة ، قمنا بمراجعة بعض الطرق فقط لتحديد لغة النص باستخدام بايثون. اعتمادا على متطلبات وتفاصيل المشروع ، يمكنك اختيار الطريقة المناسبة وزيادة تحسينها. يعد تحديد لغة النص مهمة مهمة تجد التطبيق في مجالات مختلفة مثل الترجمة الآلية وتحليل الوسائط الاجتماعية وتصفية البريد العشوائي والمزيد.

1. طرق تحديد لغة النص في بايثون
2. كيفية استخدام مكتبة لانجديتكت
3. تحليل تواتر الأحرف في النص
4. استخدام الشبكات العصبية لتحديد لغة النص
5. سؤال وجواب
6. هل من الممكن تحديد لغة النص باستخدام بايثون?
7. ما هي الطرق الأخرى الموجودة لتحديد لغة النص في بايثون?
8. هل من الممكن تحديد لغة النص دون استخدام النماذج الإحصائية?

طرق تحديد لغة النص في بايثون

يعد تحديد لغة النص مهمة مهمة في معالجة اللغة الطبيعية. هناك عدة طرق في بايثون ستساعدك في معرفة اللغة التي كتب بها النص.

دعونا نلقي نظرة على العديد من الطرق الشائعة لتحديد اللغة:

النص = " م النص بتوقيت شرق الولايات المتحدة أون فرانك إرميس."

الرموز = نلتك.كلمة (نص)

طباعة (لانج) # 'الاب'

يرجى ملاحظة أن كل هذه الطرق ليست مثالية وقد تعطي نتائج خاطئة عند تحديد لغة النص. ومع ذلك ، يمكن أن تكون مفيدة عند معالجة كميات كبيرة من النص أو لاكتشاف اللغة التقريبي.

لاستخدام مكتبة لانغديتيكت ، تحتاج إلى تثبيته باستخدام مدير حزمة نقطة:

بيب تثبيت لانغديتكت

بعد تثبيت المكتبة ، يمكنك البدء في استخدامها لتحديد لغة النص. للقيام بذلك ، تحتاج إلى استيراد فئة

كشف

:

طريقة الكشف

وتمريرها النص الذي تريد الكشف عنه.:

النص = " مرحبا, كيف حالك?"

اللغة = كشف (نص)

طباعة (لغة)

في هذا المثال ، نقوم بتمرير النص باللغة الروسية و

لانغ في اللغات:

إرجاع قائمة الكائنات 

لانجديتكت.كشف لانج.لانجديتكتسولت

. نحن نستخدم السمات

لانغ

و

بروب

طريقة الكشف مع قائمة البيض

:

from langdetect import detect_langs_with_whitelist

text = "Привет, как дела?"

whitelist = ['ru', 'en']

languages = detect_langs_with_whitelist(text, whitelist)

1. for lang in languages:
2. print(lang.lang, lang.prob)
3. В этом примере мы указываем список допустимых языков [‘ru’, ‘en’]. Метод
4. detect_langs_with_whitelist

возвращает только языки из этого списка.

تحتوي مكتبة لانجديتكت على عدد من القيود ، وقد لا تكون نتائجها دقيقة دائما. يعتمد على التحليل الإحصائي وقد يرتكب أخطاء عند تحديد لغة النص. تجدر الإشارة أيضا إلى أن المكتبة تعمل بناء على افتراض التوزيع المتساوي للغات في النص.

بشكل عام ، مكتبة لانغديتكت هي أداة مريحة للتصنيف الأساسي للغة النص. يستخدم على نطاق واسع في العديد من المشاريع حيث يلزم تحديد لغة النص.

d

2%

D

8%

E

20%

1. W
2. 1%
3. W
4. 4%
5. يعد تحليل تردد الأحرف في النص أداة قوية يمكن أن تساعدك على فهم تفاصيل البيانات النصية.

استخدام الشبكات العصبية لتحديد لغة النص

يعد تحديد لغة النص مهمة مهمة في مجال معالجة اللغة الطبيعية. يمكن أن يكون مفيدا للترجمة الآلية وتصنيف المستندات وتصفية المحتوى ، وكذلك في العديد من التطبيقات الأخرى.

واحدة من الطرق الفعالة لتحديد لغة النص هو استخدام الشبكات العصبية. الشبكات العصبية هي نماذج رياضية تحاكي عمل الدماغ البشري. وهي تتكون من مجموعة من العقد المترابطة ، أو الخلايا العصبية ، التي تعالج بيانات الإدخال وتخرج قيم الإخراج المقابلة.

لتحديد لغة النص باستخدام الشبكات العصبية ، من الضروري إنشاء نموذج سيتم تدريبه على مجموعة تدريب من النصوص بلغات مختلفة. سيقوم النموذج بمعالجة بيانات الإدخال-النصوص وإجراء تنبؤات حول لغة النص.

لإنشاء نموذج شبكة عصبية لتحديد لغة النص ، اتبع الخطوات التالية:

اجمع مجموعة بيانات تدريبية بلغات مختلفة. من المهم أن يكون لديك عدد كاف من النصوص في كل لغة لضمان قدرة التعلم الجيدة للنموذج.

نصوص المعالجة المسبقة-إزالة الأحرف غير الضرورية ، وتقليل كل الكلمات إلى أحرف صغيرة ، وحذف كلمات التوقف.

قم بإنشاء نموذج شبكة عصبية يتضمن طبقة إدخال وطبقات مخفية وطبقة إخراج. ستقبل طبقة الإدخال النصوص ، وستقوم الطبقات المخفية بإجراء العمليات الحسابية ، وستعطي طبقة الإخراج تنبؤا بلغة النص.

تدريب النموذج على مجموعة بيانات التدريب باستخدام طريقة انتشار الخطأ مرة أخرى.