كيفية الحصول على جدول من موقع ويب باستخدام بايثون: تعليمات خطوة بخطوة

أصبح الحصول على البيانات من مواقع الويب مهمة متزايدة الأهمية للمبرمجين. ومع ذلك ، قد لا توفر الأدوات المدمجة لمتصفحات الويب دائما عملا مرنا وآليا مع الجداول. باستخدام بايثون ومكتباتها ، يمكنك بسهولة الحصول على البيانات من جدول على موقع ويب ومعالجتها بالتنسيق المطلوب.

هناك عدة طرق للحصول على جداول من مواقع الويب باستخدام بايثون. واحدة من الطرق الأكثر شعبية هو استخدام جميلةمكتبة الحساء. تتيح لك هذه المكتبة تحليل شفرة هتمل وتحويلها إلى هياكل بيانات سهلة الاستخدام.

أولا ، تحتاج إلى تثبيت مكتبة بوتيفولسوب باستخدام الأمر" نقطة تثبيت بوتيفولسوب 4". ثم قم باستيراد المكتبة إلى مشروعك:

من بس 4 استيراد بوتيفولسوب

بعد ذلك ، تحتاج إلى الحصول على رمز هتمل لصفحة الويب. استخدم مكتبة الطلبات لإرسال طلب الحصول على عنوان ورل المطلوب:

طلبات الاستيراد

رابط = "https://example.com"

الاستجابة = الطلبات.الحصول على (رابط)

الآن لديك رمز هتمل لصفحة الويب. لتحويله إلى كائن بوتيفولسوب ، ببساطة تمرير رمز هتمل إلى منشئ هذا الكائن:

حساء = جميلحساء (استجابة.المحتوى ، ' أتش تي أم أل.محلل')

:

الجداول = الحساء.العثور على كل ('الجدول')

:

البيانات = []

للجدول في الجداول:

الصفوف = الجدول.العثور على كل ('آر')

للصف في الصفوف:

الخلايا = صف.العثور على كل ('الدفتيريا')

صف_البيانات = []

للخلية في الخلايا:

صف_البيانات.إلحاق (خلية.النص)

البيانات.إلحاق (صف_البيانات)

الآن لديك جدول بيانات في شكل قائمة يمكنك معالجتها واستخدامها كما يحلو لك. رائع! الآن أنت تعرف كيفية الحصول على جدول من موقع ويب باستخدام بايثون.

1. ما هو كشط الويب?
2. لماذا استخدام بيثون?
3. الخطوة 1: تثبيت المكتبات اللازمة
4. تثبيت بايثون
5. تثبيت مكتبة بوتيفولسوب
6. الخطوة 2: تحميل صفحة هتمل
7. استخدام مكتبة الطلبات
8. تحميل صفحة هتمل
9. الخطوة 3: تحليل شفرة هتمل
10. سؤال وجواب
11. كيف يمكنني الحصول على جدول من موقع على شبكة الانترنت?
12. كيف يمكنني تثبيت مكتبة بيوتيفولسوب?
13. كيف يمكنني حفظ البيانات من جدول إلى ملف?

ما هو كشط الويب?

تجريف الويب هو عملية جمع البيانات من مواقع الويب باستخدام برامج الكمبيوتر. يسمح لك باستخراج المعلومات المقدمة على صفحات الويب وحفظها بتنسيق سهل المعالجة مثل الجداول أو قواعد البيانات.

يتم تجريف الويب باستخدام أدوات برمجية خاصة تصل تلقائيا إلى صفحات الويب وتحلل محتوياتها وتستخرج البيانات اللازمة. بمساعدة تجريف الويب ، يمكنك الحصول على معلومات حول المنتجات والأسعار والأخبار ومعلومات الاتصال وغير ذلك الكثير.

تبدأ عملية تجريف الويب عادة باختيار موقع الويب الذي يمكن من خلاله الحصول على البيانات. يقوم المبرمج بعد ذلك بإنشاء رمز بلغة برمجة مثل بايثون التي تحدد البيانات المراد استخراجها وكيفية معالجتها.

واحدة من أكثر الطرق شيوعا لتجريف الويب هي استخراج البيانات من شفرة هتمل لصفحة الويب. رمز هتمل هو نص منظم يحتوي على معلومات حول ترميز ومحتوى الصفحة. مع مساعدة من أدوات خاصة ، مثل جميلةمكتبة الحساء في بيثون ، يمكنك بسهولة العثور على العناصر اللازمة في رمز هتمل واستخراج المعلومات اللازمة.

يمكن حفظ البيانات المستلمة بتنسيقات مختلفة ، على سبيل المثال ، في جداول بيانات إكسيل أو قواعد البيانات. هذا يسمح لك لمزيد من تحليل ومعالجة واستخدام البيانات في المشاريع الخاصة بك.

من المهم ملاحظة أن تجريف الويب قد يكون محظورا أو مقيدا على بعض مواقع الويب ، حيث قد ينتهك قواعد الاستخدام وحماية البيانات. لذلك ، قبل البدء في كشط الويب ، يوصى بالتعرف على قواعد استخدام موقع معين والتأكد من السماح بمثل هذه الإجراءات.

يستخدم تجريف الويب على نطاق واسع في مختلف المجالات ، بما في ذلك الأعمال والبحوث ، للحصول على البيانات وتحليلها. تتيح لك هذه الأداة أتمتة عملية جمع المعلومات وتوفير الوقت والجهد عند العمل بكمية كبيرة من البيانات.

لماذا استخدام بيثون?

بايثون هي لغة برمجة قوية ومرنة لها العديد من المزايا للمطورين. فيما يلي الأسباب الرئيسية التي تجعلك تستخدم بايثون:

1. البساطة وسهولة القراءة من التعليمات البرمجية: بناء جملة بيثون هو بديهية جدا ومفهومة ، لذلك حتى المبتدئين يمكن أن تعتاد بسرعة على هذه اللغة. عادة ما يكون الرمز المكتوب بلغة بايثون أقصر وأسهل في الفهم ، مما يجعله خيارا مناسبا لتطوير قواعد التعليمات البرمجية والحفاظ عليها.

2. نظام بيئي كبير: لدى بايثون مجتمع مطور ضخم ومكتبة واسعة من وحدات الجهات الخارجية التي تقدم حلولا لأي مهمة تقريبا. يتيح ذلك للمطورين إنشاء تطبيقات بسرعة وكفاءة دون إعادة إنشاء الدراجة.

3. منصة متعددة: بيثون يدعم أنظمة التشغيل المختلفة ، بما في ذلك ويندوز ، ماك ولينكس. هذا الاستقلال منصة يجعلها لغة برمجة مرنة جدا وتنوعا.

4. وهناك عدد كبير من الأنظمة المتكاملة: بيثون يمكن أن تتكامل مع لغات البرمجة الأخرى مثل ج ، ج or أو جافا ، والذي يسمح لك لاستخدامها عند الحاجة لمهمة محددة. وهذا يسمح للمطورين الجمع بين قوة بيثون مع أداء لغات أخرى.

5. مجموعة واسعة من التطبيقات: تستخدم بايثون في العديد من المجالات ، بما في ذلك تطوير الويب والبحث العلمي ومعالجة البيانات والذكاء الاصطناعي والتعلم الآلي والمزيد. هذا التنوع يجعل بايثون جذابة للمطورين الذين يعملون في مجالات مختلفة.

بشكل عام ، بايثون هي لغة برمجة مفتوحة المصدر توفر للمطورين العديد من الميزات ووسائل الراحة. بفضل هيكلها النحوي البسيط والبديهي ، بالإضافة إلى عدد كبير من الوحدات الخارجية ، أصبحت بايثون واحدة من أكثر لغات البرمجة شيوعا في العالم.

الخطوة 1: تثبيت المكتبات اللازمة

للحصول على جدول من موقع ويب باستخدام بايثون ، ستحتاج إلى المكتبات التالية:

• طلبات-مكتبة لإرسال طلبات هتب;
• بوتيفولسوب 4 هي مكتبة لتحليل كود هتمل;
• الباندا هي مكتبة للعمل مع البيانات في شكل جدول.

قبل تثبيت هذه المكتبات ، تأكد من تثبيت بايثون بالفعل على جهاز الكمبيوتر الخاص بك. عادة ما يتم تثبيت بايثون مسبقا على معظم أنظمة التشغيل ، ولكن إذا لم يكن لديك ، فيمكنك تنزيله من موقع بايثون الرسمي.

لتثبيت المكتبات المذكورة أعلاه ، يمكنك استخدام أداة إدارة حزمة بيثون-نقطة.

لتثبيت مكتبة الطلبات ، قم بتشغيل الأمر التالي على سطر الأوامر أو المحطة الطرفية:

طلبات تثبيت النقطة

لتثبيت مكتبة بيوتيفول سوب 4 ، قم بتشغيل الأمر التالي على سطر الأوامر أو المحطة الطرفية:

بيب تثبيت جميلةسوب4

ولتثبيت مكتبة الباندا ، قم بتشغيل الأمر التالي على سطر الأوامر أو المحطة الطرفية:

نقطة تثبيت الباندا

بعد تثبيت جميع المكتبات الضرورية ، ستكون جاهزا للخطوة التالية-الحصول على الجدول من موقع الويب.

تثبيت بايثون

بايثون هي لغة برمجة عالية المستوى تستخدم على نطاق واسع لتطوير مواقع الويب والبحث العلمي وتحليل البيانات والمهام الأخرى. لبدء استخدام بايثون ، تحتاج إلى تثبيته على جهاز الكمبيوتر الخاص بك. سيصف هذا القسم إرشادات خطوة بخطوة لتثبيت بايثون.

1. انتقل إلى موقع بايثون الرسمي على الرابط https://www.python.org/downloads /.
2. في الصفحة الرئيسية للموقع ، حدد أحدث إصدار من بايثون لنظام التشغيل الخاص بك. انقر على الرابط لتنزيل ملف التثبيت.
3. بعد تنزيل ملف التثبيت ، قم بتشغيله.
4. في الشاشة الأولى للمثبت ، حدد المربع بجوار خيار "إضافة بايثون إلى المسار" وانقر فوق الزر "تخصيص التثبيت".
5. في الشاشة التالية ، تأكد من تحديد جميع المكونات الرئيسية للتثبيت. من المستحسن ترك جميع المكونات بشكل افتراضي. انقر فوق الزر" التالي".
6. في شاشة" الميزات الاختيارية "، اترك جميع الخيارات الافتراضية وانقر فوق الزر" التالي".
7. في شاشة الخيارات المتقدمة ، يمكنك تغيير مسار تثبيت بايثون ، ولكن يمكنك عادة تركه كإعداد افتراضي. انقر فوق الزر" التالي".
8. في الشاشة الأخيرة من برنامج التثبيت ، قم بإلغاء تحديد المربع بجوار "تعطيل حد طول المسار" وانقر فوق الزر "تثبيت".
9. بعد اكتمال التثبيت ، انقر فوق الزر" إغلاق".

تهانينا ، لقد قمت الآن بتثبيت بايثون على جهاز الكمبيوتر الخاص بك! يمكنك التحقق من التثبيت عن طريق فتح موجه الأوامر (في ويندوز ، اضغط على ويندوز + ص ، اكتب "كمد" واضغط على إنتر) وتشغيل الأمر بيثون الإصدار. إذا تم تثبيت بايثون بنجاح ، يجب أن تشاهد إصدار بايثون.

تثبيت مكتبة بوتيفولسوب

للعمل مع صفحات الويب داخل لغة برمجة بايثون ، سنحتاج إلى مكتبة بيوتيفولسوب. انها تسمح لك لاستخراج البيانات من ملفات هتمل و شمل ، والتي غالبا ما تستخدم لكتابة صفحات الويب. في هذا القسم ، سننظر في كيفية تثبيت هذه المكتبة والبدء في استخدامها.

استيراد بس 4

إذا لم تحدث أخطاء ، ثم جميلةيتم تثبيت مكتبة سوب بشكل صحيح. الآن يمكنك استخدامه في المشاريع الخاصة بك.

الآن بعد أن قمت بتثبيت جميلةمكتبة سوب ، كنت على استعداد لبدء استخراج البيانات من صفحات الويب. في القسم التالي ، سوف ننظر في كيفية الحصول على جدول من موقع على شبكة الانترنت باستخدام بيثون و بيوتيفولسوب.

الخطوة 2: تحميل صفحة هتمل

الحصول على رمز هتمل من صفحة ويب هو الخطوة الأولى في الحصول على جدول من موقع على شبكة الانترنت باستخدام بيثون. للقيام بذلك ، يمكننا استخدام وحدة الطلبات لتقديم طلب هتب إلى الموقع والحصول على محتوى صفحة هتمل.

هنا هو رمز مثال يوضح كيفية تحميل صفحة هتمل باستخدام وحدة الطلبات:

طلبات الاستيراد

# رابط صفحة الويب التي نريد الحصول عليها

جدول ورل = 'https://www.example.com '

# إرسال طلب الحصول على

الاستجابة = الطلبات.الحصول على (رابط)

# الحصول على رمز هتمل من الصفحة

أتش تي أم أل المحتوى = استجابة.النص

# طباعة كود أتش تي أم أل

الإخراج (أتش تي أم أل _ المحتوى)

في هذا المثال ، نستخدم عنوان ورل https://www.example.com على سبيل المثال ، عنوان ورل لصفحة ويب. يمكنك استبداله بعنوان ورل الخاص بك.

نحن نستخدم وظيفة جيت () من وحدة الطلبات لإرسال طلب جيت إلى الموقع والحصول على رد. ثم نستخدم سمة النص لكائن الاستجابة للحصول على محتوى صفحة هتمل كسلسلة.

أخيرا ، نقوم بإخراج رمز هتمل باستخدام وظيفة الطباعة (). يمكنك تغيير هذا السطر من التعليمات البرمجية بحيث يمكنك حفظ رمز هتمل الناتج في ملف لمزيد من المعالجة أو التحليل.

بعد الانتهاء من هذه الخطوة ، سيكون لديك رمز هتمل لصفحة الويب ، والتي يمكن استخدامها لاسترداد الجدول من موقع الويب باستخدام بايثون.

استخدام مكتبة الطلبات

طلبات هي مكتبة شعبية للغة البرمجة بيثون التي تسمح لك بإرسال طلبات هتب والتفاعل مع خوادم الويب. فإنه يجعل من السهل الحصول على البيانات من المواقع ويوفر أدوات قوية للعمل مع هتب.

لاستخدام مكتبة الطلبات ، تحتاج إلى تثبيته باستخدام مدير الحزم ، مثل نقطة:

طلبات تثبيت النقطة

بعد تثبيت المكتبة ، يمكنك استيرادها إلى التعليمات البرمجية الخاصة بك:

طلبات الاستيراد

باستخدام الطلبات ، يمكنك تقديم أنواع مختلفة من طلبات هتب: جيت ، بوست ، بوت ، حذف ، الخ. واحدة من أكثر الطرق شيوعا هي الحصول على. يسمح لك بالحصول على محتويات صفحة الويب.

لإرسال طلب جيت باستخدام الطلبات ، تحتاج إلى تحديد عنوان ورل للموقع الذي تريد تلقي المعلومات منه. على سبيل المثال ، للحصول على جدول من موقع ويب ، يمكنك استخدام الكود التالي:

طلبات الاستيراد

. ثم يمكننا الحصول على نص الاستجابة باستخدام السمة

النص

وحفظه إلى متغير

الجدول

.

توفر مكتبة الطلبات العديد من الميزات الإضافية ، مثل تمرير المعلمات وتعيين الرؤوس ومعالجة ملفات تعريف الارتباط وما إلى ذلك. كما أن لديها واجهة بسيطة وبديهية ، مما يجعلها مريحة جدا للاستخدام.

لذلك ، إذا كنت بحاجة إلى الحصول على جدول من موقع ويب باستخدام بايثون ، فستكون مكتبة الطلبات أداة رائعة لهذه المهمة.

تحميل صفحة هتمل

لتحميل صفحة هتمل من موقع على شبكة الانترنت ، وسوف تحتاج إلى استخدام مكتبة الطلبات في بيثون.

قم أولا بتثبيت المكتبة عن طريق تشغيل الأمر:

طلبات تثبيت النقطة

بمجرد تثبيت المكتبة ، يمكنك البدء في العمل مع تحميل صفحة هتمل. هنا مثال على التعليمات البرمجية لتحميل الصفحة:

طلبات الاستيراد

رابط = "https://www.example.com" # استبدل بعنوان صفحة الويب المطلوبة

الاستجابة = الطلبات.الحصول على (رابط)

أتش تي أم أل المحتوى = استجابة.النص

طباعة (محتوى هتمل)

في المثال أعلاه ، نقوم باستيراد مكتبة الطلبات وتحديد عنوان ورل للصفحة التي نريد تنزيلها. ثم نستخدم طريقة الحصول على () للحصول على محتوى الصفحة كرد.

تحليل الجدول واستخراج البيانات اللازمة. على سبيل المثال ، يمكنك التكرار من خلال صفوف جدول باستخدام حلقة واستخراج النص من الخلايا:

للخلية في الصف.العثور على كل ('الدفتيريا'):

طباعة (خلية.النص)

هذا مجرد مثال على استخدام بوتيفولسوب لتحليل الجداول على صفحات الويب. توفر المكتبة العديد من الوظائف والأساليب للعمل مع شفرة هتمل ، بحيث يمكنك اختيار النهج الأنسب لمهامك.

والآن بعد أن عرفنا كيفية تحليل شفرة هتمل ، ننتقل إلى الخطوة التالية - توفير البيانات إلى جدول بيانات إكسل.

سؤال وجواب