في عالم اليوم ، تتطلب مئات الآلاف من المواقع من المستخدمين تسجيل الدخول للوصول إلى معلومات أو وظائف معينة. كيف يمكن تحليل هذه المواقع إذا كان الوصول إلى البيانات محدودا وكان تسجيل الدخول وكلمة المرور مطلوبين? في هذه المقالة ، سنتحدث عن إرشادات خطوة بخطوة لتحليل المواقع بترخيص.
الخطوة الأولى هي تثبيت المكتبات اللازمة للعمل مع تحليل البيانات. اعتمادا على لغة البرمجة المختارة ، قد تختلف قائمة المكتبات. ومع ذلك ، فإن المكتبات الأكثر شعبية ومريحة هي بوتيفولسوب لبيثون ، جسوب ل جافا و غوت ل فب.
بعد ذلك ، تحتاج إلى الوصول إلى نموذج التفويض على موقع الويب. عادة ما تكون موجودة على الصفحة الرئيسية أو لها صفحة منفصلة خاصة بها. من المهم فهم الحقول التي يجب ملؤها للحصول على إذن ناجح — قد يكون هذا اسم مستخدم وكلمة مرور ، بالإضافة إلى بيانات إضافية مثل كلمة التحقق أو التفويض ثنائي العامل.
بعد الوصول إلى نموذج التفويض ، يجب عليك استخدام المكتبة المحددة لملء الحقول وإرسال طلب إلى الخادم. اعتمادا على المكتبة المستخدمة ، سيبدو الرمز كما يلي:
.الطريقة (الطريقة.آخر)
- .تنفيذ();
- بي إتش بي:
- استخدام غوت \ العميل;
client العميل = عميل جديد ();
- form نموذج = craw الزاحف->حدد زر('تسجيل الدخول')->نموذج ();
- التحضير للتحليل
التعلم عن التفويض
تثبيت الأدوات اللازمة
تحليل الموقع مع إذن
سؤال وجواب
- كيف يمكنني تحليل الموقع الذي يتطلب إذن?
- ما هي أدوات البرمجة والمعرفة اللازمة لتحليل موقع بإذن?
- كيف يمكنني الوصول إلى الجزء المصرح به من الموقع?
هل يمكنني استخدام لغة برمجة أخرى لتحليل الموقع بإذن?
ما هي طرق التفويض الأخرى التي يمكن استخدامها على الموقع?
التحضير للتحليل
قبل البدء في تحليل موقع ويب بإذن ، تحتاج إلى اتباع بعض الخطوات:
دراسة هيكل الموقع
سيساعدك فهم بنية موقع الويب على تحديد العناصر التي يجب تحليلها وأين توجد. راجع شفرة هتمل للصفحة وابحث عن البيانات التي تهتم بها.
- تثبيت المكتبة للتحليل
- لتحليل المواقع ، ستحتاج إلى مكتبة مصممة خصيصا لهذا الغرض. واحدة من أدوات التحليل الأكثر شعبية في بيثون هي مكتبة بوتيفولسوب.
- قم بتنزيل الوحدات اللازمة
- تحقق مما إذا كانت جميع الوحدات والمكتبات اللازمة المتعلقة بالتحليل مثبتة في بيئة التطوير الخاصة بك. في حالة فقدان أي وحدات نمطية ، قم بتثبيتها باستخدام مدير حزم النقاط.
- تحديد طريقة التحليل
لتحليل موقع معتمد بنجاح ، قد تحتاج إلى استخدام طريقة طلب هتب ، والتي ستسمح لك بتسجيل الدخول إلى الموقع والوصول إلى الصفحات المحمية. تحديد الطريقة الأكثر ملاءمة لحالتك: الحصول على أو آخر.
- احصل على بيانات التفويض
- باستخدام المكتبة للعمل مع طلبات هتب (على سبيل المثال ، الطلبات) ، قم بإنشاء جلسة وتسجيل الدخول إلى الموقع ، وتمرير بيانات المصادقة اللازمة.
- قبل البدء في تحليل موقع بإذن ، تحتاج إلى دراسة كيفية إجراء عملية التفويض على موقع معين. يمكن أن يكون لكل موقع آلية ترخيص خاصة به ، لذلك من المهم فهم ميزاته.
- افحص كود هتمل لصفحة التفويض.
استخدم أدوات مطور متصفح الويب.
من خلال تحليل الطلبات المرسلة إلى الخادم ، يمكنك معرفة المعلمات التي يجب تمريرها للحصول على إذن ناجح. يمكن أن يكون هذا غالبا اسم مستخدم وكلمة مرور ، ولكن قد تكون هناك أيضا معلمات أخرى ، مثل رمز الوصول.
يتيح لك فحص شفرة هتمل لصفحة التفويض معرفة حقول النموذج التي يجب ملؤها للحصول على إذن ، وطريقة إرسال البيانات المستخدمة (عادة ما يتم نشرها) وأين يتم إرسال البيانات (عادة ما يكون عنوان ورل المحدد في سمة الإجراء للنموذج).
يمكن أن يكون استخدام أدوات مطور متصفح الويب مفيدا أيضا. على سبيل المثال ، في علامة التبويب" الشبكة " ، يمكنك رؤية جميع الطلبات المرسلة إلى الخادم أثناء التفويض وفحص معلماتها.
- بعد معرفة آلية التفويض على الموقع ، يمكنك البدء في كتابة برنامج نصي لتحليل البيانات بإذن.
- تثبيت الأدوات اللازمة
- لتحليل موقع مع إذن ، ستحتاج إلى الأدوات التالية:
- بايثون هي لغة برمجة سنكتب بها نصا للتحليل;
- بيب هو مدير حزمة لبيثون التي تسمح لك لتثبيت المكتبات اللازمة;
- بوتيفولسوب 4 هي مكتبة بيثون لاستخراج البيانات من ملفات هتمل و شمل;
- طلبات-مكتبة بايثون لإرسال طلبات المتشعب;
- السيلينيوم هي مكتبة بيثون لأتمتة الإجراءات في المتصفح.
- لتثبيت هذه الأدوات ، اتبع الخطوات التالية:
- تثبيت بايثون من موقع بايثون الرسمي (https://www.python.org/downloads /). عند التثبيت ، لا تنس تحديد المربع "إضافة بايثون إلى المسار" لتتمكن من استدعاء بايثون من سطر الأوامر.
- فتح موجه الأوامر وتشغيل
- بيب تثبيت بوتيفولسوب4 الأمر
- . سيؤدي هذا إلى تثبيت مكتبة بيوتيفول سوب 4.
- تشغيل
أمر طلبات تثبيت النقطة
لتثبيت مكتبة الطلبات.
قم بتثبيت مكتبة السيلينيوم عن طريق تشغيل الأمر
نقطة تثبيت السيلينيوم
.
بعد الانتهاء من هذه الخطوات ، سيتم تثبيت جميع الأدوات اللازمة وستكون جاهزا للانتقال إلى المرحلة التالية — كتابة نص تحليل.
تحليل الموقع مع إذن
تحليل الموقع مع التفويض هو عملية الحصول على البيانات من صفحة ويب ، والوصول إليها ممكن فقط بعد مصادقة المستخدم الناجحة.
من أجل تحليل موقع مع إذن ، تحتاج إلى تنفيذ الخطوات التالية:
تحديد طريقة التفويض
تحليل آلية التفويض على الموقع.
حدد البيانات التي يجب إرسالها إلى الخادم لمصادقة المستخدم (على سبيل المثال ، اسم المستخدم وكلمة المرور).