دوره

وب‌اسکریپینگ با پایتون

یاد بگیرید چطور با استفاده از کتابخانه Scrapy در پایتون، اطلاعات رو از اینترنت دریافت و تجزیه کنید.

پیشرفته
تاریخ به‌روزرسانی:
26 آبان 1405
۴٫۷
پایتون
۴ ساعت
۱۷ ویدیو
۳۹ تمرین
۱۷۳ شرکت‌کننده
۴۵۰
کاربرهای فینکا در چه شرکت‌هایی مشغول به کار هستند؟
توضیحات دوره

توانایی ساخت ابزارهایی که بتونن اطلاعات موجود در سراسر اینترنت رو دریافت و تجزیه کنن، در بسیاری از حوزه‌های علم داده ارزشمند بوده و همچنان اهمیت زیادی داره. در این دوره یاد می‌گیرید چطور کدهای HTML رو پیمایش و تجزیه کنید و ابزارهایی برای کرال کردن خودکار وب‌سایت‌ها بسازید.

با اینکه فرایند وب‌اسکریپینگ در این دوره با استفاده از کتابخانه همه‌کاره Scrapy در پایتون‌ انجام می‌شه، بسیاری از تکنیک‌هایی که یاد می‌گیرید در کتابخانه‌های محبوب دیگه پایتون‌ مثل BeautifulSoup و Selenium هم قابل استفاده هستن.

بعد از تکمیل این دوره، یک مدل ذهنی قوی از ساختار HTML خواهید داشت، می‌تونید ابزارهایی برای تجزیه کدهای HTML و دسترسی به اطلاعات مورد نظرتون بسازید و Spiderهای ساده Scrapy ایجاد کنید تا وب رو در مقیاس گسترده کرال کنن.

همونیه که می‌خواید یاد بگیرید؟

1
مقدمه‌ای بر HTML

با ساختار HTML آشنا بشید. ابتدا توضیح می‌دیم که چرا وب‌اسکریپینگ می‌تونه ابزار ارزشمندی برای جعبه‌ابزار علم داده شما باشه و بعد به سراغ مبانی HTML می‌ریم. در پایان این بخش هم مقدمه‌ای کوتاه درباره نگارش XPath ارائه می‌کنیم که برای پیمایش عناصر داخل کد HTML استفاده می‌شه.

2
XPath و سلکتورها

از سینتکس XPath برای کار با سلکتورهای Scrapy استفاده کنید. این دو مفهوم شما رو یک قدم به سمت توانایی اسکریپ کردن یک سند HTML نزدیک‌تر می‌کنن.

3
کار با CSS Locators, زنجیره سازی, پاسخ‌ها

با سینتکس CSS Locator آشنا بشید و کار با ایده زنجیر کردن CSS Locatorها با XPath رو شروع کنید. همچنین اشیای Response رو معرفی می‌کنیم که رفتاری شبیه سلکتورها دارن، اما ابزارهای بیشتری در اختیارتون می‌ذارن تا فرایند وب‌اسکریپینگ رو در چندین وب‌سایت انجام بدید.

4
اسپایدرها

یاد بگیرید چطور با Scrapy یک وب‌کرالر بسازید. این کرالر در چندین صفحه وب حرکت می‌کنن، لینک‌ها رو دنبال می‌کنن و هر صفحه رو به‌صورت خودکار و بر اساس روش‌هایی که در بخش‌های قبلی یاد گرفتید، اسکریپ می‌کنن.

گواهی پایان دوره

  • تأیید مهارت شما

    با تکمیل این دوره، شما یک گواهی معتبر دریافت می‌کنید که بیانگر کسب مهارت‌های لازم مرتبط با این دوره آموزشی است.

  • اعتبار و اصالت گواهی

    هر مدرک دارای شناسه یکتا و لینک اعتبارسنجی است که امکان بررسی و تأیید اصالت آن را فراهم می‌کند.

  • اشتراک‌گذاری

    می‌توانید گواهی‌های خود را به‌راحتی در شبکه‌های حرفه‌ای مانند لینکدین با دیگران به اشتراک بگذارید.

اشتراک‌گذاری
منابع
DataCamp webpage HTML

سوالات متداول

بله، این دوره برای افراد مبتدی کاملاً مناسبه! ابتدا با مبانی ساختار HTML و سینتکس XPath آشنا می‌شید و بعد سراغ مباحث پیشرفته‌تری مثل زنجیره کردن سلکتورها می‌رید.

بله، این دوره طوری طراحی شده که مهارت‌های لازم برای اسکرپ کردن وب‌سایت‌های دلخواهتون با پایتون رو به دست بیارید. همچنین یاد می‌گیرید چطور ابزارهای خودتون رو برای استخراج و تجزیه اطلاعات در سطح اینترنت درست کنید.

این دوره برای هر کسی که می‌خواد وب‌اسکرپینگ با پایتون رو یاد بگیره مناسبه. این مهارت به‌خصوص برای تحلیلگران داده، دانشمندان داده، توسعه‌دهندگان وب، مهندسان یادگیری ماشین و افرادی که در حوزه‌های مشابه فعالیت می‌کنن، کاربردیه.

با ساختار HTML، سینتکس XPath و سلکتورها، CSS Locatorها و زنجیره کردن‌شون، اشیاء Response و نحوه ساخت وب‌کرالر با Scrapy آشنا می‌شید.

بله، یاد می‌گیرید چطور یک کرالر با Scrapy بسازید که بتونه در چندین صفحه یک وب‌سایت حرکت کنه، لینک‌ها رو دنبال کنه و هر صفحه رو به‌صورت خودکار اسکرپ کنه.

دریافت اپلیکیشن فینکا

با اپلیکیشن فینکا، به بیشتر دوره‌ها و مسیرها روی موبایل دسترسی دارید، تمرین می‌کنید و یادگیری رو هم‌زمان روی موبایل و دسکتاپ ادامه می‌دید.