آموزش اسکریمینگ فراگ

 دنیای سئو آنقدر گسترده است که بدون کمک ‌گرفتن از ابزارهای مختلف، پوشش‌ دادن کامل سئوی یک سایت کار بسیار سخت و وقت‌گیر می‌شود. از این‌رو ابزارهای متفاوت و متنوعی برای پوشش ‌دادن بخش‌های مختلف سئوی سایت‌ ارائه شده است. هرچند با استفاده از چند ابزار مختلف می‌توانید همه نیازهای خود را برطرف کنید اما کار کردن با چند ابزار سئو مختلف برای بیشتر افراد کار سخت و خسته‌کننده‌ای است.

به همین دلیل داشتن یک ابزار جامع سئو که شما را از دیگر ابزارها بی‌نیاز کند، واقعا مزیت بزرگی است و یکی از تکنیک های سئو است. به خصوص اگر این ابزار از سئوی داخلی تا خارجی سایت (سئو خاکستری) را پوشش دهد. اسکریمینگ فراگ یکی از بهترین ابزارهای سئو است که به راحتی اکثر نیازهای سئویی شما را براورده می‌کند. در این مقاله از جت سئو به آموزش اسکریمینگ فراگ پرداخته‌ایم. اگر شما هم به دنبال کار کردن با یک ابزار جامع سئو هستید، آموزش Screaming Frog را در جت سئو از دست ندهید.

آموزش اسکریمینگ فراگ (Screaming Frog)

اسکریمینگ فراگ ابزاری است که می‌تواند تقریبا همه کارهای سئویی شما را راه بیاندازد. از ساخت فایل robots.txt گرفته تا اندازه‌گیری پارامترهای core web vitals. اما مهم‌ترین کارکردهای این نرم‌افزار به خزیدن سایت و تحلیل قسمت‌های مختلف آن برمی‌گردد. این امکان به شما توانایی می‌دهد تا همه پارامترهای مهم سئو سایت را از دیدی شبیه گوگل نگاه کرده و ایرادهای آن را برطرف کنید. در آموزش اسکریمینگ فراگ به مهم‌ترین ویژگی‌ها و امکانات آن که در سئوی سایت بیش از دیگر امکانات به کار می‌آیند، پرداخته‌ایم.

نصب و راه‌اندازی اسکریمینگ فراگ

در قدم اول برای آموزش Screaming Frog به سراغ نصب آن می‌رویم. برای نصب و راه‌اندازی اسکریمینگ فراگ ابتدا فایل آن را از سایت سازنده (https://www.screamingfrog.co.uk/quick-start-guide) دانلود کرده، با گذراندن مراحل نصب و زدن گزینه next، آن را روی سیستم خود نصب کنید. روند نصب این نرم‌افزار به سادگی طی می‌شود و پیچیدگی خاصی ندارد. پس از پایان مراحل نصب، نسخه رایگان آن راه‌اندازی می‌شود. با این نسخه می‌توانید تا 500 سایت را خزش کنید. اما اگر می‌خواهید نسخه کامل آن را استفاده کنید تا محدودیتی برای تعداد سایت‌ها، امکانات و گزینه‌های مختلف در دسترس نداشته‌ باشید، می‌توانید آن را از سایت سازنده بخرید یا اینکه نسخه کرک ‌شده را از سایت‌های دانلود نرم‌افزار گرفته و نصب کنید.

در نظر داشته باشید که اسکریمینگ فراگ یک نرم افزار تحت ویندوز است و به صورت نرم افزار اشتراکی سئو قابل خرید نیست. اطلاعات سایت‌ها پس از خزش بر روی کامپیوتر شما ذخیره خواهد شد و به صورت آنلاین ذخیره سازی نمی‌شود.

خزیدن در وب سایت با اسکریمینگ فراگ

خزیدن در وب سایت با اسکریمینگ فراگ به دو روش کلی انجام می‌شود. در روش پیش‌فرض که spider نام دارد، شما آدرس وب‌سایت را وارد می‌کنید و نرم‌افزار شروع به خزیدن در کل سایت می کند. اما در روش دیگر که list نام دارد، شما لیستی از آدرس‌های URL که می‌خواهید خزش شوند را وارد می‌کنید تا نرم‌افزار کار را برای شما انجام دهد. در صورتی که می‌خواهید همه محتوای یک سایت را خزش کنید، باید آدرس صفحه اصلی آن را در کادر Enter URL to spider در بالای نرم‌افزار وارد کنید و دکمه Start را بزنید.

با این کار نرم‌افزار شروع به خزش سایت و کلیه صفحاتی که URL همین سایت را دارند، می‌کند. در بحث آموزش اسکریمینگ فراگ مهم است بدانید که این ابزار کار خزش را به صورت لحظه‌ای و زنده انجام می‌دهد و شما می‌توانید سرعت کار، تعداد لینک‌های باقی‌مانده و مدت زمان لازم برای پایان کار را در پایین صفحه نرم‌افزار ببینید. همچنین می‌توانید کار خزش را به صورت موقت متوقف کنید، یا آن را ذخیره کرده و بعد ادامه دهید. اما اگر می‌خواهید لیستی از URL‌ها برای خزش به سایت بدهید، باید از قسمت Mode در منوهای بالای صفحه، گزینه List را انتخاب کنید. به طور کلی اسکریمینگ فراگ به گونه‌ای برنامه‌ریزی شده که تا جای ممکن شبیه به خزنده‌های گوگل سایت را خزش کند اما به هرحال روش‌های بی‌شماری برای خزش یک سایت وجود دارد.

اگر شما نوع خزش خاصی را مدنظر دارید می‌توانید آن را در اسکریمینگ فراگ اجرا کنید. برای این کار باید از منوهای بالای صفحه، به قسمت configuration بروید و روشی که مدنظر دارید را انتخاب کنید. برای مثال با انتخاب گزینه exclude یا include می‌توانید انتخاب کنید یک ساب فولدر خاص مورد خزش قرار گیرد یا نه. همچنین اگر وب سایت شما برای اجرا به اسکریپت‌های جاوا وابسته است، می‌توانید گزینه JavaScript rendering را انتخاب کنید.

پیدا کردن ریدایرکت با اسکریمینگ فراگ

در مرحله بعدی آموزش Screaming Frog به سراغ نحوه پیدا کردن ریدایرکت با اسکریمینگ فراگ می‌رویم. برای این کار از دو روش می‌توانید اقدام کنید که در ادامه آن‌ها را بررسی می‌کنیم:

• خزش کل سایت برای پیدا کردن ریدایرکت‌ها
• وارد کردن لیستی از URL‌ها برای پیدا کردن ریدایرکت‌ها

برای این کار ابتدا آدرس سایت یا لیستی از URL‌های مدنظر خود را در قسمت enter url to spider وارد کرده و دکمه start را بزنید تا کار خزش سایت شروع شود. سپس روی تب Response Codes کلیک کرده و فیلتر آن را روی 3xx قرار دهید. می‌توانید صبر کنید کل مراحل خزیدن تمام شود و بعد به سراغ ریدایرکت‌ها بروید. یا اینکه در حین عملیات خزیدن، فیلتر را روی 3xx قرار دهید و ریدایرکت‌ها را مشاهده کنید. کد هر ریدایرکت و وضعیت آن در کنار هر کدام از آن‌ها نشان داده می‌شود. همچنین خارجی ‌بودن یا داخلی ‌بودن ریدایرکت را هم می‌توانید در دیگر ستون‌ها ببینید. علاوه بر این در ستون Redirect URL مقصد ریدایرکت هر URL ستون Address را می‌توانید پیدا کنید.

اما اگر می‌خواهید بدانید چه صفحاتی به صفحه‌ای که ریدایرکت شده، لینک داده‌اند تا آن‌ها را اصلاح کنید، کافی است روی هر URL مدنظرتان کلیک کرده و تب Inlinks را در پایین صفحه بزنید. در ستون From می‌توانید صفحه‌ای که به ریدایرکت شما لینک داده را ببینید و در ستون To، صفحه‌ای که ریدایرکت شده را می‌بینید. همچنین اطلاعاتی مثل انکرتکست، خصوصیت alt تصویر و فالو یا نوفالو بودن لینک هم در این گزارش به شما نمایش داده می‌شود.

بیشتر بخوانید: آموزش جی تی متریکس در جت سئو

پیدا کردن لینک‌های 404 با اسکریمینگ فراگ

لینک‌های 404 یکی از دردسرسازترین مشکلاتی است که در سایت‌ها ایجاد می‌شوند. وجود چنین لینک‌هایی به راحتی می‌تواند همه زحماتی که برای یک صفحه از سایت کشیده‌اید را بر باد دهد. در این قسمت از آموزش اسکریمینگ فراگ به نحوه پیدا کردن لینک‌های 404 با این ابزار می‌پردازیم.

برای این کار ابتدا آدرس سایت موردنظر را در باکس Enter URL to spider وارد کرده و دکمه Start را بزنید تا خزش سایت آغاز شود. سپس روی تب Response Codes کلیک کنید و فیلتر آن را در حالت Client Error (4XX) قرار دهید. در این حالت کلیه لینک‌های 404 را می‌توانید ببینید. در این مورد هم می‌توانید صبر کنید تا کار خزش سایت تمام شود و بعد فیلتر را اعمال کنید یا می‌توانید همزمان با انجام خزش، فیلتر را اعمال کنید. کاری که در این مرحله باید انجام دهید، شناسایی صفحاتی است که بهURLهای 404، لینک داده‌اند. با شناسایی این صفحات می‌توانید لینک‌های آن را اصلاح کنید. برای این کار کافی است روی URL موردنظر در نتایج خزش کلیک کنید و از پایین صفحه تب Inlinks را انتخاب کنید. حالا نتایج موردنظرتان را می‌توانید ببینید. در پنجره‌ای که به شما نمایش داده می‌شود، در ستون From صفحه‌ای که به 404 URL لینک داده را مشاهده می‌کنید و در ستون To هم آدرس صفحه 404 نمایش داده می‌شود.

همچنین اطلاعاتی مثل انکر تکست، alt تصاویر و اینکه لینک فالو بوده یا نوفالو را می‌توانید در ستون‌های بعدی مشاهده کنید. ویژگی جالب اسکرمینگ فراگ این است که نه تنها لینک‌های شکسته خارجی را به شما نمایش می‌دهد بلکه اگر لینک‌های داخلی به صفحات 404 هم داشته ‌باشید، به شما نشان می‌دهد.

همچنین بخوانید: soft 404 چیست

پیدا کردن محتوای تکراری با اسکریمینگ فراگ

یکی از مهم‌ترین مواردی که باید در  آموزش Screaming Frog به آن اشاره کرد، امکان پیدا کردن محتوای تکراری سایت با استفاده از این نرم افزار است. از آنجا که محتواهای تکراری می‌توانند برای سئوی سایت مشکلات زیادی ایجاد کنند، لازم است نسبت به وجود آن‌ها حساسیت زیادی نشان دهید. برای پیدا کردن محتوای تکراری کافی است از منوی بالای صفحه گزینه Config را انتخاب کرده، سپس گزینه Content  را و پس از آن روی گزینه Duplicates کلیک کنید. در پنجره‌ای که باز می‌شود تیک گزینه Near Duplicates را بزنید.

نکته مهمی که در این قسمت از  آموزش اسکریمینگ فراگ باید یادآور شویم، این است که اسکریمینگ فراگ به طور پیش‌فرض صفحاتی که محتوای کاملا یکسان دارند را به شما نشان می‌دهد اما روشی که در این قسمت معرفی کردیم برای نمایش صفحاتی با محتوای مشابه است. از همین‌رو در این قسمت می‌توانید میزان شباهت محتوا را هم تعیین کنید. در گزینه near duplicate similarity threshold می‌توانید درصد شباهت موردنظرتان را هم تعیین کنید.

پیدا کردن تگ‌های کنونیکال با اسکریمینگ فراگ

پیدا کردن تگ‌های کنونیکال معمولا به طور پیش‌فرض در تنظیمات نرم‌افزار فعال است اما به خاطر اهمیت این موضوع راه فعال ‌کردن آن را در آموزش Screaming Frog یادآور می‌شویم. اگر پیدا کردن تگ‌های کانونیکال در اسکریمینگ فراگ شما فعال نبود کافی است از منوی بالای صفحه روی گزینه Configuration کلیک کرده، سپس Spider را انتخاب کنید و روی Crawl کلیک کنید. حالا در پنجره جدید تیک‌های مقابل canonical را بزنید تا از این به بعد صفحات با تگ کنونیکال خزش شوند.

حالا می‌توانید در قسمت Enter URL to spider آدرس سایت را وارد کنید و Start را بزنید تا کار خزش سایت شروع شود. پس از اینکه عملیات خزیدن سایت پایان یافت در تب canonical کلیه صفحات با تگ کنونیکال و همچنین صفحه کنونیکال متناظر آن در ستون‌های مجزا نمایش داده می‌شود.

بررسی بک لینک‌های سایت با اسکریمینگ فراگ

علاوه بر کاربردهای سئوی داخلی اسکریمینگ فراگ، می‌توانید با استفاده از آن بک‌لینک‌های داده شده به صفحات سایت خود را هم پیدا کنید. این چیزی است که در این بخش از آموزش کار با اسکریمینگ فراگ ارائه خواهیم کرد. برای پیدا کردن بک‌لینک‌های سایت باید از منوی بالای صفحه Configuration را انتخاب کنید. سپس روی Custom کلیک کرده و بعد به قسمت Extraction بروید. در فیلترهای تنظیمات این قسمت باید به جای دامنه screamingfrog.co.uk، دامنه سایت موردنظر خود را وارد کنید.

حالا می‌توانید لینک‌های داده شده همراه با انکرتکست آن را مشاهده کنید.

کاربرد نرم افزار اسکریمینگ فراگ

نرم‌افزار اسکریمینگ فراگ یک ابزار سئو است که به عنوان خزنده سایت شناخته می‌شود. مهم‌ترین کاربرد نرم افزار Screaming Frog، خزیدن در سایت و ارائه اطلاعات موردنیاز سئوکارها به شکلی سرراست و دسته‌بندی شده است. اسکریمینگ فراگ اطلاعات متنوعی از عناوین و تگ‌های مختلف سایت، محتوای تکراری، لینک‌های داخلی و خارجی سایت، ریدایرکت‌ها و کدهای پاسخ html و همچنین اطلاعات مربوط به core web vitals در اختیار کاربر قرار می‌دهد. هر سئوکاری می‌تواند با استفاده از این اطلاعات به یک براورد کامل و جامع از سایت موردنظر خود دست یابد.

جمع‌بندی در خصوص آموزش اسکریمینگ فراگ

در  این مقاله از جت سئو سعی کردیم به آموزش Screaming Frog بپردازیم. از آنجا که این ابزار امکانات کاملی را در اختیار سئوکارها قرار می‌دهد، کاربردهای گسترده‌ای دارد. این ابزار به صورت نرم‌افزار روی سیستم شما نصب می‌شود و با گرفتن آدرس وب‌سایت شروع به خزیدن در آن می‌کند. سپس اطلاعات کاملی از سایت را در اختیار شما قرار می‌دهد که می‌توانید در تب‌های مختلف اسکریمینگ فراگ آن‌ها را ببینید و با اعمال فیلترها، اطلاعات خاص موردنیاز خود را دریافت کنید. این اطلاعات به شما در تحلیل وضعیت سایت و اصلاح ایرادات موجود کمک زیادی می‌کند.

در کنار استفاده از اسکریمینگ فراگ پیشنهاد می کنیم بررسی سئو سایت خود را با جت سئو و افزونه کروم برای سئو جت سئو نیز انجام دهید. یکی از مزایای جت سئو این است که راه حل رفع هر مشکل فنی را هم به طور کامل توضیح می دهد. همچنین با جت سئو رتبه بندی سایت خود را مشاهده کنید.

اگر می خواهید با سایر ابزارهای سئو آشنا شوید می توانید مقالات دیگر جت سئو را هم مطالعه کنید:

• MOZ چیست
• KWFinder چیست
• سایت الکسا
• جی تی متریکس
• آموزش سرچ کنسول گوگل
• Ahrefs چیست
• ابزار Semrush