اگر سئوی سایتی را به تازگی شروع کرده‌اید، احتمالا با این مشکل روبه‌رو شده‌اید که گوگل صفحات سایت را خزش نمی‌کند و مدت زیادی طول می‌کشد تا آن‌ها را در ایندکس قرار دهد. البته این مشکل تنها برای سایت‌های تازه‌کار ایجاد نمی‌شود و هر سایتی مخصوصا سایت‌های بزرگ و سایت‌های خبری ممکن است با آن دست‌وپنجه نرم کنند. مشکلی که از پایین بودن بودجه خزش سایت ناشی می‌شود و می‌تواند روند فعالیت‌های سئو را با کندی روبه‌رو کند.
اگر شما هم با مشکل پایین بودن بودجه خزش یا crawl budget سایت مواجه هستید، در این مقاله از جت سئو راه‌هایی برای افزایش آن ارائه کرده‌ایم. تا پایان با ما همراه باشید.
بودجه خزش یا crawl budget چیست؟
بودجه خزش تعداد صفحاتی از سایت است که در یک روز توسط گوگل خزش می‌شوند. ممکن است بودجه خزش هر روز با روز قبل یا بعد آن متفاوت باشد، اما به طور کلی حول مقدار ثابتی نوسان دارد. گوگل ممکن است در یک سایت روزانه 6 صفحه را خزش کند، ممکن است در یک سایت 5000 صفحه را در روز بخزد یا حتی این عدد را برای یک سایت به چهار میلیون صفحه برساند. تفاوت این اعداد به بودجه‌ای بر می‌گردد که گوگل برای خزش سایت شما در نظر می‌گیرد.
روند خزش سایت بدین شکل است که خزنده یا گوگل بات لیستی از urlهایی را که باید خزش کند، تحویل می‌گیرد و با استفاده از الگوریتم‌هایی که برای آن تعریف شده، شروع به گشتن در لیست موردنظر می‌کند. خزنده‌ها هر بار که به سایتی می‌رسند، ابتدا فایل ROBOTS.TXT آن را بررسی می‌کنند تا مطمئن شوند برای خزش صفحات اجازه دارند یا نه. سپس خزش صفحات را به صورت تک‌به‌تک آغاز می‌کنند. در صورتی‌که هنگام خزش در سایت، یک صفحه جدید پیدا شود، خزنده آدرس URL آن را به لیست خود اضافه می‌کند تا در دفعات بعدی آن را خزش کند.
اهمیت crawl budget
بودجه خزش از آنجا که سهمیه سایت شما را از ربات‌ها یا خزنده‌های گوگل نشان می‌دهد، اهمیت زیادی در به‌ثمرنشستن فعالیت‌های سئو سایت دارد. این موضوع به خصوص وقتی اهمیت پیدا می‌کند که سایت بزرگی داشته باشید. تصور کنید سایت شما 250 هزار صفحه دارد و گوگل بودجه خزش شما را 2500 در نظر گرفته است. یعنی روزانه 2500 صفحه از سایت شما را خزش می‌کند.
البته در این میان برخی صفحات مثل صفحه اصلی سایت لازم است چندین بار خزش شوند. درصورتی‌که کار جدیدی انجام ندهید و صفحه جدیدی روی سایت ایجاد نشود، با بودجه خزش گفته شده، حداقل 100 روز طول می‌کشد تا صفحات سایت شما به طور کامل خزش شوند. البته با وجود اصلاحاتی که در صفحات رخ می‌دهد و اینکه برخی صفحات بیشتر از یک بار خزش می‌شوند، در واقعیت چیزی در حدود 200 روز برای خزش همه صفحات سایت زمان لازم است.
اهمیت بودجه خزش اینجا آشکار می‌شود. در این مثال با بودجه خزش موردنظر حداقل 100 روز زمان نیاز است تا صفحات سایت توسط گوگل خزش شوند، تصور کنید چقدر زمان برای ایندکس صفحات و رتبه گرفتن آن‌ها نیاز است. به خصوص آنکه در هنگام اجرای فعالیت‌های سئو داشتن بازخورد از نتیجه فعالیت‌ها برای اصلاح آن‌ها و بهبود روند سئو ضروری است. در کنار این‌ها ضرورت گزارش‌دهی به کارفرمای سایت را هم درنظر بگیرید.
اگر روند خزش صفحات سایت به کندی پیش رود، امکان ارائه گزارش‌هایی قابل قبول به کارفرما یا صاحب سایت هم وجود نخواهد داشت. به‌طورکلی با وجود یک بودجه خزش پایین، روند انجام فعالیت‌های سئو به مشکل برمی‌خورد. در همین مثال اگر بودجه خزش سایت 50 هزار صفحه در روز بود، مشکل خاصی بوجود نمی‌آمد. ظرف پنج یا شش روز کل صفحات خزش می‌شدند و کار به اتمام می‌رسید.
بودجه خزش سایت توسط گوگل چگونه تعیین می‌شود؟
عواملی مختلفی بر تصمیم گوگل برای خزش یک URL تاثیر دارند. مهم‌ترین این عوامل شامل اندازه سایت، خطاهای سایت، سرعت بارگیری صفحات، محتواهای تکراری و بی‌کیفیت، صفحات هک شده و همچنین تعداد لینک‌هایی که سایت شما دریافت کرده، می‌شود. برای مثال پیدا شدن لینک‌هایی که به صفحه جدید اشاره دارند، خزنده‌های گوگل را به سمت آن هدایت می‌کند. همچنین اگر کسی صفحه جدید را توییت کند یا اگر آدرس صفحه در سایت مپ سایت وارد شود، صفحه موردنظر را در اولویت بالاتری برای خزش قرار می‌دهد. حقیقت آن است که نمی‌توان لیست دقیق و کاملی از عواملی که بر تصمیم گوگل برای خزش یک سایت تاثیر دارند، تهیه کرد. اما روند کار بدین شکل است که وقتی گوگل تصمیم گرفت صفحه را خزش کند، آن را به لیست خزنده‌ها اضافه می‌کند تا در دفعات بعدی به سراغ آن بروند.
راهکارهای افزایش بودجه خزش سایت
همان‌طور که گفتیم بوجه خزش سایت می‌تواند به نوبه خود اهمیت زیادی برای سئوکارها داشته باشد به خصوص وقتی با یک سایت بزرگ و گسترده روبرو هستیم. در این قسمت قصد داریم راه‌هایی برای افزایش بودجه خزش سایت معرفی کنیم:
سرعت سایت را بالا ببرید
سایتی که سرعت پایین دارد نه تنها برای کاربران خسته‌کننده است بلکه حتی برای خزنده‌های گوگل هم آزاردهنده است. از آنجاکه چنین صفحاتی وقت خزنده‌ها را هدر می‌دهند، گوگل تمایلی به ماندن زیاد خزنده‌هایش در سایت شما نخواهد داشت و بودجه خزش سایت پایین می‌آید.
خطاهای فنی سایت را کاهش دهید
در قدم اول برای افزایش بودجه خزش سایت باید مطمئن شوید صفحات سایت شما در پاسخ به درخواست مرورگر، کد بازگشتی 200 یا 301 را برمی‌گرداند. کد بازگشتی درواقع کدی است که سرور سایت به مرورگر ارسال کرده و بوسیله آن وضعیت وجود یا عدم وجود صفحه، تغییر آدرس آن یا مثلا حذف کامل صفحه را مشخص می‌کند. کد 200 به معنای وجود صفحه و کد 301 به معنای ریدایرکت شدن صفحه است.
تنها نمایش این دو کد است که از درست بودن وضعیت دسترسی به صفحه خبر می‌دهند و بقیه کدها نشان‌دهنده بروز یک خطا در آن است. بنابراین لازم است ابتدا وضعیت کد بازگشتی تمام صفحات را بررسی کنید و آن‌هایی را که خطا دارند، اصلاح کنید. ممکن است برخی خطاها را با ریدایرکت کردن بتوانید اصلاح کنید و برخی را با برطرف کردن منبع ایجاد خطا. فراموش نکنید که سرچ کنسول گوگل برای خطایابی در این قسمت هم می‌تواند به شما کمک زیادی کند.
بیشتر بخوانید: آموزش گوگل سرچ کنسول و بخش های مختلف آن
برخی از صفحات سایت را مسدود کنید
اگر در سایت‌تان صفحاتی دارید که واقعا قرار نیست در نتایج جستجوی گوگل ظاهر شوند، بهتر است آن‌ها را با استفاده از فایل ROBOTS.TXT برای خزنده‌های گوگل مسدود کنید تا بودجه خزش شما هدر نرود. یکی از مشکلاتی که معمولا مشاهده می‌شود، این است که سایت‌های فروشگاهی هنگام اعمال فیلتر در نمایش محصولات، URL صفحه را تغییر می‌دهند. درنتیجه خزنده‌های گوگل هر کدام را یک صفحه در نظر گرفته و بودجه خزش سایت را صرف آن می‌کنند. در چنین مواردی باید مراقب باشید قالب سایت‌تان هنگام اعمال فیلتر، URL صفحه را تغییر ندهد. درصورتی‌که URL تغییر می‌کند، باید آن‌ها را برای خزنده‌های گوگل مسدود کنید.
زنجیره ریدایرکت‌ها را کاهش دهید
هنگامی که صفحه‌ای را ریدایرکت 301 می‌کنید، وقتی خزنده‌های گوگل برای خزش آن می‌آیند، URL مقصد را در لیست خزش قرار می‌دهند تا در نوبت بعدی آن را خزش کنند. این نشان می‌دهد ریدایرکت‌ها بودجه خزش سایت را هدر می‌دهند. برای مثال وقتی آدرس بدون WWW را روی آدرس WWW ریدایرکت می‌کنید و آدرس HTTP را روی آدرس HTTPS ریدایرکت می‌کنید، برای هر صفحه از سایت دو ریدایرکت ایجاد کرده و بودجه خزش زیادی را برای آن هدر داده‌اید.
بیشتر بخوانید: ریدایرکت چیست؟ معرفی انواع ریدایرکت‌ها 301، 302 و 307
لینک‌سازی کنید
لینک‌سازی پای ثابت تقریبا همه بخش‌های سئو است. هرچند اصلا کار ساده‌ای نیست اما انجام آن برای سئو اهمیت زیادی دارد. وقتی سایت شما لینک‌های خارجی زیادی داشته باشد، گوگل هم میفهمد که محتوای سایت شما جذاب بوده و برای دیگر سایت‌ها هم ارزشمند است. در نتیجه بودجه خزش بیشتری هم برای آن در نظر می‌گیرد. این کار علاوه بر دیگر مزیت‌هایی است که لینک‌های خارجی برای سایت فراهم می‌کنند. ضمن اینکه لینک‌سازی داخلی قوی هم به خزنده‌های گوگل کمک می‌کند صفحات مختلف و جدید سایت شما را راحت‌تر پیدا کنند.
جمع‌بندی
بودجه خزش سایت در واقع مدت زمانی است که گوگل برای خزش صفحات سایت است اختصاص می‌دهد. ازآنجاکه برای فعالیت‌های سئو سایت نیاز داریم صفحات زودتر خزش شده و در ایندکس گوگل قرار گیرند، بالا بردن بودجه خزش اهمیت پیدا می‌کند. بعد از آنالیز سایت و با استفاده از برخی اقدامات مثل کاهش خطاهای سایت، مسدود کردن صفحات غیرضروری، کاهش زنجیره ریدایرکت‌ها و لینک‌سازی داخلی و خارجی می‌توانید بودجه خزش سایت خود را افزایش دهید.
بیشتر بخوانید : انتقال دامنه سایت
