بودجه خزش یکی از مباحث کمتر شنیده شده در حوزه بهینه سازی سایت و سئو می‌باشد که آشنایی با آن و به کار گیری این مبحث در استراتژی سئو سایت شما مفید خواهد بود.
در واقع کرال باجت (Crawl Budget) به معنی تعداد صفحاتی است که موتورهای جستجو در یک وب سایت خاص در یک بازه زمانی مشخص می‌خزند.
به طوری که موتورهای جستجو بر اساس محدودیت‌هایی که دارند و همچنین میزان تقاضای خزش یک سایت، یک بودجه‌ای را جهت خزش صفحات سایت محاسبه می‌کنند.
در نتیجه اگر شما بودجه خزش گوگل خود را به صورت مفید مورد استفاده قرار ندهید،
موتورهای جستجو چون google نمی‌توانند وب سایت شما را به طور مؤثر بررسی و ایندکس کنند.
حتماً حالا برایتان سؤال پیش آمده که اصلاً چرا موتورهای جستجو Crawl Budget را به وب سایت‌ها اختصاص می‌دهند؟
وجود بودجه خزش به این دلیل است که این موتورهای جستجو منابع محدودی را در اختیار دارند بنابراین باید توجه خود را بین میلیون‌ها وب سایت تقسیم کنند.
پس اقدام به ایجاد اولویت بندی خزش کرده و اختصاص یک کرال باجت به هر وب سایت آن ها را در انجام این کار یاری می‌کند.
اما آیا تمامی وب سایت ها از یک مقدار بودجه برخوردارند؟
طبیعتاً خیر!
این که وب سایت شما چه مقدار بودجه خزش گوگل را در اختیار داشته باشد بستگی به دو عامل کلیدی دارد: محدودیت خزیدن و تقاضای خزش!
منظور از محدودیت خزیدن یک وب سایت این است که آن سایت تا چه میزان توانایی تحمل ربات‌های خزنده را داشته و مدیر سایت چه محدودیت‌هایی را برای خزش صفحات اعمال کرده است.
از سوی دیگر تقاضای خزیدن نیز به معنی ارزش یک صفحه سایت بر اساس محبوبیت و به روزرسانی های آن جهت خزش دوباره است.
همچنین بخوانید : اهداف سئو و بهینه سازی سایت چیست
همان‌طور که اشاره شد یکی از عوامل کلیدی که بر میزان Crawl Budget مؤثر است، محدودیت‌های اعمال شده بر فرایند خزش است.
در حقیقت خزنده‌های موتورهای جستجو با توجه به میزان درگیری بیش از حد سرور وب نسبت به درخواست‌های خزش عمل کرده و این موضوع را همیشه تحت نظر دارند.
اما این محدودیت‌های ربات‌های خزنده بر چه اساسی تعیین می‌شوند؟
در پاسخ باید گفت: جهت جلوگیری از فرایند خزش توسط ربات‌ها عوامل مختلفی دخیل هستند که در ادامه به چند مورد آنها اشاره خواهیم کرد.
پیش از آن لازم به ذکر است که نشانه‌هایی چون به پایان رسیدن آدرس‌های اینترنتی به طور مداوم و یا خطاهای سرور زنگ خطری برای وضعیت بد محدودیت خزش سایت شما است.
یکی از عواملی که ممکن است موجب ایجاد چنین وضعیتی شده باشد، تعداد وب سایت‌های در حال اجرا روی یک هاست است.
به طور مثال اگر وب سایت شما بر روی یک پلتفرم میزبانی مشترک با صد ها وب سایت دیگر راه اندازی شده است،
ممکن است دچار محدودیت بودجه خزش گوگل شوید.
چرا که میزبان شما مجبور است تا کرال باجت را بین سایت شما و سایر سایت‌های موجود در آن هاست به اشتراک بگذارد.
به این ترتیب پیش از راه اندازی وب سایت خود، بهتر است تا این موضوع را در نظر گرفته و اگر وب سایت بزرگی دارید از هاست اشتراکی استفاده نکنید.
در مقابل می‌توان یک سرور اختصاصی داشت که به احتمال زیاد زمان بارگذاری آن را برای بازدیدکنندگان نیز کاهش می‌دهد.
مورد دیگری که باید در نظر داشت این است که بخش‌های جدا در موبایل و دسکتاپ هر دو روی یک هاست اجرا شوند.
چرا که آنها یک محدودیت Crawl Budget مشترک نیز دارند.
پیش‌تر اشاره کردیم که دومین عامل در بودجه خزش گوگل مربوط به تقاضای خزش یا زمان‌بندی‌های خزیدن است.
در واقع این تقاضا یا زمان‌بندی خزیدن، در مورد تعیین ارزش خزیدن مجدد URLها است.
برای این مورد هم عوامل زیادی بر تقاضای خزیدن تأثیر می‌گذارند که از جمله آنها می‌توان به موارد زیر اشاره کرد:
میزان محبوبیت صفحات شما!
بررسی تعداد پیوندهای داخلی و خارجی یک URL از موارد تأثیرگذار بر میزان محبوبیت صفحات وب سایت برای ربات‌های خزنده موتورهای جستجو است.
و این موضوع که خود نقش مهمی در سئو و بهینه سازی سایت دارند، باعث خزش مداوم صفحات شما توسط موتورهای جستجو به منظور یافتن محتوای جدید خواهد شد.
صفحات وب سایت شما از زمان انتشار تابه‌حال چند بار به‌روزرسانی شده‌اند؟
بیایید از دیدگاه ربات‌های خزنده به صفحات نگاه کنیم.
فرض کنید یک صفحه از زمان انتشار تا به حال هیچ گونه به‌روزرسانی نشده و محتوای جدیدی دریافت نکرده است، در مقابل صفحه‌ای از زمان انتشار خود چندین بار به روز رسانی شده است.
خب حالا شما کدام صفحه را برای خزش و اختصاص بیشتر بودجه خزش گوگل ترجیح می‌دهید؟
بله! مسلماً صفحه دوم برای شما هم جذاب‌تر خواهد بود.
البته همیشه هم مسئله مربوط به وب سایت شما نبوده و ظرفیت کرال باجت خود سیستم موتورهای جستجو مانند google نیز دارای محدودیت‌هایی هستند.
با وجود عظمت ظرفیت این سیستم‌ها اما در پایان روز شاهد کاهش و محدودیت این ظرفیت هستیم.
بنابراین در سناریویی که 80 درصد از مراکز داده گوگل به طور هم‌زمان آفلاین می‌شوند، Crawl Budget آنها به شدت کم شده و به نوبه خود بودجه خزیدن تمام وب سایت‌ها را کاهش می‌دهد.
بودجه خزش یک اصطلاح رایج در مباحث سئو و بهینه سازی سایت است که گاهی با عنوان فضای خزیدن یا زمان خزش نیز شناخته می‌شود.
اما گاهی تصور می‌شود که این خزش تنها مربوط به صفحات وب سایت می‌باشد،
در حالی که در فرایند خزیدن هر سند موجود در سایت شما توسط موتورهای جستجو مورد بررسی قرار می‌گیرند.
به طور مثال انواع اسنادی چون فایل‌های جاوا اسکریپت و CSS، انواع صفحه موبایل، انواع hreflang ، فایل‌های PDF و.. خزیده می‌شوند.
به این منظور که موتورهای جستجو تا حد امکان تمامی صفحات شما را خیلی سریع ایندکس کرده و به خوبی آن را درک کنند،
تمامی اسناد فوق باید به نحو صحیحی بهینه شده باشند.
از سوی دیگر وقتی صفحات جدیدی را اضافه می‌کنید و صفحات موجود را به روز می‌کنید، بهتر است تا موتورهای جستجو در اسرع وقت این صفحات را بررسی کنند.
چرا که هرچه سریع‌تر صفحات شما مورد ایندکس قرار بگیرند، زودتر می‌توانید از نتایج آن بهره‌مند شوید.
اگر بودجه خزش گوگل خود را هدر دهید، قطعاً موتورهای جستجو نمی‌توانند وب سایت شما را به طور مؤثر بررسی کنند.
در حقیقت آنها وقت خود را صرف بخش‌هایی از سایت شما می‌کنند که در حال حاضر اهمیتی ندارد، پس می‌تواند منجر به کشف نشدن بخش‌های مهم وب سایت شما شود.
اگر ربات‌های google در مورد صفحات جدید یا تغییر یافته اطلاعاتی نداشته باشند، آن را مورد خزش و ایندکس قرار نمی‌دهد.
به این ترتیب نخواهید توانست تا بازدیدکنندگان را از طریق موتورهای جستجو به سایت خود جذب کنید.
در این جا است که هدر دادن Crawl Budget به عملکرد سئوی شما آسیب خواهد زد.
از بین تمامی موتورهای جستجو، گوگل یکی از محبوب‌ترین و مهم‌ترین‌های آن‌هاست که با گستردگی استفاده روز افزون آن برای هر تجارت آنلاینی مورد توجه قرار گرفته است.
از سوی دیگر بودجه خزش google شفاف‌ترین بودجه خزیدن موجود می‌باشد که برای وب سایت‌ها ارائه می‌شود.
با توجه به این موضوع، میزان کرال باجت گوگل برای هر وب سایتی باید حائز اهمیت باشد.
پس برای آن که بفهمید میزان بودجه شما در موتور جستجو گوگل چقدر بوده و از آن برای بهینه سازی هرچه بیشتر سایت خود بهره ببرید، مراحل زیر را انجام دهید.
چنانچه وب سایت خود را در کنسول جستجوی گوگل (google search console) تأیید کرده‌اید، می‌توانید اطلاعاتی در مورد Crawl Budget وب سایت خود برای Google به دست آورید.
به این منظور وارد کنسول جستجوی گوگل شده و وب سایت مورد نظر خود را انتخاب کنید.
سپس به مسیر Crawl > Crawl Stats رفته و در آنجا می‌توان تعداد صفحاتی که گوگل در روز مورد خزش قرار می‌دهد را مشاهده کنید.
اگر در ابتدای راه اندازی وب سایت خود هستید، طبیعی است که این بودجه کم باشد.
اما به مرور زمان هرچه شما از لحاظ سئو و میزان محبوبیت در رتبه بالاتری قرار بگیرید، به دنبال آن ترافیک بیشتری جذب کرده و گوگل نیز بیشتر به شما اهمیت می‌دهد.
در نتیجه پس از گذشت ماه‌ها و سال‌های بعدی این بودجه بسته به میزان فعالیت و بهینه سازی سایت ممکن است ده ها برابر شود.
همچنین بسیار جالب است که اگر لاگ‌های سرور خود را بررسی کنید، خواهید دید که خزنده‌های گوگل چند بار به وب سایت شما برخورد می‌کنند.
بهینه سازی کرال باجت باعث خواهد شد تا از هدر نرفتن بودجه اختصاصی وب سایت خود مطمئن شوید.
این استراتژی عموماً شامل تکنیک‌هایی می‌باشد که در آن دلایل هدر رفتن بودجه را شناسایی کرده و به برطرف کردن آنها بپردازید.
به این منظور کافی است تا وب سایت‌های مختلف را از دیدگاه بودجه خزش گوگل مورد بررسی قرار دهید.
بله! در تمامی آنها الگویی را مشاهده می‌کنید که نشان دهنده وجود مشکلات مشابهی خواهد بود.
در این بخش از مقاله وب جوان، دلایل رایج برای هدر رفتن Crawl Budget که با آن مواجه می‌شویم را برای شما آماده کرده‌ایم:
نمونه‌ای از URL با پارامتر https://www.example.com/toys/cars?color=black است که در این حالت، از این پارامتر برای ذخیره انتخاب بازدیدکننده در فیلتر محصول استفاده می‌شود.
در بیشتر موارد، آدرس‌های اینترنتی دارای پارامترها نباید برای موتورهای جستجو قابل دسترسی باشند، زیرا آنها می‌توانند تقریباً تعداد بی‌نهایتی از URL تولید کنند.
URLهای دارای پارامتر معمولاً هنگام پیاده سازی فیلترهای محصول در سایت‌های تجارت الکترونیک استفاده می‌شوند.
هر چند استفاده از آنها می‌تواند مفید باشد اما باید مطمئن شوید که برای موتورهای جستجو قابل دسترسی نیستند.
خدمات وب جوان : طراحی وب سایت فروشگاه اینترنتی
اصولاً به صفحاتی که بسیار شبیه یا دقیقاً مشابه یکدیگر هستند، «محتوای تکراری» گفته می‌شود مانند صفحات کپی شده، صفحات نتایج جستجوی داخلی و صفحات برچسب.
صفحاتی با محتوای بسیار کم، یا صفحاتی که هیچ ارزش و اعتباری برای کاربران به همراه نخواهند داشت.
پیوندهای شکسته، پیوندهایی هستند که به صفحات پاک شده آدرس می‌دهند و تغییر مسیر نیز شامل پیوندهایی به URL هاییست که به URLهای دیگر هدایت می‌شوند.
صفحات غیر قابل فهرست‌بندی و صفحات غیر صفحه‌ای مانند نشانی‌های اینترنتی 3xx، 4xx و 5xx نباید در نقشه سایت XML شما گنجانده شوند.
همچنین بخوانید : نقشه سایت چیست و انواع آن
صفحاتی که زمان زیادی طول می‌کشد تا بارگیری شوند یا اصلاً بارگذاری نمی‌شوند، تأثیر منفی بر بودجه خزش شما می‌گذارند.
زیرا این نشانه‌ای برای موتورهای جستجو است که وب سایت شما نمی‌تواند از عهده آن برآید.
اگر ساختار لینک داخلی شما به درستی تنظیم نشده باشد، ممکن است موتورهای جستجو توجه کافی به برخی از صفحات شما نداشته باشند.
احتمالاً در برخی از مواردی که ذکر شد لازم است تا شما دسترسی موتورهای جستجو را به URL مد نظرتان محدود کرده تا از هدر رفتن بودجه خزش گوگل خود جلوگیری کنید.
راه حل موجود استفاده از فایل robots.txt است که در آن به موتورهای جستجو دستور می‌دهید تا به چنین URLهایی دسترسی نداشته باشند.
حتی اگر به دلایلی این گزینه برای شما در دسترس نیست،
از تنظیمات مدیریت پارامتر URL در کنسول جستجوی گوگل و ابزار وب مستر بینگ استفاده کنید تا به گوگل و بینگ راهنمایی کنید که کدام صفحات را خزش نکنند.
از سوی دیگر باید مقدار ویژگی nofollow را به پیوندهای موجود در پیوندهای فیلتر اضافه کرد.
هرچند توجه داشته باشید که Google ممکن است ویژگی‌های nofollow را نادیده گرفته و بنابراین از انجام مرحله 1 اطمینان پیدا کنید.
همچنین بخوانید : لینک نوفالو چیست
پس از زیاد شدن تعداد وب سایت‌ها، گوگل از پروژه کرال باجت رونمایی کرد، بودجه خزش برای نمایش دادن میزان محبوبیت وب سایت شما از نظر گوگل است و اگر سایتی به روز داشته باشید میزان کرال باجت شما افزایش پیدا می‌کند.
در تعریفی ساده، بودجه خزش گوگل (Crawl Budget)، بودجه‌ای است که گوگل برای خزیدن ربات‌های خود به سایت شما اختصاص می‌دهد.
برای بهینه سازی کرال باجت گوگل سایت خود باید برخی از موارد را مانند نداشتن محتوای تکراری، محتوای بی کیفیت، درست کردن پیوندهای شکسته و ریدایرکت شده، سرعت لود صفحات بالا و غیره که در این مقاله به طور کامل بررسی شده را بررسی و رفع نمایید.
