چرا بودجه خزش برای سایت مهم است؟

منظور شما از بودجه خزیدش یا کرال باجت ، تعداد دفعاتی است که ربات ها از صفحات شما بازدید می کنند،به عبارت ساده تر، هرچه بودجه خزیدن شما بیشتر باشد، ربات ها بیشتر به صفحات شما باز می گردند و فهرست خود را با آنها به روز می کنند و شما ترافیک می خواهید، و این ترافیک زمانی به دست می آید که محتوای تازه ای در فهرست داشته باشید که افراد بتوانند از طریق موتور جستجو پیدا کنند.

بودجه خزیدن پایین یک تهدید بزرگ به ویژه برای سایت های بزرگ با بیش از چند ده هزار صفحه است. با این حال، این نباید باعث شود که فکر کنید می توانید آن را نادیده بگیرید. بهینه سازی این بودجه می تواند به شما برتری نسبت به رقیبی بدهد که فکر نمی کرد در این راستا کار کند. ناگفته نماند که احتمالاً بودجه Crawl شما آنقدر کم است که گوگل تقریباً فهرست کردن محتوای جدید شما را متوقف کرده است.

بله، دقیقاً به این دلیل که گوگل منبع پایان ناپذیری برای خزیدن ندارد، و ترجیح می دهند به سایت هایی “پاداش” بدهند که انجام کار را برای ربات ها آسان تر می کند. این سایت‌ها از خزیدن و نمایه‌سازی مکرر و کامل محتوا لذت می‌برند، در حالی که بقیه، تا حدودی منطقی، به ندرت و به سرعت بازدید می‌شوند.
این به نوبه خود می تواند به سایت شما آسیب برساند. تصور کنید که محتوای جدید و مفیدی منتشر می کنید که امیدوارید در روزهای آینده مردم از طریق موتور جستجو پیدا کنند.

بله، اما اگر کل سایت شما برای ربات ها گیج کننده و دست و پا گیر است، یاد میگیرند که هر 2 هفته یک بار از آن بازدید کنند. به این ترتیب، صفحه زیبای شما برای مدت طولانی ایندکس نمی شود و زمانی که ایندکس در نهایت اتفاق بیفتد، ممکن است محتوای صفحه دیگر به روز نباشد.

خبر خوب این است که اگر تغییر مثبتی ایجاد کنید، ربات‌ها نیز نگرش خود را نسبت به سایت شما تغییر خواهند داد،بنابراین اگر می خواهید بودجه بالایی برای خزیدن داشته باشید، به نکات زیر توجه کنید:

 

چک لیست با 5 دستورالعمل عملی برای بهینه سازی Crawl Budget

 

1. دسترسی به صفحات مهم را مسدود نکنید

شما باید کاملا مطمئن باشید که صفحات مهم سایت شما خزیده شده اند. اگر از htaccess یا robots.txt برای جلوگیری از بازدید خزنده ها از صفحات اصلی خود استفاده کنید، محتوای مفید شما کاملاً بی فایده خواهد بود. ممنوعیت‌های ربات‌ها باید برای صفحات کم‌اهمیت شما اعمال شود، اما در اینجا نیز باید به خاطر داشته باشید – اگر ممنوعیت‌های زیادی دارید، خزنده ممکن است فکر کند که شما اشتباه کرده‌اید و همچنان از این صفحات بازدید می‌کند. همچنین، اگر این صفحات محدود شده تعداد زیادی لینک به آنها داشته باشند، خزنده ها می توانند دوباره آنها را بخزند.

*پیشنهاد می کنم محتوای Dwell time چیست و چرا برای سئو مهم است را بعد از دیدن این محتوا مطالعه بفرمایید 

2. به HTML بچسبید

کرال باجت اکنون در حال خزیدن محتوای بهتر از جاوا اسکریپت و XML است،. با این حال، توانایی روبات ها برای خواندن صحیح فایل های JS هنوز به طور کامل توسعه نیافته است و خطر عدم دقت وجود دارد. توصیه ما این است که اگر فرصت دارید از HTML خالص تری استفاده کنید، این کار را انجام دهید.

3. تغییر مسیرهای را کاهش دهید

هر آدرس هدایت شده بودجه کمی را کاهش می دهد. بدتر این است که اگر صفحات زیادی دارید که قبل از بارگذاری محتوا، 3-4 تغییر مسیر غیر منطقی انجام می دهند، ممکن است ربات ها برای صرفه جویی در منابع، لینک ها را دنبال نکنند. سعی کنید صفحاتی که بیش از دو ریدایرکت 301 یا 302 انجام می دهند نداشته باشید.

4. خطاهای HTTP را برطرف کنید

همانطور که می دانید کدهای خطای 404 و 410 به خودی خود خطری مستقیم برای وضعیت سئوی سایت شما ایجاد نمی کنند، اما در صورت زیاد بودن می توانند به طور غیر مستقیم مضر باشند. مشکل دیگر آنها این است که از بودجه کرال شما “می خورند”. به نفع شماست که این خطاهای HTTP را به حداقل برسانید.

5. نقشه سایت XML را به روز نگه دارید

یک نقشه XML تمیز از سایت شما به ربات‌ها کمک می‌کند تا به جایی که لینک‌های داخلی منتهی می‌شوند و نحوه ساختار محتوای شما پیمایش کنند. نقشه سایت شما باید فقط حاوی URL های متعارف باشد و با دستورالعمل های موجود در فایل robots.txt شما مطابقت داشته باشد – صفحه ای را که خزیدن در robots.txt را غیرفعال کرده اید در نقشه سایت قرار ندهید.