دادهها نشان میدهد که گوگل در حال ایندکس کردن صفحات بیشتری است، اما اگر صفحاتی ظرف شش ماه ایندکس نشوند، احتمالاً این فرایند دیگر اتفاق نخواهد افتاد.

تحقیقات ابزار IndexCheckr
IndexCheckr یک ابزار پیگیری ایندکس شدن گوگل است که به مشترکان امکان میدهد وقتی محتوایی ایندکس میشود، آگاه شوند، صفحات ایندکس شده فعلی را رصد کنند و وضعیت ایندکسینگ صفحات خارجی که به صفحات وب مشترکین بکلینک میدهند را نیز پایش کنند.
این تحقیقات ممکن است از نظر آماری با روندهای ایندکسینگ گوگل در سراسر اینترنت همبستگی نداشته باشد، اما ممکن است با سایتهایی که مالکانشان نگران ایندکسینگ و پایش بکلینک هستند، به اندازه کافی همبستگی نزدیک داشته باشد تا مشترک این ابزار شوند و این روندها را پایش کنند.
درباره ایندکسینگ
در ایندکسینگ وب، موتورهای جستجو اینترنت را میخزند، محتوا را فیلتر میکنند (مانند حذف صفحات تکراری یا با کیفیت پایین) و صفحات باقیمانده را در یک پایگاه داده ساختاریافته به نام ایندکس جستجو ذخیره میکنند. این ایندکس جستجو بر روی یک سیستم فایل توزیعشده ذخیره شدهاست. گوگل در ابتدا از سیستم فایل گوگل (GFS) استفاده میکرد اما بعداً به کلوسوس ارتقا یافت که برای مدیریت مقادیر عظیم دادههای جستجو در بین هزاران سرور بهینه شدهاست.
نرخهای موفقیت ایندکسینگ
تحقیقات نشان میدهند که اکثر صفحات در مجموعه داده آنها ایندکس نشدهاند اما نرخهای ایندکسینگ از ۲۰۲۲ تا ۲۰۲۵ بهبود یافتهاند. اکثر صفحاتی که گوگل ایندکس کردهاست، قبل از شش ماه ایندکس شدهاند.
- بیشتر صفحات در مجموعه داده ایندکس نشدهاند (۶۱.۹۴٪).
- نرخهای ایندکسینگ از ۲۰۲۲ تا ۲۰۲۵ بهبود یافتهاند.
- گوگل بیشتر صفحات ایندکسشده را قبل از شش ماه ایندکس میکند (۹۳.۲٪).
روندهای حذف از ایندکس
روندهای ایندکسینگ بسیار جالب هستند، به خصوص سرعت گوگل در حذف صفحات از ایندکس. از همه صفحات ایندکس شده در کل مجموعه داده، ۱۳.۷٪ از آنها ظرف سه ماه از ایندکس خارج شدهاند. نرخ کل حذف از ایندکس ۲۱.۲۹٪ است. یک روش خوشبینانهتر برای تفسیر این دادهها این است که ۷۸.۷۱٪ از صفحات محکم در ایندکس گوگل باقیماندهاند.
معمولاً حذف از ایندکس به عوامل کیفیت گوگل مربوط میشود، اما ممکن است نشاندهنده ناشران وب و متخصصان سئو باشد که به عمد از طریق دستورات noindex مانند عناصر Meta Robots درخواست حذف صفحات از ایندکس میکنند.
درصدهای تجمعی حذف از ایندکس بر اساس زمان:
- ۱.۹۷٪ از صفحات ایندکس شده ظرف ۷ روز از ایندکس خارج میشوند.
- ۷.۹۷٪ ظرف ۳۰ روز از ایندکس خارج میشوند.
- ۱۳.۷۰٪ ظرف ۹۰ روز از ایندکس خارج میشوند.
- ۲۱.۲۹٪ بعد از ۹۰ روز از ایندکس خارج میشوند.
«این جدول زمانی اهمیت نظارت و بهینهسازی زودهنگام را برای رفع مشکلهای احتمالی که میتوانند به حذف از ایندکس منجر شوند، برجسته میکند. پس از سه ماه، خطر حذف از ایندکس کاهش مییابد اما همچنان ادامه دارد، بنابراین انجام ممیزیهای دورهای برای دیدپذیری بلندمدت محتوا ضروری است.»
تاثیر خدمات ایندکسینگ
بخش بعدی تحقیقات به کارایی ابزارهایی میپردازد که با هدف افزایش ایندکسینگ صفحات وب طراحی شدهاند. آنها دریافتند که URLهایی که به ابزارهای ایندکسینگ ارسال شدهاند فقط ۲۹.۳۷٪ موفق به ایندکس شدن شدهاند. این به این معنی است که ۷۰.۶۳٪ از صفحات وب ارسال شده بدون ایندکس ماندهاند، که ممکن است محدودیتهای استراتژیهای ارسال دستی را نشان دهد.
درصد بالایی از صفحات ایندکس نشده
کمتر از ۱٪ از وبسایتهای دنبال شده بهطور کامل ایندکس نشده بودند. بیشتر URLهای ایندکس نشده متعلق به وبسایتهایی بودند که توسط گوگل ایندکس شده بودند. ۳۷.۰۸٪ از تمامی صفحات دنبال شده بهطور کامل ایندکس شده بودند.
این ارقام ممکن است وضعیت کل اینترنت را نشان ندهد، زیرا دادهها از مجموعهای از سایتها که مشترک یک ابزار ایندکسینگ هستند، جمعآوری شده است. این موضوع دادههای اندازهگیری شده را متمایز کرده و ممکن است با وضعیت کل اینترنت متفاوت باشد.
همچنین ببینید: محتوا را سریعتر خزش و رتبهبندی کنید: ۵ نکته از یک متخصص سئو
ایندکس شدن گوگل از ۲۰۲۲ بهبود یافته است
اگرچه دادهها حاوی برخی آمار ناپسند هستند، اما یک نقطه روشن، افزایش پیوسته نرخهای ایندکسینگ از ۲۰۲۲ تا ۲۰۲۵ است که نشان میدهد توانایی گوگل در پردازش و شامل کردن صفحات ممکن است بهبود یافته باشد.
«دادههای ۲۰۲۲ تا ۲۰۲۵ نشاندهنده افزایش پیوسته نرخ ایندکسینگ گوگل هستند، که نشان میدهد موتور جستجو شاید پس از مشکلات گزارش شده قبلی در ایندکسینگ، در حال جبران است.»
خلاصه یافتهها
حذف کلی از ایندکس در سطح وبسایت برای این مجموعه داده نادر است. سرعت ایندکسینگ گوگل متفاوت است و بیش از نیمی از صفحات وب در این مجموعه داده برای ایندکس شدن مشکل دارند که احتمالاً به کیفیت سایت مرتبط است.
چه نوع مسائل کیفیت سایت میتواند بر ایندکسینگ تأثیر بگذارد؟
به نظر من، بخشی از آنچه که باعث این موضوع میشود میتواند شامل صفحات محصول تجاری با محتوای اضافی برای جذب باتها باشد. من چند سایت تجارت الکترونیکی را مرور کردهام که یا برای ایندکس شدن یا رتبهبندی مشکل داشتند. نتایج جستجوی ارگانیک گوگل (SERPs) برای تجارت الکترونیکی بهطور فزایندهای دقیق هستند. این نوع SERPs از دیدگاه سئو منطقی به نظر نمیرسند و دلیل آن این است که استراتژیهایی که بر تغذیه باتها، کلمات کلیدی و نقشههای موضوعی متکی هستند، تمایل دارند به وبسایتهایی منجر شوند که به جای فاکتورهای رتبهبندی که واقعاً مهم هستند و به واکنش کاربران به محتوا مرتبطند، در جستجو مخاطبان دارند.