Skip to content

جلوگیری از ایندکس سایت در گوگل

زمان مطالعه: 9 دقیقه
ایندکس کردن و کرول کردن

تا بحال چنین مشکلی داشته اید؟ بیشتر مردم که نه بلکه تمام مردم که وبمستر یا مدیر سایت باشند میخواهند سایت خود را در گوگل و رتبه های بالا ببینند، اما چرا باید بخواهند سایتشان بجای دیده شدن مخفی بماند؟ این که نمی خواهید سایت خود را ایندکس کنید، باید بدانید چطور از آن جلوگیری کنید! اینجا هستم تا کمی در مورد این موضوع صحبت کنیم.
ابتدا با ایندکس شدن و لیست شدن بین نتایج گوگل صحبتم را شروع می کنم. شما هم میدانید که ترافیکی که از گوگل برای سایت ها ارسال می شود ارزش زیادی دارد، اینجا اینترنه اول ترافیک بعد چیزهای دیگر، البته از قول هیچکس. به هر حال، دلیل نوشتن این مقاله این بود که خودم میخواستم سایتی راه اندازی کنم ولی تا اتمام کار نگذارم حتی گوگل از آن اطلاعی پیدا کند.

دوست داشتم ایندکس های سایتم به طور کاملی کنترل شده و همینطور یک معماری خوب و حساب شده برای سایت ارائه کنم. معماری یا ساختار سایت بسیار مهم و از فاکتورهای سئو محسوب میشود و با ارائه یک سایت خوب که از ساختار تمیز Clean Structure بهره می برد میتوان راحت تر از سایت های بدون ساختار به رتبه های بالاتر دست یافت.
بنابراین برای راه اندازی سایتم دست بکار شدم و در ابتدا سعی کردم راه های جلوگیری از پیدا شدن و کشف سایت توسط خزنده ها و ربات های گوگل را پیدا کنم. تایم مشخصی رو صرف تحقیق در این مورد کردم و به مقاله های زیادی برخوردم که روش های مختلفی برای این کار ارائه کرده بودند. بنابراین مستقیم سراغ آنها می روم:

چرا بخواهیم از ایندکس سایت جلوگیری کنیم؟
لیست شدن یعنی چه و تفاوت آن با ایندکس چیست؟
چطور خزنده ها را در ایندکس سایت متوقف کنیم؟
چطور در وردپرس از ایندکس سایت تازه جلوگیری کنیم؟
چطور یک برگه را برای ایندکس گوگل مسدود کنیم؟
چطور آدرس های ایندکس شده را از گوگل حذف کنیم؟

این ها سوالاتی هستند که میخواهم به آنها در این مقاله پاسخ دهم، پس کار خود را از اولین مورد شروع می کنم:
شاید بخواهیم چند دلیل برای این بیاوریم که ایندکس شدن سایت حتی در روز های اولی که سایت جانی در تن ندارد و رتبه ای کسب نکرده، بد نباشد، اما بنظرم باید ایندکس از همان بدو راه اندازی سایت کنترل شود و این چیزیست که همیشه مد نظر قرار داده ایم. ولی چرا باید کسی بخواهد از ایندکس سایت خود جلوگیری کند؟ پاسخ آن سادست، شاید میخواهد یک سایت تازه راه اندازی کند یا یک سایت کپی دارد که میخواهد روی آن تغییراتی ایجاد کند. پس این سوال پیش می آید.

پیشنهاد میکنیم این مقاله رو از دست ندهید:
روش استفاده از شمارنده لینک در افزونه سئو Yoast SEO

تگ نوایندکس Noindex

چرا کسی بخواهد از ایندکس شدن سایت جلوگیری کند؟

خب هر کسی که سایت راه اندازی میکند سعی در بهبود رتبه سایت دارد، برای همین هم معمولا مقالات آموزش سئو محبوبیت زیادی برای این افراد دارند، بنابراین یک افزونه سئو مثل یوست سئو نصب می کنند، فایل ربات و نقشه سایت می سازند تا رتبه سایت خود را برای کسب ترافیک بیشتر بهبود بخشند. اما دلایل زیادی هم برای قرار نگرفتن در ایندکس و نتایج گوگل وجود دارد:

راه اندازی یک سایت تازه – اگر یک سایت تازه راه اندازی کرده باشید و بخواهید کار توسعه آن را انجام دهید، خب برای داشتن یک سایت تمیز و با سابقه تمیز در ایندکس های گوگل، بهتر است از همان ابتدا ایندکس گوگل را متوقف کنید، چون به شما اجازه میدهد بعدها تغییرات سایت را انجام دهید و پس از پایان رساندن کار راه اندازی سایت جدید، ایندکس آن را شروع کنید. به هر حال وقتی سایت خود را تازه ایجاد کرده باشید بلافاصله گوگل آن را ایندکس نمی کند، نه، اما خب چرا نباید داشتن یک سایت خوب را به یک سایت بد ترجیح ندهید!؟

توسعه یا کار روی یک نسخه از سایت – اگر روی یک سایت آزمایشی کار می کنید که اتفاقا محتوای آن هم شاید از سایت اصلی کپی شده، و روی رفع اشکلات آن کار میکنید، بهتر است از ایندکس آن جلوگیری کنید، این کار به سایت اصلی شما و اعتباری که دارد کمک می کند صدمه ای نبیند. حتی زمانی که بخواهید سایت خود را با بروز رسانی های زیادی آپدیت کنید و تغییراتی مثل تغییر دامنه، دسترسی ها، قالب سایت و حتی برند سایت را ریبرندینگ Re-Branding کنید، بهتر است آن را وارد مرحله ای کنید که برای گوگل قابل ایندکس نباشد.

سایت های اختصاصی – معمولا افرادی هستند که برای خود و خانواده یا گروهی از دوستان یک سایت شخصی دارند، یا شرکتی که برای کارمندان خود یک سایت و اشتراک ساخته تا از آن استفاده کنند، و حتی نمونه های دیگری از این مورد مثل سایت های خصوصی و غیر عمومی، همه میتوانند یک سایت داشته باشند که نمیخواهند در گوگل و یا دیگر موتورهای جستجو حضور داشته باشند.

پیشنهاد میکنیم این مقاله رو از دست ندهید:
بررسی چگالی کلمه کلیدی در افزونه سئو Yoast SEO

سایت های تست و بی هدف – معمولا پیشنهاد هر کسی اینست که از ایندکس شدن یا تلاش برای ایندکس سایت های آزمایشی و بی هدف که برای انجام تست های مختلف راه اندازی شده اند پرهیز کنند. این یعنی بهتر آن است که سایت های آزمایشی وارد ایندکس گوگل نشوند. پس بهتر است که سایت های آزمایشی خود را با یک برگه خوش آمدگویی یا چیزی مثل یک برگه فرود بهینه سازی کنید و البته دسترسی ایندکس آن را هم برای خزنده ها و ربات ها مسدود کنید.

لیست شدن یعنی چه و تفاوت آن با ایندکس چیست؟

شاید بیشتر مقاله هایی که مطالعه میکنید در مورد این تفاوت توضیح نداده اند. پس میخوانید که جلوگیری از ایندکس گوگل یعنی در نتایج گوگل نمایش داده نشوید، برای همین در فایل ربات دسترسی گوگل را به سایت مسدود می کنند! این کاری اشتباه است و اصلا برای مسدود کردن گوگل از ایندکس سایت مناسب نیست.

ایندکس شدن یعنی سایت شما توسط گوگل شناسایی شده و در یکی از سرورهای آنان ذخیره شود. همین. اما در عوض، لیست شدن یا نمایش در نتایج جستجو یعنی سایت شما در بین نتایج گوگل برای کلمات کلیدی نمایش داده شود و از گوگل لینکی به سایت شما داده شود. منظور همان صفحه نتایج جستجو SERPs است. پس جلوگیری از ایندکس شدن سایت توسط گوگل به این معنی نیست که سایت شما در نتایج جستجو هم نمایش داده نمی شود، نه، هنوز هم امکان این وجود دارد که سایت شما در صفحه نتایج ظاهر شود و دلیل این مورد اینست که گوگل میخواهد واقعا سایت شما در بین نتایج و دیگر سایت های صفحه اول (یا دیگر صفحات) نمایش دهد، اما ایندکس نشدن یعنی آنها از سایت شما یک کپی در سرورهای خود نخواهند داشت.

در ویدیویی که در زیر آماده شده و از یوتیوب رسمی گوگل گرفته شده، آقای Matt Cuts توضیح می دهد که تفاوت لیست شدن و ایندکس چیست و چگونه صورت می گیرد.

https://youtu.be/KBdEwpRQRD0

چطور خزنده ها را در ایندکس سایت متوقف کنیم؟

هنوز هم مسمم به انجام این کار هستید؟ من راه های زیادی به شما نشان میدهم که کمکتان می کند سایت خود را آماده کنید تا در گوگل ایندکس نشود. در واقع میخواهیم دسترسی گوگل به آن را ببندیم و از دیده شدن جلوگیری کنیم. من خودم روی یکی از سایت هایی که داشتم کار می کردم و برای اینکه از سایت یک کپی تهیه کرده بودم و نمیخواستم با ایندکس شدن مشکلی برای سایت اصلی ایجاد شود، خواستم سایت آزمایشی کلا از ایندکس و حتی از دید گوگل پنهان بماند.

پیشنهاد میکنیم این مقاله رو از دست ندهید:
روش استفاده از ابزار آنالیز خوانایی محتوا در افزونه وردپرس Yoast SEO

قدم اول: تغییرات در فایل ربات سایت robots.txt

 فایل ربات را کاملا توضیح دادیم، برای تغییر کدهای آن میتوانید از افزونه سئو Yoast استفاده کنید، یا اینکه بصورت دستی وارد هاست شده و کدها را تغییر دهید. تمام کاری که لازم است انجام دهید اینست که کد زیر را به جای کد های فایل ربات قرار دهید:

User-agent: *
Disallow: /

قدم دوم: افزودن گذرواژه به پوشه سایت

این کار که کمی هم سطح آن برای کاربران مبتدی پیشرفته بنظر می رسد اینست که با فایل .htaccess یا از طریق کنترل پنل هاست (دایرکت ادمین یا سی پنل فرقی نمی کند) به پوشه سایت یک پسورد یا گذرواژه اضافه کنید. بله برای مسدود کردن کامل یک سایت از گوگل، طبق راهکاری که خود گوگل پیشنهاد کرده، بهترین کار password-protecting server directories است. پس وارد هاست خود شوید، روی پوشه سایت کلیک راست کرده و گزینه Password Protect را زده و یک نام کاربری و گذرواژه برای آن انتخاب کنید.
اکنون آدرس سایت را وارد کنید تا با یک برگه سفید روبرو شوید، اکنون برای وارد شدن به مدیریت سایت مسدود شده خود کافیست آدرس ورود به آن را بزنید تا نام کاربری و گذرواژه درخواست شود و بتوانید وارد پیشخوان شوید.

چطور در وردپرس از ایندکس سایت تازه جلوگیری کنیم؟

معمولا این کار ساده ای است که بخواهید وردپرس را از ایندکس شدن محروم کنید. خود وردپرس به محض راه اندازی سایت این امکان را به شما میدهد که از ایندکس شدن سایت جلوگیری کنید، این کار به وسیله فایل ربات انجام می شود، اما همانطور که گفتیم فقط از ایندکس شدن سایت جلوگیری می کند، ولی از اینکه گوگل سایت شما را پیدا نکند و آن را زیر و رو نکند، خیر، جلوگیری نمی کند. پس دوباره همان کاری که قبلا انجام دادید را دوباره انجام دهید.

پیشنهاد میکنیم این مقاله رو از دست ندهید:
سئو و چند فاکتور مهم آن برای کسب و کارهای اینترنتی که باید بدانید

راه اول: تنظیمات وردپرس

از موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکننداز موتورهای جستجو درخواست کن تا محتوای سایت را بررسی نکنند. وقتی چنین گزینه ای را انتخاب کنید، یک کد متا مثل زیر به هدر سایت شما اضافه می شود:

<META NAME="robots" CONTENT="noindex">

زین پس موتورهای جستجو کاری با سایت شما نخواهند داشت، اما همانطور که خود گوگل هم قبلا گفته، شاید این اشکال رخ دهد و ربات آنها از جایی دیگر وارد سایت شود و آن را کاوش کند.

راه دوم: استفاده از Password-Protected Directories

استفاده از Password-Protected Directoriesوارد هاست خود شوید، در بخش امنیت برای سایت خود گزینه Directory Password را انتخاب کرده و نام کاربری و گذرواژه خود را کنید. اکنون سایت شما فقط با این اطلاعات قابل دسترسی است و خزنده ها دیگر اجازه ورود به سایت را ندارند. عملا سایت شما مخفی است و هیچ موتور یا خزنده ای برای ایندکس آن نمیتواند به پایگاه داده شما نفوذ کند.

راه سوم: استفاده از افزونه برای رمزگذاری کل سایت

افزونه های وردپرس برای کارهای مختلفی ساخته شده اند، قبلا به نکات اساسی در سئوی وردپرس پرداختیم و گفتیم که یکی از دلایل انتخاب وردپرس برای طراحی سایت اینست که این افزونه های زیادی دارد. اکنون یکی از این افزونه ها به شما کمک می کند روی سایت خود رمزگذاری کنید تا از ایندکس جلوگیری کنید.افزونه رایگان Password Protected

افزونه رایگان Password Protected کمک می کند اینبار به جای دست به کار شدن در هاست خودتان، مستقیما از پیشخوان بتوانید روی سایت خود رمز بگذارید و از ایندکس شدن جلوگیری کنید. اگر با این کار راحت هستید، خب میتوانید از این افزونه استفاده کنید.

چطور یک برگه یا آدرس را برای ایندکس گوگل مسدود کنیم؟

پیشنهاد من برای جلوگیری از ایندکس برگه هایی که واقعا نمی خواهید در گوگل باشند اینست که به کمک افزونه سئو Yoast SEO اینکار را انجام دهید. در آموزش این افزونه توضیح دادیم که وارد ویرایش یک برگه شوید، در بخش تنظیمات پیشرفته، دسترسی ربات های موتورهای جستجو را به آن برگه مسدود کنید تا گوگل و دیگر موتورهای جستجو به آن دسترسی نداشته باشند.

البته زمانی که شما یک برگه را از ایندکس شدن محروم کنید، همچنان لینک های آن برای این موتورهای جستجو قابل مشاهده است.

چطور آدرس های ایندکس شده را از گوگل حذف کنیم؟

بارها سوال شده که چطور میتوان یک آدرس URL را از گوگل حذف کرد. شاید تابحال به این موضوع برخورد نکرده باشید، اما یک متخصص سئو، برای بهینه سازی وب سایت خودش حتما دست به تغییراتی در ایندکس سایت میزند و برای کنترل میزان ایندکس سایت، یکی از بهترین راه ها اینست که مستقیما از گوگل بخواهید آدرس های مورد نظر شما را از سایتش حذف کند.
باید دقت داشته باشید که شما فقط میتوانید آدرس های مربوط به سایت خود (یا سایتی که به مدیریت سرچ کنسول آن دسترسی دارید) را برای حذف از ایندکس و نتایج گوگل، ثبت کنید.
برای اینکار به ثبت سایت در سرچ کنسول گوگل نیاز دارید، سپس وارد نسخه قدیمی یعنی گوگل وبمستر تولز Google Webmaster Tools شوید و از بخش ایندکس گوگل Google Index روی گزینه Remove URLs کلیک کنید.گزینه Remove URLs

پیشنهاد میکنیم این مقاله رو از دست ندهید:
تگ کنونیکال (برچسب متعارف) چیست؟

کافیست در این بخش روی دکمه Temporarily hide کلیک کنید، آدرس URL مورد نظرتان که میخواهید حذف شود را وارد کنید و منتظر بمانید که درخواست شما ثبت شود. پس از این کمی طول می کشد تا گوگل سعی کند آدرسی که وارد کرده اید را حذف کند.

نتیجه گیری نتیجه گیری

حذف سایت یکی از استراتژی های توسعه سایت جدید و حتی حذف موقت هم یکی از تکنیک های جلوگیری از مسئله محتوای تکراری است. اگر میخواهید سایت خود را حذف کنید خب میتوانید برای کل سایت همین کار را انجام دهید، اگر هم میخواهید فقط از گوگل حذف شوید از طریق فایل روبات دسترسی گوگل را مسدود کنید. شما مختار به انجام این کار هستید ولی باید بدانید که چنین اقداماتی میتواند در صورت بی دقیتان منجر به وارد شدن صدمات سنگین به سایت شود. در هر صورت، اگر گوگل آدرس شما را حذف کرد و شما ابراز پشیمانی کردید، خب میتوانید دوباره درخواست دهید تا آدرس مورد نظر از اول ایندکس شود.

اکنون میتوانید به سایت خود باز گردید، آدرس هایی که میخواهید حذف کنید را برای حذف شدن ثبت کنید، یا اینکه برگه هایی که میخواهید ایندکس نشوند را برای ویرایش با افزونه Yoast باز کرده و برچسب NoIndex را به آنها اضافه کنید. و اگر خواستید سایتی را برای مدتی مسدود کنید، پیشنهاد میکنم حتما از پسورد دایرکتوری استفاده کنید، و اگر پرسشی داشتید اینجا برایم بنویسید به آن پاسخ می دهم.

4.8/5 (6 دیدگاه)
تیم بلاگینگ میموس

تیم بلاگینگ میموس

توی خانواده میموس ما بچه‌های بلاگینگ سر و کارمون با محتواس. ما دوست داریم ارزنده‌ترین مطالب روز سئو وردپرس رو در اختیار شما علاقمندان دنیای سئو قرار بدیم. این‌رو هم اضافه کنیم ما قبل هرچیزی از صحت اطلاعات بلاگ میموس مطمئن می‌شیم سپس اونا رو منتشر می‌کنیم و در اختیارتون قرار می‌دیم.
شما هم می‌تونید با نوشتن نظرات و انتقادات خودتون عضوی از این خانواده بشید. امتحانش مجانیه!

میخواید درموردمون بیشتر بدونید؟

اگر این مقاله برای شما مفید بود ....

لطفا با نظر دادن ما را در بهتر کردن مطالب آموزشی یاری کنید.

به دنبال خدمات حرفه ای سئو هستید ؟!

میموس با تدوین استراتژی و ساختار اصولی شما را تا رسیدن به رتبه 1 یاری خواهد کرد.

کارگاه‌های سئو و وبمستری

کتاب‌های رایگان سئو

دلایل انتخاب پلتفرم سئو مانگو

24 دلیل برای انتخاب پلتفرم مدیریت سئو مانگو به عنوان دستیار سئو

دوره های غیر حضوری / بر اساس اصول جدید سئو "مهر 98"

بروزرسانی : 21 مهر 98  / 13 جلسه

سطح

پیشرفته

دانشجویان

297 دانشجو

زمان دوره

5 ساعت

بروزرسانی : 10 آبان 98  / 8 جلسه

سطح

پیشرفته

دانشجویان

29 دانشجو

زمان دوره

3 ساعت

بروزرسانی : 28 مهر 98  / 10 جلسه

سطح

پیشرفته

دانشجویان

83 دانشجو

زمان دوره

4 ساعت

6
خوشحال میشویم اگر سوالی در این زمینه دارید از ما بپرسید... (کاملا رایگان است - بعضی ازسوالات به صورت صوتی پاسخ داده خواهد شد)

avatar
فایل های تصویری و عکس
 
 
 
فایل های ویدیویی و صوتی
 
 
 
سایر انواع فایل
 
 
 
3 تعداد نظرات
3 رشته نظرات
0 دنبال کننده ها
 
داغ ترین نظرات
داغترین نظرات
4 نویسندگان نظرات
امیرعلیبهزادفرشید امین زادهیاسین نویسندگان نظرات اخیر
  اشتراک  
اطلاع از
امیرعلی
مهمان
امیرعلی

سلام
آقا دمتون گرم، همیشه نگران این موضوع ایندکس بودم. فقط یک سوال همین افزونه یوست سئو این کارو انجام میده؟ نیازی دیگه به سایر افزونه ها هست یا نه؟
ممنونمممممممم

بهزاد
مهمان
بهزاد

سلام

من میخوام دو ساعت روی سایتم جابجایی آدرس و تغییرات قالب انجام بدم ، اگر سایت رو از دید موتورهای جستجو خارج کنم و بعد از تموم شدن کارم مجدد ، به حالت پیش فرض برگردونم که مشکلی برای سایت از نظر گوگل بوجود نمیاد؟

افت ایندکس محصولات و برگه ها و … که اتفاق نمی افته؟

اصلا برای دو ساعت کار کردن روی قالب و انجام تغییرات اینچنینی سایت فروشگاهی نیازی به مسدود کردن گوگل هست؟

یاسین
مهمان
یاسین

با سلام
خیلی ممنون بابت مطلب مفیدتون بنده یه سوال داشتم و اون اینکه من چجوری میتونم یه برگه ی خاص رو از ایندکس شدن توسط گوگل جلوگیری کنم؟!!

پلتفرم مانگو
فقط ایمیل‌هایی رو واست ارسال می‌کنیم که برای کسب و کار اینترنتیت مفید باشه…

بهت قول میدیم اسپم نکنیم و ایمیلت رو هم به کسی ندیم.