بطور کلی یک خزنده باید به مقداری محتوا دسترسی داشته باشد تا بتواند آن صفحه را بررسی کند. خزنده ها (به انگلیسی: Crawlers) برای شناسایی محتوای یک صفحه در تمامی لینک ها، تصاویر و آدرس های موجود در آن می خزند. ممکن است در طول یک روز بار ها مسیرشان به یک وب سایت بخورد و وارد آن شوند. یکی از روش هایی که خزنده ها برای جمع آوری اطلاعات از صفحات وب سایت ها بکار میگیرند، ارزیابی نقشه های سایت XML یا سایت مپ XML است.

محتوا نویسی وقتی شیرینه که ازش پول در بیاری!

با کمک دوره تولید محتوا در مسیر سئو می تونی از استعدادت تو نویسندگی استفاده کنی تا بهترین محتوا رو برای یه کسب و کارت بنویسی و با جذب مخاطب به درآمد برسی.

مشاهده

نقشه سایت XML Sitemap چیست؟

نقشه های XML سایت، مثل نقشه های گنج برای ربات های موتور های جستجو هستند. این نقشه ها به ربات ها (به انگلیسی: Robots) ، اسپایدار ها (به انگلیسی: Spiders) و خزنده ها (به انگلیسی: Crawlers) کمک می کنند تا محتوای جدید یا بروز رسانی شده سایت را ببینند. همه وب سایت ها در سراسر اینترنت دارای دست کم یک نقشه سایت هستند. از این رو می توان گفت یکی از ضروری ترین کار هایی که بعد از راه اندازی سایت تان باید انجام دهید، ساخت نقشه سایت است.

کاریکاتور ربات گوگل و نقشه سایت

این را هم بگویم سایت مپ ها تاثیری در افزایش رتبه ندارند. اما به خزنده ها کمک می کند تا در محتوای شما راحت تر بخزند و به عمق محتوای شما دسترسی پیدا کنند. ما در یکی از مقالات قبلی به طور کامل روش ساخت نقشه سایت در وردپرس را به طور کامل شرح داده ایم. از این رو اگر برای سایت تان هنوز نقشه سایت نساخته اید می توانید سری به این مقاله بزنید.

آشنایی با مفهوم شاخص ها Indexers

وقتی خزنده ها از یک صفحه اطلاعات لازم را جمع آوری می کنند، این اطلاعات را به Indexer ها تحویل می دهند. این وظیفه Indexer هاست که اطلاعات را بر اساس الگوریتم های گوگل (مثل الگوریتم پاندا، الگوریتم مرغ مگس خوار، الگوریتم پنگوئن و…) بررسی کرده و نهایتا در نتایج جستجو به آن مطلب رتبه می دهند. نکته قابل توجه در این بخش این است که یک مطلب قبل از اینکه بتواند در نتایج رتبه بگیرد باید ایندکس شود.

منظور از ایندکس سایت چیست؟

منظور از ایندکس شدن، قرار گرفتن یک صفحه یا مقاله در لیست موتور های جستجو مثل گوگل است. البته برای داشتن رتبه بالا در نتایج بهتر است بخش هایی از سایت تان که دارای کیفیت و ارزش بالا تری هستند را در ایندکس گوگل قرار دهید و قسمت هایی که از ضرورت کمتری برخوردارند را ایندکس نکنید.

بخش های غیر ضروری برای ایندکس، بسته به نوع وب سایت شما (فروشگاهی یا تجاری) متفاوت است. از این رو باید به کمک یک مشاور سئو بررسی کنید که کدام بخش ها در سایت شما برای ایندکس ضرورتی ندارند.

نکته

گاهی اوقات ممکن است صاحبان وب سایت ها بخواهند کل سایت‌شان را NoIndex کنند. این کار معمولا ز مانی انجام میشود که افراد به تازگی در حال راه اندازی وب سایت خود هستند و هنوز به طور کامل طراحی تمام بخش ها را نهایی نکرده اند. هم چنین برای وقت هایی که افراد میخواهند سایت خود را انتقال دهند یا یک بک آپ از اطلاعات سایت‌شان داشته باشند کل سایت خود را نو اینکدس میکنند. ما قبلا روش NoIndex کل وب سایت را آموزش داده ایم.

چطور به گوگل بگوییم یک صفحه از وب‌سایتمان را ایندکس نکند؟

افزونه وردپرس Yoast SEO در این زمینه به شما کمک میکند. این افزونه در زمینه ایندکس صفحات به شما حق انتخاب میدهد. یعنی برای ایندکس شدن هر یک از صفحات در گوگل به آسانی حق انتخاب دارید. در ادامه با روش این کار آشنا میشویم.

روش تعیین Index و NoIndex شدن صفحات در افزونه سئو Yoast SEO

تعیین اینکه چه چیزی برای گوگل ایندکس شود و چه چیزی نشود کار نسبتا سختی است و هر اشتباه کوچکی می تواند نتایج بدی برای سایت تان به همراه داشته باشد. شما اولین نفری نیستید که می خواهید برخی از صفحات وب سایت‌تان در گوگل ایندکس نشود و از دسترس خزنده های گوگل خارج کنید. افزونه Yoast SEO این پروسه را به شدت برای کاربران خود آسان کرده است.
تنظیمات ایندکس شدن یا نشدن صفحات سایت در افزونه یوست سئو

همانطور که در تصویر می بینید با وارد شدن به پنل مدیریت وردپرس سایت‌تان می توانید از بخش سئو > ظاهر جستجو > انواع محتوا، وضعیت ایندکس یک صفحه را مشخص کنید.

با انتخاب گزینه “بله” در بخش:

  • “show post in search results” (در نسخه انگلیسی)
  •  “نمایش نوشته ها در نتایج جستجو” (در نسخه پارسی)

مقالات شما ابتدا در فایل سایت مپ XML و سپس در لیست نتایج موتور های جستجو قرار می گیرند.
اما اگر بخواهید صفحه یا پستی را از دید خزنده ها و موتور های جستجو پنهان کنید، می توانید گزینه خیر را انتخاب کنید تا دسته بندی ها یا مقالات در فایل XML قرار نگیرند. با انجام این کار صفحات مورد نظر ایندکس هم نشده و نهایتا در نتایج جستجو نیز ظاهر نمیشوند.

همانطور که در ابتدا گفتیم، اطلاعاتی که از ضرورت کمتری برخوردار هستند و نیازی به ایندکس ندارند (مثل تگ ها، دسته بندی ها و…) را نیز می توانید در بخش سئو > ظاهر جستجو > طبقه بندی ها پیدا کنید. همچنین با انتخاب گزینه “خیر” برای سوال “نمایش دسته ها در نتایج جستجو؟” از ایندکس شدن این بخش ها جلوگیری کنید. البته باید این نکته را اضافه کنیم، تمام این تنظیمات بستگی به استراتژی سئو وب سایت تان دارد. اگر در این زمینه اطلاعات فنی کافی ندارید پیشنهاد میکنیم حتما با یک مشاوره سئو مشورت کرده، سپس این تنظیمات را روی سایت‌تان اعمال کنید.

تتنظیمات ایندکس بخش دسته بندی ها در افزونه یوست سئو

روش جلوگیری از ایندکس شدن یک مقاله

افزونه سئو این اجازه را به شما می دهد ایندکس شدن یا نشدن هر یک مقالات سایت را نیز کنترل کنید. در ویرایش پست، پایین تر از بخش آنالیز خوانایی محتوا، با کلیک روی آیکون چرخدنده و انتخاب گزینه “خیر” در “Allow search engines to show this post in search results (در نسخه انگلیسی)” یا “به موتور های جستجو اجازه نمایش این نوشته را میدهید؟ (در نسخه پارسی)” می توانید از ایندکس شدن صفحه جلوگیری کنید.
جلوگیری از ایندکس صفحه در افزونه یوست سئو

بررسی سایت مپ XML در افزونه وردپرس Yoast SEO

سعی کنید همیشه سایت مپ XML را بررسی کنید و ببینید محتوایی که می خواهید در نتایج نمایش داده شود، در فایل XML سایت‌تان قرار دارد یا خیر. همچنین بهتر است بررسی کنید صفحات یا مقالاتی که نمی خواهید ایندکس شوند نیز در فایل نقشه سایت حضور نداشته باشند.
برای مشاهده فایل سایت مپ XML می توانید از این مسیر استفاده کنید:

سئو > عمومی > امکانات > نقشه های XML سایت
بررسی سایت مپ xml در افزونه یوست سئو

نتیجه گیری نتیجه گیری

افزونه سئو Yoast تا جایی که در توان دارد نکات گیج کننده درباره ایندکس صفحات و نقشه های XMl سایت را از بین برده و آن ها را ساده تر کرده است. امیدواریم با خواندن این مقاله به خوبی با مبحث ایندکس شدن صفحات سایت و اهمیت نقشه سایت آشنا شده باشید. اگر در طی مراحل ساخت نقشه سایت یا تعیین صفحاتی که نیازی به ایندکس ندارند سوالی برای شما به وجود آمد یا تجربه ای در این زمینه ندارید، حتما در بخش دیدگاه ها برای ما بنویسید تا در اولین فرصت پاسخ دهیم.


آموزش عملی سئو از مبتدی تا پیشرفته

اگر وبسایتی دارید که می خواید روی سئوش کار کنید و یا اگر پروژه سئو گرفتید، می تونید تو این دوره آموزشی تکنیک هایی که آموزش میبینید رو روی سایتتون اجرا کنید و نتیجه ش رو ببینید.

مشاهده
4.6/5 (5 دیدگاه)

محدثه نشاطی

برای یک نویسنده تجربه بد معنا ندارد، برای او همه چیز مفید و آموزنده است.

عضویت در خبرنامه و دانلود رایگان کتاب ها

در خبرنامه میموس عضو بشید تا علاوه بر آموزش های اختصاصی سئو؛ همین الان تمام کتاب هارو به صورت رایگان براتون ارسال کنیم!

27 پاسخ

  1. سوال دیگه اینکه اگر بعد از یکسال سایت مپ یک سایت رو از وبمستر پاک کنیم و مجدد معرفی کنیم مضر هست؟

    (سایت مپ ساخته شده با یاست سئو)

    1. مشکلی نیست و دوباره گوگل url هایی که قبلا پیدا کرده بود توی سایت مپ رو پیدا میکنه و نمایش میده. اما چه دلیلی داره این کارو بکنید؟

  2. درود بر شما
    لطفا روش قرار دادن لینک سایت مپ یواست سئو در منو رو بگید. چطور باید بعنوان یک گزینه در منو قرار بدم؟
    domain.com/sitemap_index.xml
    اگر به این شکل باشه تمام پست ها، دسته ها، تگ ها و غیره دیده میشه. ایرادی نداره؟

    1. سلام کامیار عزیز. برای قرار دادن هر گزینه ای در منو، از بخش نمایش–>فهرست اقدام کنید. با استفاده از گزینه اضافه کردن پیوند دلخواه، می تونید لینک سایت مپ رو همراه با متن دلخواه در فهرست سایتتون قرار بدید. تمام مواردی که شما تصمیم گرفتید کاربرها دسترسی داشته باشن توی سایت مپ هست. در نتیجه اینکه این موارد دیده بشن نباید مشکلی داشته باشه.

  3. سلام و درود
    ببخشید من میخوام یک محصول یا یک نوشته رو با افزونه یواست سئو به صورت دستی از ایندکس کردن خارج کنم.
    آیا این کار با افزونه امکان پذیر است؟
    میشه راهنمایی کنید چجوری این کار رو انجام بدم؟

    1. سلام Arman عزیز. بله این کارو می تونید با افزونه yoast انجام بدید. توی هر صفحه ای که می خواید نو ایندکسش کنید، از قسمت کادر تنظیمات yoast seo روی پیشرفته کلیک کنید، بعد “به موتورهای جستجو اجازه نمایش این محصول را می دهید؟” رو روی “خیر” تنظیم کنید.
      یه دوره آموزشی رایگان داریم که کامل کار با این افزونه رو یادتون میده : https://mimos.ir/mango/courses/seo-free-course/

  4. سلام ی سوال دارم خدمتتون.بنده ی سایت وردپرسی دارم که کارش مانند پونیشا هست. حالا من نمیخوام چت بین کاربرهام تو گوگل ایندکس بشه میشه برای فایل ربات و نقشه سایت راهنماییم کنید که چگونه ایجاد کنم؟؟ آیا فایل ربات و نقشه سایتی که خود یواست سئو ایجاد میکنه برام کافی هست یا باید تغییرات بدم؟؟

    1. سلام. رضای عزیز
      ببینید، اگر از افزونه یوست سئو استفاده میکنید، میتونید طبق تنظیماتی که در “ظاهر جستجو” یا “search Appearances” این افزونه در اختیارتون هست، طبقه بندی محتوایی گفتگوها یا چت کاربران رو (در صورتی که قالب اونهارو برای شما فعال کرده باشه بعنوان یک محتوای معتبر و قابل دسترس) میتونید ببینید و ایندکس اونهارو ببندید. فایل ربات ایندکس رو نمیبنده!!!

      و البته، برای اینکه بتونید کامل از یوست سئو استفاده کنید، “دوره رایگان سئو مانگو” رو شروع کنید، در اون دوره میتونید سایت خودتون رو مقدماتی پیکربندی کنید و برای سئو آماده اش کنید.

    1. سلام پیام عزیز
      پیشنهادم اینه از این دسته بندی برای موارد بهتر استفاده بشه. نو ایندکس بشه هم در ارشیو دسته بندی ها نمایش داده میشه هم یه ادرس بی خودی داخل سایت وجود داره.
      من همیشه اون رو به دسته بندی اصلی مقالاتم تغییر میدم و ازش استفاده میکنم.

  5. ببخشید بنده توی یکی از دسته بندی هایی که توی ووکامرس ساخته ام ، وقتی روش کلیک میکنم تا محصولات اون دسته بندی رو ببینم، اون آدرس به آدرس: دسته بندی پیش فرض انتقال داده می شود!!
    (در ووکامرس یک دسته بندی پیش فرض وجود دارد که قابل تغییر نیست و محصولاتی که دسته بندی نداشته باشند به اون دسته بندی منتقل می شوند.)
    الان این ریدایرکت را در یواست سئو ، بخش تغییر مسیر را هم بررسی کردم و ری دایرکتی انجا ثبت نشده بود.
    این ری دایرکت به نظرتون چگونه ایجاد شده؟ که با کلیک روی یک دسته بندی خاص به دسته بندی پیش فرض ری دایرکت میشود؟

    فقط هم برای یکی از دسته بندی ها به این صورت است!!

    یک سوال دیگر:
    بنده توی یواست سئو، نقشه xml را روشن کرده ام و سایتم نقشه xml دارد، ولی توی منوی یواست گزینه xml را ندارم که تنظیمات آن را ببینم.

    1. سلام شاهوی عزیز،
      احیانا این مشکل بخاطر این بوجود اومده که کش سایت هنوز پاک نشده و دسته بندی پاک شده و شاید دارید از نسخه کش شده سایت استفاده میکنید. احتمال داره که دسته بندی شما آدرس url مناسبی نداره و بخاطر کاراکتر نامناسب یا تغییراتی که در اون صورت گرفته به دسته بندی پیش فرض انتقال داده میوشد
      پیشنهاد میکنم در بخش ریدایرکت ها یکبار دیگر دسته بندی رو جستجو کنید
      یا اینکه ببینید افزونه دیگری برای ساختن ریدایرکت در وردپرس دارید؟ احتمال اینکه افزونه دیگری این موضوع را کنترل کند وجود دارد
      در نهایت فایل htaccess سایت رو بررسی کنید تا ببینید ریدایرکتی برای اینکار ثبت شده؟!
      همینطور نسخه php و تنظیمات یوست سئو در بخش ریدایرکت را بررسی کنید و گزینه را تغییر دهید شاید مشکل برطرف شد!

      برای دسترسی به تنظیمات نقشه سایت هم به مسیر “سئو > عمومی > تب امکانات” بروید و روی دایره علامت سوال “نقشه های xml سایت” کلیک کنید و “سایت مپ” را ببینید، افزونه یوست سئو تنظیمات خاصی برای خود نقشه سایت ارائه نمیدهد شما میتوانید ایندکس سایت را بصورت دستی برای آدرس ها یا بصورت عمومی برای طبقه بندی های محتوایی در “ظاهر جستجو” کنترل کنید.

      1. با سلام
        همه موارد بررسی شده قبلا
        ممنونم از اینکه وقت گذاشتید
        دلیل این ریدایرکت این بود که دسته بندی دارای هیچ محصولی نبود و به دسته بندی پیش فرض انتقال داده می شد.
        فقط چرا در سایت مپ بنده فقط 30 تا دسته بندی لیست شده در حالی که بنده بالای 200 تا دسته بندی دارم؟

        1. سلام مجدد،
          اگر میدانید افزونه یوست با ساخت دسته بندی در نقشه سایت مشکل دارد، سعی کنید یک افزونه دیگر را امتحان کنید.
          همچنان پیشنهادم بشما اینست که یکبار دیگر نقشه سایت را بررسی کنید، سپس ببینید در سایت مپ مادر /sitemap_index.xml چه آدرس هایی برای دسته بندی ها ایندکس شده اند! همینطور میتوانید ادرس سایتتان را در همین دیدگاه ارسال کنید تا بررسی کنیم.

            1. سلام مجدد، با این دستور در گوگل میتونید ایندکس سایت برای دسته بندی هارو چک کنید:
              site:vendagraph.ir inurl:/product-category/

  6. با سلام
    وب سایت بنده بالای 200 دسته بندی دارد، وقتی در xml وب سایت نگاه میکنم، 30 عدد دسته بندی ایندکس شده است.
    برای حل این مورد باید چه کاری انجام دهم؟
    xml وب سایت را فعال کرده ام ولی در میان گزینه های یواست سئو xml وجود ندارد تا تنظیمات آن ا ببینم.

    1. سلام شاهوی عزیز
      بهتر است به دسته بندی ها یکی یکی نگاه کنی و ببینی ایا ایندکس هر کدام از آنها بصورت دستی بسته شده یا نه؟!
      همینطور در سرچ کنسول مسیر “performance > new > page” و بعدش عبارت “/cat/” یا “/category/” را به آن بده تا بتوانی ببینی لیست دسته بندی های ایندکس شده شامل چه مواردی است!.
      موفق باشی

    1. احمد عزیز، سلام
      این مورد بخاطر اینست که ادرس های سایت شما پارسی است و هنگام جابجایی در وب، ادرس ها بصورت این کاراکترها نمایش داده میشوند و در این مورد کاری نمیتوان کرد!

  7. سلام و عرض ادب/تشکر بات مطالب خوبتون/ سوالی برام پیش اومده: کل دسته های سایتی بالای 50تاست و این خیلی زیاده برای ایجاد دسته بندی جدید بطوری که برای سئو سایت مشکلی پیش نیاد کدوم راه بهتره:1- برگه های مربوطه رو noindex کنم و از دسته بندی خارج کنم.2- از ریدایرکت 301 استفاده کنم.3- راه حل پیشنهادی شما چیه؟ ممنون از وقتی که میذارید.

    1. سلام، سونای عزیز، این که دسته بندی های سایت تا این حد گسترده شدن اشکالی برای سئو بوجود نمیاره. همونطور که تعداد مقاله زیاد در یک سایت باعث افت بقیه نمیشه (حداقل بصورت مستقیم)، پس نگران این مورد نباشین و ساختار سایتتون رو مجددا بررسی کنید. شخصا مشکلی در دسته بندی های زیاد در یک سایت مشاهده نکردم، مگر اینکه سلسله مراتب اون رو بخوبی رعایت نکرده باشین. بهر حال، یک دوره پیشنهادی براتون دارم که در مورد استراتژی سئو هستش و بهتون کمک میکنه بهترین ساختار ممکن رو برای سایت داشته باشین و دسته بندی هارو بخوبی کنترل کنید (و البته تمام بدنه سایت رو). دوره استراتژی سئو و ساختار سایت

  8. با سلام

    وبمستر گوگل از خود صفحه سایت مپ م ایراد میگیره و میگه تگ متا داره که noindex زده .

    الان باید چجوری برش دارم . تگ متا رو که باعث شده سایت مپ غیر قابل دسترسی بشه برای ربات گوگل

    1. سلام حمید عزیز
      دو حالت برای این مشکل نوایندکس که گفتی وجود داره:
      1. منظور تو احتمالا این هستش که صفحه سایت مپت رو خود گوگل گفته که تگ نوایندکس No-Index Tag داره که این یه چیز عادیه چون صفحه سایت مپ اصلا برگه‌ای نیست که بخوای ایندکس بشه.
      2. حالت دوم این هستش که در سرچ کنسول بخش پوشش ایندکس Index Coverage در بخش محرومات ایندکس Excluded کلی نوایندکس داری که برچسب نوایندکس دارن؛ این مورد رو باید بررسی کرد!

      اگر پرسش دیگری داری راحت باش و بنویس برام، پاسخ میدم (:

      1. مرسی خیلی سایتتون عالیه… سوال دوستمون سوال من هم بود و متوجه شدم که خود صفحه سایت مپ که در گوگل کنسول براش noindex میزنه مشکلی نیست…

نظر شما چیه؟

دیدگاه خودتون راجع به مقاله رو با ما به اشتراک بزارید.