همه چیز در مورد فایل ربات سایت robots.txt و بهینه سازی آن در وردپرس

زمان مطالعه: 16 دقیقه
تصویر فایل ربات robot

بیشتر وب سایت ها مخصوصا سایت های وردپرسی یک فایل ربات robots.txt دارند ولی به این معنی نیست که مدیر سایت این فایل را می شناسد. در این نوشته ما سعی داریم تا با شناسایی درست و عمیق فایل مهم ربات سایت به شما این وضعیت را تغییر دهیم و شما بدانید که چگونه فایل ربات سایت را کنترل کنید، بهترین فایل ربات را بسازید و دسترسی هایش را محدود یا مجاز کنید.

کارتون درست کردن فایل ربات

فایل robots.txt چیست؟
چرا باید فایل ربات robots.txt داشته باشید؟
چگونه فایل robots.txt به سئوی وب سایت من کمک می کند؟
فهرست کامل دستورات فنی فایل ربات Technical robots.txt syntax
ساختن فایل ربات
اضافه کردن فایل ربات robots.txt به سایت غیر وردپرسی
ساختن فایل ربات در وردپرس
ارسال فایل ربات robots.txt برای گوگل
تکنیک های بهینه سازی فایل ربات robots.txt برای وردپرس و افزایش سئو
نمونه فایل صحیح ربات

 

فایل robots.txt چیست؟

فایل ربات یک فایل متنی با ساختار txt ساده است، که دقیقا در ریشه root هاست سایت قرار گرفته و برای تمام موتورهای جستجو و کاربران بازدید کننده دارای دسترسی مجاز است. این فایل توسط مدیر سایت ساخته می شود و در این قسمت از هاست قرار میگیرد تا برخی فعالیت های سایت را بتوان با آن کنترل کرد.

فایل ربات همانطور که عرض شد یک فایل متنی با نام robots.txt است و به سادگی میتوان آن را ساخت. این فایل متنی شامل رشته متن هایی موسوم به “دستور” است که به ربات موتورهای جستجو مثل گوگل و بینگ می گوید چطور با سایت رفتار کنند.

پس منطقی است هر سایتی یک فایل ربات داشته باشد.

تقریبا همه سایت های دنیا دارای فایل ربات هستند چون این فایل برای سایت مهم تلقی می شود. حتی سایت گوگل هم دارای فایل ربات است. به این آدرس سر بزنید تا فایل ربات گوگل را ببینید.

برای دیدن فایل ربات هر سایتی، کافیست بعد از آدرس سایت یک اسلش بزنید و کلمه robots.txt را بنویسید. مثلا:

moz.com/robots.txt

google.com/robots.txt

چرا باید فایل ربات robots.txt داشته باشید؟

خب وقتی گوگل چنین فایلی دارد حتما مهم است! البته این طور نیست که اگر این فایل را نداشته باشید نمیتوانید رتبه سایت را بالا ببرید. ولی به این نکته هم فکر کنید که همه سایت های صفحه اول گوگل در هر زمینه ای، دارای فایل ربات هستند. از نظر گوگل هم اساسا یکی از فاکتورهای مهم سئو داشتن فایل ربات است.

پس شما هم نیازمند فایل ربات هستید. با فایل ربات:

  • آدرس های سایت را بهتر مشخص میکنی
  • فایل های مهم را از دسترس دیگران خارج می کنید
  • قسمت های مهم سایت را کنترل می کنید و صد البته باید بدانید
  • یک متخصص سئو میتواند از فایل ربات robots.txt برای استراتژی سئو استفاده کند.

ربات گوگل و فایل ربات

اگر فایل robots.txt وجود نداشته باشد مشکلی پیش خواهد آمد؟

هر ربات و موتور جستجویی وقتی سایت شما را برای اولین بار میبیند به این فایل سر میزند. اولین کاری که می کند سر زدن به این فایل است، بنابراین دو حالت بیشتر وجود ندارد، یا این فایل را دارید و شامل دستورات است، یا این فایل خالی است که همین یعنی فایلی ندارید. وقتی فایلی نداشته باشید ربات هم آزاد است به تمام بخش های سایت سر بزند.

استفاده از فایل ربات به مدیر سایت واگذار شده و یک حرکت اختیاری است. اما

  • به نظر شما بدون فایل ربات چطور میخواهید ایندکس های سایت را کنترل کنید؟
  • چطور میخواهید به ربات گوگل بگویید نباید به پوشه های شخصی سایت شما سر بزند؟
  • چطور میخواهید یکی از مطالب محافظت شده سایت را از ایندکس گوگل خارج کنید؟

فایل ربات میتواند به امنیت سایت و افزایش ترافیک هم کمک کند. قطعا داشتن فایل ربات کمک می کند بتوان استراتژی سئوی سایت را کنترل کرد، میتوان نقشه سایت را برای گوگل و بینگ مشخص کرد، قسمت های نامناسب سایت را از ایندکس گوگل خارج کرد و آدرس های ویژه را در آن قرار داد.

چگونه فایل robots.txt به سئوی وب سایت من کمک می کند؟

یکی از استانداردهای گوگل که در راهنمای موتور جستجوی این شرکت در یک فایل PDF در اختیار کاربران به صورت عمومی قرار گرفته، داشتن فایل ربات در سایت است. در واقع گوگل یکی از فاکتورهای رتبه بندی سایت را داشتن فایل ربات قلمداد می کند. چون یک وبمستر حرفه ای میداند با فایل ربات چه کار کند. در سرچ کنسول موتور جسجوی گوگل، مدیر سایت میتواند فایل ربات سایت خود را برای گوگل ارسال کند تا گوگل از آن استفاده کند.

پیشنهاد میکنیم این مقاله رو از دست ندهید:
راهنمای کامل سئوی وردپرس با افزونه سئو Yoast SEO

عملا فایل ربات از طرف مدیر سایت برای موتورهای جستجو تهیه و ارائه می شود. مدیر سایت در فایل ربات به موتورهای جستجو دستور میدهد تا سایت را ایندکس کنند یا اینکه با دستورات خود مجوز خزیدن به بخش های مختلف سایت را به ربات موتور جستجو می دهد.

حتما حس کرده اید که ارتباطی بین فایل ربات سایت و ربات موتور جستجو وجود دارد!
بله درست حدس می زنید، فایل ربات سایت برای ربات موتورهای جستجو ساخته می شود، موتورهای جستجو ابزاری دارند که به آن ربات یا بات bot می گویند. این ربات ها وظیف دارند سایت ها را بررسی کرده و تغییرات جدید را در دیتابیس خود ذخیره کنند.

از آنجا که موتورهای بزرگ جستجو نام های اختصاصی دارند، مثل گوگل، بینگ و بایدو، ربات های آنان هم نام های خاص خود را دارند، چند نمونه از این ربات ها را در متن زیر ببینید:

Baidu Search Engine: Baiduspider
Bing Search Engine: bingbot
DuckDuckGo Search Engine: duckduckdobot
Google Search Engine: googlebot
Yahoo Search Engine: mozilla

چگونه قوانینی را می توانم در robots.txt قرار دهم؟

اگر میخواهید فهرست کاملی از ربات موتورهای جستجو را ببینید، به این آدرس بروید.

قوانین یا دستورات فایل ربات به دو صورت هستند:

  • به ربات موتور جستجو مجوز خزیدن بدهید
  • ربات موتور جستجو را از خزیدن محروم کنید

در واقع یا ربات را از یک آدرس دور نگه می دارید و از آدرس محافظت می کنید، یا اینکه به ربات موتور جستجو اعلام می کنید به کدام بخش ها سر بزند و کدام بخش ها را بیشتر مورد بررسی قرار دهد.

دستورات فایل ربات به دو صورت Allow و Disallow تعریف می شوند، برای مجوز دادن به ربات موتور جستجو از دستور Allow استفاده می شود و برای محروم کردن یا محافظت کردن از آدرس یا قسمتی از سایت هم از Disallow استفاده می شود. لازم به ذکر است که نمیتوان با این ربات ها مثل آدم حرف زد. اصلا آنها زبان آدمیزان حالیشان نیست، پس خودتان را خسته نکنید.

گاهی اوقات کاربران زیادی از کلمات عجیب غریبی در فایل ربات استفاده کرده اند که آدم را به شاخ درآوردن هم نزدیک می کند، این واژه ها مواردی بودند چون:

کلماتی مثل “MUST”, “MUST NOT”, “REQUIRED”, “SHALL”, “SHALL NOT”, “SHOULD”, “SHOULD NOT”, “RECOMMENDED”, “MAY” و غیره که اصلا ربات موتور جستجو از آنها چیزی حالی نمی شود.

باید به دستورات و مواردی که در ادامه گفتیم دقت کنید. همانطور که گفتیم ربات موتورهای جستجو زیاد هستند، پس باید برای آنها مشخص کنید کدام یک حق دارند به سایت شما سر بزنند و کدام یک حقی برای دیدن سایت ندارند.

برای خطاب کردن ربات موتور جستجو باید نام آن را وارد کنید، پس نیازمند دانستن نام کامل و تعداد کامل ربات موتورهای جستجو هستید. به همین دلیل نیازمند تحقیق و بررسی هستید تا ببینید باید به کدام ربات اجازه دهید و کدام را از سایت محروم کنید.

اوه نه، صبر کنید، چرا شما میخواهید فقط از گوگل ترافیک داشته باشید، در حالی که ممکن است از موتور جستجوی دیگری چون بینگ یا یاهو هم ترافیک کسب کنید!

پس پیشنهاد میکنیم تمام این ربات ها را در فایل ربات خود قرار دهید. همچنین نیازی ندارید کل ربات های گوگل و بینگ را یک به یک مشخص کنید و برای هر کدام دستورات خاصی بنویسید. پس پیشنهاد ما رو حتما بشنوید:

استفاده از متغیر یا وایلدکارد WildCard برای خطاب کردن تمام ربات های تمام موتورهای جستجوی دنیا

وقتی از وایلد کارد یا متغیر استفاده کنید، عملا هر رباتی را نشانه رفته اید. مثل اینست که بگویید “هیچ موجود زنده ای” حق ندارد به تلفن شما دست بزند. این عبارت شامل تمام خویشاوندان، حیوون خونگی و حتی پرنده ی تو باغچه ها هم می شود.

ادامه دهید…

ربات با عبارت User Agent خطاب می شود، با فایل ربات خود روبروی تمام ربات های حال و آینده بایستید و با اقتدار بگویید: ای ربات هایی که برای ایندکس به سایت من آمده اید، امروز میخواهم نصیحت کنم شما را به چند چیز:

  1. به مدیریت و فایل های شخصی سایت ما کاری نداشته باشید
  2. فایل های غیر ضروری و غیر محتوایی ما را ایندکس نکنید
  3. به صفحاتی که ما دوست نداریم آنها را ببینید سر نزنید
  4. هیبت همایونی ما را هم زیر سوال نبرید و از دستورات مندرج شده پیروی کنید
پیشنهاد میکنیم این مقاله رو از دست ندهید:
3 نکته در مورد بهینه سازی و سئو سایت برای تازه کارها

امیدواریم موتورهای جستجو و ربات هایشان شنوای صحبت های شما باشند. بنابراین توصیه هایمان در مورد فایل ربات را پایان میدهیم و سراغ پرسش های بعدی می رویم.

فهرست کامل دستورات فنی فایل ربات Technical robots.txt syntax

صرف و نحو برای ترکیب دستورات فایل ربات، که به آن سینتکس Syntax هم گفته می شود، برای مشخص کردن کل دستورات است. تمامی دستوراتی که باید به فایل ربات بدهید با مقادیر زیر کنترل می شوند. تاخیر در ایندکس، ایندکس یا نوایندکس، خطاب کردن ربات موتور جستجو و … را در ادامه ببینید:

نام ربات User Agent: این مورد نام مشخص ربات موتور جستجو را خطاب می کند و دستورات را برای ربات مورد نظر مشخص می کند.

دستور محروم کردن Disallow: این دستور مشخص می کند که رباتی که در User Agent خطاب شده به این آدرس دسترسی نداشته و نباید به آن سر بزند. برای هر آدرس یکبار این عبارت را باید تکرار کنید

دستور مجاز کردن Allow: بر خلاف تصور سئوکار ها، این دستور فقط برای ربات گوگل کاربرد دارد. ربات گوگل کمی بیشتر از بقیه می فهمد و با این دستور میتوان آدرسی را برای گوگل مجاز کرد که در میان آدرس های محروم قرار گرفته است.

دستور تاثیر خزیدن Crawl-delay: این دستور هم بر خلاف تصور بقیه، تنها برای گوگل کاربرد ندارد. با این دستور ربات منتظر گذر زمان مشخص شده می شود سپس اقدام به بررسی و ایندکس می کند. اگر میخواهید ربات های گوگل با تاخیر برگه های شما را ایندکس کنند در سرچ کنسول می توانید آن را کنترل کنید.

نقشه سایت Sitemap: با این دستور برای ربات ها مشخص می کنید که نقشه XML سایت کجاست. آدرس نقشه سایت با این دستور مشخص می شود تا ربات موتورهای جستجو به آن دسترسی مستقیم پیدا کنند و از آن برای ایندکس بهتر و سریع تر استفاده کنند.

کارتون نقشه سایت

چه دستوراتی در فایل ربات robots.txt قرار دهم؟

پیشنهاد ما همیشه اینست که اول کل دستورات را مرور کنید، چند مثالی از آنها را ببینید و سپس تصمیم بگیرید کدام بخش از سایت را از ایندکس خارج کرده و کدام را در ایندکس وارد کنید.

بهتر است دقیق تر با دستورات آشنا شوید و همیشه نظر یک متخصص را بپرسید تا بتوانید یک نقشه سایت درست حسابی برای خود بسازید. باید مراقب باشید چون این فایل به همه چیز حتی بزرگ و کوچک بودن حروف حساس است. بنابرین باید دقت کنید تا مشکلی برای ایندکس سایت به وجود نیاید.

چند مثال از این دستورات را برای شما در نظر گرفته ایم تا متوجه شوید چطور کار می کند:

User-agent: *
Disallow: /

دسترسی تمام و کمال به سایت برای کل موتورهای جستجو
محروم کردن کل موتورهای جستجو از دسترسی به سایت

User-agent: *
Disallow: /folder/

مسدود کردن یک پوشه خاص برای تمام موتورهای جستجو (فقط این پوشه مسدود است، پس کل سایت جز این قسمت آزاد است)

User-agent: *
Disallow: /file.html

مسدود کردن یک فایل خاص برای تمام موتورهای جستجو (فقط این فایل مسدود است، پس کل سایت آزاد است)

دستورها با دو گزینه “متغیر Wildcard” و “متشابه Matches” میتوانند گزینه های بیشتر و دارای تنوع را پوشش دهند. به موارد زیر دقت کنید:

* میتواند شامل نام تمام موتورهای جستجو شود

User Agent: *

$ میتواند متغیرهای یک آدرس را تماما دربر بگیرد

URL Matches: .php$

در آدرس بالا، وقتی $ به انتهای .php اضافه شد، یعنی تمام آدرس هایی که با .php تمام می شوند از دستور مورد نظر پیروی کنند. مثلا شما میخواهید تمام آدرس های ختم شده به .php را از ایندکس حذف کنید:

Disallow: /*.php$

 

تمام دستورات و روش های دستور در فایل ربات robots.txt

درست: ✅

http://ekfarshid.ir/
http://ekfarshid.ir/folder/file

نادرست: ❌

http://other.ekfarshid.ir/

https://ekfarshid.ir/

http://ekfarshid.ir:2082/

http://ekfarshid.ir/robots.txt

درست: ✅

http://www.example.com/

نادرست: ❌

http://example.com/
http://shop.www.example.com/
http://www.shop.example.com/

http://www.example.com/robots.txt

درست: ✅

http://www.example.com/robots.txt

نادرست: ❌

فایل های ربات باید در ریشه هاست قرار گیرند

http://example.com/folder/robots.txt

درست: ✅

http://www.müller.eu/

نادرست: ❌

http://www.muller.eu/

http://www.müller.eu/robots.txt

درست: ✅

ftp://example.com/

نادرست: ❌

http://example.com/

ftp://example.com/robots.txt

درست: ✅

http://212.96.82.21/

نادرست: ❌

http://example.com/

http://212.96.82.21/robots.txt

درست: ✅

http://example.com:80/
http://example.com/

نادرست: ❌

http://example.com:81/

http://example.com:80/robots.txt

درست: ✅

http://example.com:8181/

نادرست: ❌

http://example.com/

http://example.com:8181/robots.txt

ساختن فایل ربات

کار آسانی برای ساختن فایل ربات پیش رو دارید. اگر سیستم عامل ویندوز دارید، یک پنجره در فایل اکسپلورر باز کنید، در جایی از پوشه مورد نظرتان یک کلیک راست انجام داده، روی گزینه New موشواره را نگه داشته و روی Text Document کلیک کنید تا یک فایل متنی بسازید:

فایل متنی

فایل ربات را برای ویرایش باز کرده و دستورات خودتان را بنویسید:

ویرایش فایل رباتپس از نوشتن دستورات، باید آن را به صورت یک فایل انکد 8 UTF8 ذخیره کنید. برای اینکار روی گزینه فایل File سپس ذخیره Save کلیک کنید و در پایین کنار دکمه ذخیره روی Encoding کلیک کنید و گزینه انکد را روی UTF8 قرار دهید:

 

فایل انکد 8 UTF8اکنون شما یک فایل درست و صحیح دارید که آماده است در سایت قرار گیرد و همچنین برای گوگل هم ارسال شود. پس آموزش خود را ادامه دهید.

 

اضافه کردن فایل ربات robots.txt به سایت غیر وردپرسی

برای اضافه کردن فایل ربات به سایت، کار ساده ای پیش رو دارید، برای آپلود آن در کنترل پنل های هاستینگ مختلف باید از آموزش های زیر استفاده کنید. ما تا اینجا تصور میکنیم شما از وردپرس استفاده نمی کنید. اگر از وردپرس استفاده می کنید کار ساده تری دارید که در مراحل بعدی آموزش داده شده است. در این قسمت فقط آپلود فایل ربات به سایت را برای سایت های غیر وردپرسی توضیح داده ایم:

آپلود به هاست در دایرکت ادمین

دایرکت ادمین را باز کرده و روی مدیریت فایل File Manager کلیک کنید. پس از اینکه مسیر مورد نظر برای شما باز شد باید وارد پوشه Public_html شوید. وارد این مسیر شدید، روی گزینه Upload to this Directory کلیک کرده و فایل خود را برای آپلود انتخاب کنید. کار شما تا اینجا تمام شده است. اگر از دایرکت ادمین استفاده نمی کنید ادامه دهید.

آپلود به هاست سی پنل

شاید در سی پنل کار ساده تری پیش رو داشته باشید. معمولا هاست های سی پنل گرانتر هستند ولی ارزش این را دارند چون یک پنل هاستینگ حرفه ای به شما ارائه می کنند. وارد هاست خود که شدید روی File Manger کلیک کرده و وارد پوشه Public_html شوید. کافیست در اینجا روی Upload کلیک کرده و فایل را برای آپلود انتخاب کنید. کارتان تمام شده است.

البته ما تا اینجا تصور می کردیم که شما سیستم مدیریت محتوایی مثل جوملا، پرستاشاپ یا ASP دارید و از وردپرس استفاده نمی کنید. اگر وردپرسی هستید ادامه دهید. وردپرس در این زمینه ها فوق العاده عمل کرده است.

ساختن فایل robots.txt در سایت وردپرس

همانند دیگر سایت ها لازم نیست کار خاصی انجام دهید. پس از اینکه فایل متنی خودتان را در رایانه خود ساختید، انکد آن را روی UTF8 قرار داده و آن را با نام robots.txt ذخیره کنید. فایل ذخیره شده را باید از طریق هاستینگ خود به مسیر Public_html اضافه کنید. پس از اضافه کردن آن، کافیست سایت را در مرورگر در حالت Private باز کرده و پس از آدرس سایت، آدرس فایل ربات را وارد کنید تا ببینید کار خود را درست انجام داده اید یا نه. آدرس ربات در سایت وردپرسی شما مثل زیر است:

Site.ir/robots.txt

توجه: فایل ربات شما تنها و تنها باید robots.txt باشد. تنها این فایل قابل قبول است و موتورهای جستجو به بزرگی و کوچکی حروف چه در نام فایل چه در دستورات درون فایل بسیار حساس هستند.

 

ساختن فایل ربات در وردپرس با افزونه Virtual Robots.txt

وردپرس فوق العاده است. این سیستم مدیریت محتوا همه چیز تمام است. باید به افتخار وردپرس کلاه خود را از سر برداریم. این سیستم رایگان اکنون زندگی را برای ما آسان تر کرده است. برای ساختن فایل ربات در وردپرس ما یک راه ساده را به شما پیشنهاد میکنیم. اینکه از افزونه سازنده فایل ربات استفاده کنید تا آن را برای شما نصب و راه اندازی کند.

افزونه Virtual Robots.txt

کافیست افزونه Virtual Robots.txt را نصب و فعال کنید. این افزونه به طور خودکار یک فایل می سازد، دسترسی های آن را بررسی کرده و آن را به گوگل و بینگ نشان می دهد.

پس از فعال سازی، افزونه وردپرس نام برده سایت را بررسی کرده و خودکار مواردی که لازم است از دسترس موتورهای جستجو خارج شوند را Disallow می کند. همچنین اگر نقشه سایت خود را ساخته باشید، خودکار در فایل ربات سایت اضافه می شود. تنها کاری که لازم است انجام دهید دیدن فایل ربات سایت است.

ساختن فایل ربات در وردپرس با افزونه Yoast SEO

اگر واقعا مصمم هستید سایت خود را با افزونه Yoast SEO بهینه سازی کنید. پیشنهاد میکنیم از نسخه تجاری و حرفه ای آن استفاده کنید، و البته اگر آن را از مانگو تهیه کنید، هم پشتیبانی دریافت میکنید هم بروز رسانی های آن را به طور اورجینال دریافت می کنید.

به هر حال، این افزونه در بخشی از ابزارهای خود این امکان را فراهم کرده تا بتوانید نقشه سایت خود را بسازید، ایندکس را کنترل کنید یا اینکه یک فایل ربات robots.txt بسازید. برای اینکار کافیست وارد “پیشخوان وردپرس” شده، روی “تنظیمات افزونه” کلیک کرده و “ابزارها” را انتخاب کنید.

ساخت فایل ربات در افزونه Yoast seo

در بخش ابزارها، سه ابزار در اختیار شما قرار گرفته است که یکی از آنها “ویرایشگر فایل” است. روی ویرایشگر فایل کلیک کنید تا در صفحه باز شده برای شما ویرایش دو فایل مهم سایت فراهم شود. یکی فایل ربات robots.txt و دیگری فایل دسترسی سایت htaccess

اگر اولین بارتان باشد که این قسمت را باز میکنید و قبل از نصب افزونه یوست سئو فایل ربات خود را نساخته باشید، دکمه برای شما به صورت “ایجاد فایل ربات” نمایش داده خواهد شد. روی آن کلیک کنید تا فایل شما ساخته شود.

ویرایش فایل ربات در افزونه سئو yoast seo

توجه: برای برخی کاربران گزارش شده که وقتی اولین بار فایل ربات توسط افزونه یوست Yoast ساخته می شود، وارد یک برگه سراسر کدنویسی شده می شوند. کافیست دکمه برگشت را بزنید و ببینید فایل شما ساخته شده است.

پس از ساخته شدن فایل ربات با افزونه Yoast میتوانید دستورات خود را در افزونه قرار دهید و آن را ذخیره کنید.

ارسال فایل ربات robots.txt به گوگل

برای ارسال فایل ربات سایت خود به گوگل، طبق توصیه گوگل باید یک حساب سرچ کنسول بسازید. در وبمستران گوگل حساب خود را ایجاد کنید و سایت را به آن متصل کنید. اگر قبلا حساب سرچ کنسول (همان وبمستر تولز قدیم) را ایجاد کرده اید، وارد پنل کاربری خود شوید.

نسخه قدیمی: در نسخه قدیمی شما کار آسانی پیش رو دارید، کافیست در پیشخوان وبمستر تولز زیر گزینه Crawl روی robot.txt tester کلیک کنید.

ارسال فایل ربات برای گوگلدر کادر مشخص شده، متن فایل ربات خود را به صورت دستی وارد کرده و روی بررسی TEST کلیک کنید. نتیجه توسط خود گوگل در همین پیشخوان به شما اعلام خواهد شد.

نسخه جدید: در سرچ کنسول جدید، رابط کاربری کمی کار را برای شما دشوار می کند. اما هنوز بررسی فایل ربات به نسخه جدید اضافه نشده، پس بهتر است موقتا از نسخه قدیمی برای تست فایل ربات استفاده کنید.

کارتون تولید فایل ربات سایتتکنیک های بهینه سازی فایل ربات robots.txt برای وردپرس و افزایش سئو

چند ترفند که کمک می کنند فایل ربات سایت کیفیت بالایی داشته باشد و برای سئوی سایت مفید واقع شود. میخواهیم وارد جزئیات این ترفندها شویم. صندلی خودتان را سفت بچسبید که میخواهیم با روش های هیجان انگیزی آشنایتان کنیم.

اول چند نکته در مورد فایل ربات که باید بدانید:

  • هر کسی میتواند فایل ربات شما را ببینید. شما هم میتوانید فایل ربات سایت های رقیب را ببینید
  • شما باید یک فایل ربات داشته باشید که حداقل یک دستور درون خود دارد.
  • وقتی فایل ربات شما خالی از دستورات باشد، ربات ها هر گونه که بخواهند با سایت شما رفتار می کنند.
  • نداشتن فایل ربات مناسب نشان از غیر حرفه ای بودن است
  • نیازی نیست نقشه سایت خودتان را در فایل ربات قرار دهید، نقشه سایت ربطی به فایل ربات ندارد و شما باید در حساب گوگل سرچ کنسول و بینگ وبمستر تولز به صورت دستی نقشه سایت را ثبت کنید
  • از کپی کردن فایل ربات سایت های رقیب خود خودداری کنید
  • حتما فایل ربات خودتان را با یک متخصص سئو چک کنید
     

چطور سایت خودتان را به طور کامل از گوگل و بینگ مسدود کنید؟

شاید بپرسید چرا باید اینکار را انجام داد؟ پاسخ این پرسش بسیار ساده است. من یک سایت تازه راه اندازی کرده ایم و نمیخواهم گوگل آن را ببیند. هنوز نمیخواهم گوگل و بینگ در مورد سایت من بدانند. پس آن را از دسترسی گوگل و بینگ و هر موتور جستجوی دیگری خارج می کنم.

در ابتدا یک تصمیم ساده میگیرم. وارد تنظیمات وردپرس می شوم. روی خواندن کلیک کرده و در بخش پایانی برگه، گزینه مشخص شده ای را انتخاب می کنم: “از موتورهای جستجو درخواست کن سایت را بررسی نکنند”

از موتورهای جستجو درخواست کن سایت را بررسی نکنند

وقتی این گزینه را بزنیم، سایت یک فایل ربات می سازد و کدهای مربوطه را به آن وارد می کند. اگر به صورت دستی بخواهیم اینکار را انجام دهیم همین کد را به فایل ربات خود اضافه می کنیم:

User-agent: * 
Disallow: /

اگر بخواهیم در وردپرس پوشه مدیریت را از دسترسی موتورهای جستجو خارج کنیم، از دستور زیر استفاده میکنیم:

User-agent: * 
Disallow: /

در دستورات خود همیشه باید دستور محروم کردن را در ابتدا و دستورات مجاز را در انتها قرار دهیم، به شکل زیر:

User-agent: *
Disallow: /wp-includes/
Disallow: /wp-admin/
Allow: /wp-includes/.js

میخواهم اصلا تصاویر سایت در گوگل ایندکس نشوند، از دستور زیر استفاده میکنیم:

User-agent: googlebot-images
Disallow: /photos

اگر بخواهیم ویدیوها را هم از ایندکس محروم کنیم، مقدار زیر را به دستور بالا اضافه میکنیم

Disallow: /videos

یک دستور حرفه ای میخواهیم ایجاد کنیم تا در قلب قسمت های محروم شده، یک فایل را برای ایندکس و دیده شدن آزاد کنیم:

User-agent: *
Disallow: /wp-includes/
Allow: /wp-includes/css/files/wp-pointer-rtl.css

 

میخواهیم تمامی فایل های CSS را در مسیر بالا برای ایندکس باز کنیم، دستور زیر را به فایل ربات بالا اضافه میکنیم:

Allow: /wp-includes/css/*.css$

 

تمامی فایل های CSS در پوشه wp-includes/css همگی دسترسی مجاز دارند (اما همانطور که گفته شد فقط ربات گوگل از دستور Allow پشتیبانی می کند و آن را تشخیص می دهد)

اگر بخواهیم موتورهای جستجو نتایج جستجو درون سایت را ایندکس نکرده و به آن دسترسی نداشته باشند، باید از دستورات زیر استفاده کنیم:

User-agent: *
Disallow: /?s=
Disallow: /search/

در این جا علامت های ریاضی همان پارامترهای جستجوی درون سایت هستند. با دستور Disallow و عبارت search موتور جستجو را از ایندکس نتایج جستجوی کاربران محروم کرده ایم.

 

یکی دیگر از مشکلات سایت های فروشگاهی اینست که ربات ها به سبد خرید سر میزنند و خب این مسئله به سرور سایت ها هم فشار زیادی وارد میکند، پیشنهاد میکنیم اگر سایت فروشگاهی دارید دستور زیر را به آن اضافه کنید:

User-agent: *
Disallow: /*add-to-cart=*

تا به اینجا شما با دستورات مختلف و شکل استفاده از آنها در فایل ربات آشنا شده اید اما به نظر ما بهتر است با ترتیب دستورها در یک فایل ربات آشنا شوید و یک نمونه صحیح از فایل ربات را مشاهده کنید:

ترتیب دستورها در فایل ربات همیشه به صورت زیر است:

1. User Agent
2. Time Delay
3. Disallow
4. Allow
5. Sitemap

نمونه فایل صحیح ربات

یک نمونه فایل صحیح ربات robots.txt که شاید بیشتر کاربران به دنبال آن هستند، میتوانید آن را در زیر مشاهده کنید.

User-agent: *
Disallow: /directory1/
Disallow: /directory2/
Allow: /directory2/subdirectory1/
Disallow: /files/
Allow: /files/css/

 

خط اول: در این خط با عبارت متغیر وایلد کارد Wildcard * ربات تمام موتورهای جستجو خطاب شده اند

دستور اول: دسترسی به مسیر درون سایت /directory1/ برای ربات تمام موتورهای جستجو بسته شده است

دستور دوم: دسترسی به مسیر درون سایت /directory2/ برای ربات تمام موتورهای جستجو بسته شده است

دستور سوم: دسترسی به دیگر قسمت های سایت هم باز است و قسمتی از مسیر مسدود شده ی directory2 دارای دسترسی مجاز است و آدرس آن directory2/subdirectory1 است.

 

توجه: اگر سایت شما هم بدون www و هم با www و یا با http و با https قابل دسترسی باشد، باید توجه کنید که در تمامی این حالت فایل robots.txt شما باید میان تمامی این آدرس ها کاملا یکسان باشد، در غیر این صورت ربات های موتور جستجو در خزیدن سایت شما سردرگم خواهند شد.

اکنون نوبت شماست. به سایت خود برگردید و تمام این بهینه سازی ها را روی سایت خود انجام دهید.

اگر پرسشی دارید که در این آموزش به آن پاسخ داده نشده، میتوانید همین جا در زیر این مقاله آن را بنویسید تا به آن پاسخ دهیم. همینطور اگه شوخی هامون توی محتوا مناسب نیست یا زیاد نمیتونه شمارو بخندونه، بازم بهمون بگید، میشنویم صداتون رو

5/5 (1 دیدگاه)
تیم بلاگینگ میموس

تیم بلاگینگ میموس

توی خانواده میموس ما بچه‌های بلاگینگ سر و کارمون با محتواس. ما دوست داریم ارزنده‌ترین مطالب روز سئو وردپرس رو در اختیار شما علاقمندان دنیای سئو قرار بدیم. این‌رو هم اضافه کنیم ما قبل هرچیزی از صحت اطلاعات بلاگ میموس مطمئن می‌شیم سپس اونا رو منتشر می‌کنیم و در اختیارتون قرار می‌دیم.
شما هم می‌تونید با نوشتن نظرات و انتقادات خودتون عضوی از این خانواده بشید. امتحانش مجانیه!

میخواید درموردمون بیشتر بدونید؟

اگر این مقاله برای شما مفید بود ....

لطفا با نظر دادن ما را در بهتر کردن مطالب آموزشی یاری کنید.

به دنبال خدمات حرفه ای سئو هستید ؟!

میموس با تدوین استراتژی و ساختار اصولی شما را تا رسیدن به رتبه 1 یاری خواهد کرد.

کارگاه‌های سئو و وبمستری

کتاب‌های رایگان سئو

دلایل انتخاب پلتفرم سئو مانگو

24 دلیل برای انتخاب پلتفرم مدیریت سئو مانگو به عنوان دستیار سئو

همین الان سئو سایت وردپرسی خودتون رو شروع کنید، 3 روز اول کاملا رایگان

9
خوشحال میشویم اگر سوالی در این زمینه دارید از ما بپرسید... (کاملا رایگان است - بعضی ازسوالات به صورت صوتی پاسخ داده خواهد شد)

avatar
فایل های تصویری و عکس
 
 
 
فایل های ویدیویی و صوتی
 
 
 
سایر انواع فایل
 
 
 
5 تعداد نظرات
4 رشته نظرات
0 دنبال کننده ها
 
داغ ترین نظرات
داغترین نظرات
7 نویسندگان نظرات
Agahi90.iRسینا امین زادهmohammadreza asadolahiمهران رنجبرمرتضی آبکار نویسندگان نظرات اخیر
  اشتراک  
اطلاع از
Agahi90.iR
مهمان
Agahi90.iR

مرحبا بکم

mohammadreza asadolahi
مهمان
mohammadreza asadolahi

سلام
ممنونم بابت آموزش ربات
خوب توضیح دادین
اگه امکان داره رباتهایی که واسه فروشگاه اینترنتی لازمه توضیح بدین که استفاده کنیم ممنونم

سینا امین زاده
سینا امین زاده

سلام خواهش میکنم
امیدوارم به بهترین شکل ازش استفاده کرده باشید.

ما مقاله ای کامل در زمینه سئو فروشگاه نوشتیم که تبدیلش کردیم به یک کتاب pdf میتونید در این صفحه دانلود کنید هر آموزشی که برای یک فروشگاه اینترنتی لازم هست رو توضیح دادم.

موفق باشید

مهران رنجبر
مهمان
مهران رنجبر

من متوجه چیز جدیدی شدم. اینکه تمام دستورات برای هر ربات به ترتیب خطاب کردن و بعد disallow و سپس allow هستش. اگر ربات دیگری رو هم در یه لیست اضافه کنیم، باید دوباره همین ترتیب رو به کار ببریم. (:

مرتضی آبکار
مهمان
مرتضی آبکار

قطعا این فایل برای وردپرس ضروریه. من خودم برای فروشگاهم داشتم از این فایل اشتباه استفاده می کردم. اما یه سوال برام پیش اومده، اینکه چرا سبد خرید رو هم در لیست disallow قرار دادین؟ ضروریه این کار؟

امید ذوالفقاری
مهمان
امید ذوالفقاری

سلام. مشکل من تو افزونه yoast این هستش که اجازه ساختن فایل ربات و htaccess رو نداره! چیکارش کنم؟

همین الان سئو سایت وردپرسی خودتون رو شروع کنید، 3 روز اول کاملا رایگان