• 0 رای - 0 میانگین
  • 1
  • 2
  • 3
  • 4
  • 5
سفارشی سازی Robots.txt برای CMS های معروف
#1
این که کدام دایرکتوری و فولدرها باید از دید موتورهای جستجو خارج باشند مسدله ای ایست که بر روی SEO سایت شما بسیار تاثیر گذار است. به غیر از آن این مسئله در ایجاد امنیت بالاتر برای وب سایت شما نیز بسیار تاثیرگذار خواهد بود. ایجاد فایل robots.txt در ریشه سایت شما با موتورهای جستجو کمک شایانی خواهد کرد و وب سایتهای دراای این فایل معمولا دارای رتبه بهتری قرار خواهند گرفت. شما محدودیتها و اعمال زیادی رو از طریق ایم فایل میتوانید بر روی سایت خود ایجاد نمایید، اما امروز قصد دارم که نحوه بهینه سازی سایت شما (البته سایتهایی که از CMS هایی مثل WordPress، Joomla و ِDrupal استفاده میکنند) توسط ویرایش و یا ساخت این فایل توضیح دهم.

نکته مهم این است که فایلهای Robot.txt باید در ریشه اصلی سایت ایجاد شوند و برای مثال میتوان به این آدرس اشاره کرد :

http://www.yoursite/robots.txt

کافیست دستورات زیر را در این فایل کپی پیست کنید :

WordPress
نقل قول: User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /tag
Disallow: /author
Disallow: /wget/
Disallow: /httpd/
Disallow: /cgi-bin
Disallow: /images/</pre>
Disallow: /search
Disallow: /feed
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$

Joomla
نقل قول:User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /libraries/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /admin
Disallow: /administrator
Disallow:/admin/
Disallow: /admin.html
Disallow:/admin.php

Drupal
نقل قول: User-agent: *
# Directories
Disallow: /database/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /sites/
Disallow: /themes/
Disallow: /scripts/
Disallow: /updates/
Disallow: /profiles/
# Paths (clean URLs)
Disallow: /admin/
Disallow: /aggregator/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /contact
Disallow: /logout
Disallow: /user/register
Disallow: /user/password
Disallow: /user/login
Disallow: /user/password/
Disallow: /print/
Disallow: /forward/
# Files
Disallow: /xmlrpc.php
Disallow: /cron.php
Disallow: /update.php
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /CHANGELOG.txt
Disallow: /MAINTAINERS.txt
Disallow: /LICENSE.txt
Disallow: /UPGRADE.txt
# Block user tracker pages
Allow: /project/track
Disallow: /*/track$
Disallow: /*/track?page=

If you are not using static urls:

نقل قول:Disallow: /?q=admin/
Disallow: /?q=aggregator/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /user/login/


منبع: ITTutorial
غایب
  پاسخ
تشکر شده توسط : amir.s admin parvane


پرش به انجمن:


کاربران در حال بازدید این موضوع: 1 مهمان