/
  • سفارشی سازی Robots.txt برای CMS های معروف

  • ارسال پاسخ   امتیاز موضوع:
    • 0 رأی - میانگین امیتازات: 0
    • 1
    • 2
    • 3
    • 4
    • 5

    حالت موضوعی | حالت خطی سفارشی سازی Robots.txt برای CMS های معروف
    نویسنده پیام
    cyletech غایب
    علیرضا اسکندرپور شوفری
    *****

    ارسال‌ها: 2,243
    تاریخ عضویت: ۱۳۸۸ فروردين ۸
    اعتبار: 42
    تشکرها : 1258
    ( 2239 تشکر در 1089 ارسال )
    ارسال: #1
    سفارشی سازی Robots.txt برای CMS های معروف
    این که کدام دایرکتوری و فولدرها باید از دید موتورهای جستجو خارج باشند مسدله ای ایست که بر روی SEO سایت شما بسیار تاثیر گذار است. به غیر از آن این مسئله در ایجاد امنیت بالاتر برای وب سایت شما نیز بسیار تاثیرگذار خواهد بود. ایجاد فایل robots.txt در ریشه سایت شما با موتورهای جستجو کمک شایانی خواهد کرد و وب سایتهای دراای این فایل معمولا دارای رتبه بهتری قرار خواهند گرفت. شما محدودیتها و اعمال زیادی رو از طریق ایم فایل میتوانید بر روی سایت خود ایجاد نمایید، اما امروز قصد دارم که نحوه بهینه سازی سایت شما (البته سایتهایی که از CMS هایی مثل WordPress، Joomla و ِDrupal استفاده میکنند) توسط ویرایش و یا ساخت این فایل توضیح دهم.

    نکته مهم این است که فایلهای Robot.txt باید در ریشه اصلی سایت ایجاد شوند و برای مثال میتوان به این آدرس اشاره کرد :

    http://www.yoursite/robots.txt

    کافیست دستورات زیر را در این فایل کپی پیست کنید :

    WordPress
    نقل قول: User-agent: *
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /tag
    Disallow: /author
    Disallow: /wget/
    Disallow: /httpd/
    Disallow: /cgi-bin
    Disallow: /images/</pre>
    Disallow: /search
    Disallow: /feed
    Disallow: /feed/
    Disallow: /trackback/
    Disallow: /rss
    Disallow: /comments/feed
    Disallow: /feed/$
    Disallow: /*/feed/$
    Disallow: /*/feed/rss/$
    Disallow: /*/trackback/$

    Joomla
    نقل قول: User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /editor/
    Disallow: /help/
    Disallow: /includes/
    Disallow: /language/
    Disallow: /mambots/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /templates/
    Disallow: /installation/
    Disallow: /libraries/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow: /admin
    Disallow: /administrator
    Disallow:/admin/
    Disallow: /admin.html
    Disallow:/admin.php

    Drupal
    نقل قول: User-agent: *
    # Directories
    Disallow: /database/
    Disallow: /includes/
    Disallow: /misc/
    Disallow: /modules/
    Disallow: /sites/
    Disallow: /themes/
    Disallow: /scripts/
    Disallow: /updates/
    Disallow: /profiles/
    # Paths (clean URLs)
    Disallow: /admin/
    Disallow: /aggregator/
    Disallow: /comment/reply/
    Disallow: /contact/
    Disallow: /logout/
    Disallow: /node/add/
    Disallow: /search/
    Disallow: /user/register/
    Disallow: /contact
    Disallow: /logout
    Disallow: /user/register
    Disallow: /user/password
    Disallow: /user/login
    Disallow: /user/password/
    Disallow: /print/
    Disallow: /forward/
    # Files
    Disallow: /xmlrpc.php
    Disallow: /cron.php
    Disallow: /update.php
    Disallow: /install.php
    Disallow: /INSTALL.txt
    Disallow: /INSTALL.mysql.txt
    Disallow: /INSTALL.pgsql.txt
    Disallow: /CHANGELOG.txt
    Disallow: /MAINTAINERS.txt
    Disallow: /LICENSE.txt
    Disallow: /UPGRADE.txt
    # Block user tracker pages
    Allow: /project/track
    Disallow: /*/track$
    Disallow: /*/track?page=

    If you are not using static urls:

    نقل قول: Disallow: /?q=admin/
    Disallow: /?q=aggregator/
    Disallow: /?q=comment/reply/
    Disallow: /?q=contact/
    Disallow: /?q=logout/
    Disallow: /?q=node/add/
    Disallow: /?q=search/
    Disallow: /?q=user/password/
    Disallow: /?q=user/register/
    Disallow: /?q=user/login/
    Disallow: /user/login/


    منبع: ITTutorial
    ۱۳۸۹ فروردين ۱۲ ۰۷:۱۰ عصر
    یافتن ارسال‌ها پاسخ با نقل قول
     تشکر شده توسط : amir.s admin parvane
    « قدیمی تر | تازه‌ تر »

    ارسال پاسخ
    پرش به انجمن:


    کاربرانِ درحال بازدید از این موضوع: 1 مهمان
    IranPHP.org | تماس با ما | بازگشت به بالا | بازگشت به محتوا | بایگانی | پیوند سایتی RSS