• 0 رای - 0 میانگین
  • 1
  • 2
  • 3
  • 4
  • 5
robots.txt تا چه اندازه میتونه در بهینه بودن سایت مؤثر باشه؟
#1
باز هم سلام،
امروز این سومین مقاله ای هست که دارم می نویسم و بدون ویرایش براتون ارسال می کنم. امیدوارم روزی برسه که بتونم همه اطلاعاتم رو با شما به اشتراک بگذارم.

تو عنوان گفتم که موضوع چیه! خب چیه؟ "robots.txt تا چه اندازه میتونه در بهینه بودن سایت مؤثر باشه؟" بله ، خودشه.

همه جا از اینکه چقدر مهم این فایل صحبت میشه یا اینکه بیشتر یاد میدن چطوری بسازیش. ولی هیچ جا باور کنید من ندیدم از تأثیرش حرف بزنن. یا فقط گفتن خیلی مؤثره ولی من بیشتر براتون توضیح میدم.

این فایل رو که باید بشناسید. اگر نمی شناسید از جستوی همین انجمن یا موتور جستجو استفاده کنید.

محتوای این فایل هم که تابلوئه. دسترسی رو برای روبات ها (هرکدوم از هرکجا که میخواد باشه) رو محدود می کنه.

همیشه گفتم ، اگر به چیزی نیاز ندارید پس نیازی هم نیست که داشته باشیدش. مثلاً ما آدما تلویزیون نباشه تو خونمون نمیشه! پس باید بخریم. اما یکی می بینید اپل مکینتاش آخرین مدلش رو نیاز نداره و یه کامپیوتر معمولی کارشو راه میندازه ولی می ره می خره که این اشتباست. یا بارها دیدم کاربران معمولی کامپیوتر ، هر چی برنامه توی کینگ پرند هست نصب می کنن که شاید یه روزی بدردشون بخوره. ولی خود من اگر بخش برنامه های نصب شده ام رو ببنید ، جز برنامه های مورد نیاز کامپیوتر [*] سه تا برنامه دیگه نصب کردم واسه کارم و دیگه چیزی نیاز ندارم که بخوام نصب کنم.

[*]: این یادم افتاد بگذارید بگم ، اگر از سیستم عامل ویندوز استفاده می کنید ، حتماً همه نسخه های .Net Framework رو نصب کنید ...

اگر توضیحات بالا رو ببریم در قالب بهینه سازی ، میشه گفت: سایت ما هم به یکسری روبات خاص نیاز داره. که اون روبات ها رو متناسب با زبان محتوای و خود محتوای سایتمون تشخیص میدیم.
فرض کنید شما یه سایت فارسی دارید که محتواشم فارسیه. خب مسلماً روبات موتور جستجوی روسیه اصلاً به درد سایت شما نمی خوره و مثل ویروس برای سایت شما عمل می کنه اگر دسترسی بهش داده بشه (این تصوریه که من دارم از روباتی که مورد نیاز نیست)

حالا روبات های مورد نیاز کدوما هستن؟ اول گفتم ، خودتون باید متناسب با زبان و محتوای سایتتون تشخیص بدید ولی اینایی که در زیر می نویسم ویژه یک سایت فارسی با محتوای فارسی هست.

کد:
User-agent: Googlebot
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: Robozilla
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: *
Disallow: /

البته این را هم اضافه کنم دسترسی به فولدر cgi-bin رو هم محدود کنید.
کد:
Disallow: /cgi-bin/

خیلی ها این تفکر رو دارن که اگر روبات های بیشتری به سایتشون سر بزنن ، ایندکس هاشون هم بیشتر بشه خیلی بهتره. ولی روبات زیاد = دردسر ، لینک زیاد = 404 Not Found بیشتر

حالا بگذارید از یه مثال جالب استفاده کنم تا بیشتر بدونید. فرض می کنیم یه سایت هست که دسترسی به همه روبات ها داده شده. این روبات هارو ماشین فرض می کنیم که قراره از یک اتوبان رد شن و برسن به سایت. خب فکر نمی کنید ترافیک ایجاد میشه و راننده ماشین ها تصمیم میگیرن زمان دیگه ای رو برای رسیدن به مقصد و هدف تعیین کنند؟ همینطوره. پس از مسیر خارج میشن و بر می گردن به جایی که اومدن با این تفاوت که تو راه برگشت مسافر ندارن ولی حاوی اطلاعات مهمی هستن و اونم زمان ایندکس کردن صفحات سایت هست که هر دفعه بیان ممکنه با این مشکل بر بخورن و باز بازگشت.
اما حالا عکس این مثال ... خودتون چی فکر می کنید؟

این یکی از تکنیک هایی هست که روی سایت خودم پیاده کردم و جواب گرفتم. توصیه می کنم شما هم بهش عمل کنید
غایب
  پاسخ
تشکر شده توسط : Bojbaj oia admin parvane paull ali786 Mohammad.T


پرش به انجمن:


کاربران در حال بازدید این موضوع: 1 مهمان