قبل از شروع مقاله خوب است بدانیم HTML چیست و چه کاربردی دارد؟اگر برنامه نویسی نبود دنیای اینترنتی هم نبود، برنامه نویسی زبان های متعددی دارد و برای تولید یک صفحه چندین قطعه برنامه نویسی شده اند. زبان های زیادی برای برنامه نویسی وجود دارد که هرکدام قابلیت هایی به صفحات اینترنتی می دهند. اما در مورد ساده ترین و اولین مبحثی که باید بدانید HTML است. HTML یک زبان نشانه گذاری است که به عنوان اسکلت اصلی تمام سایت های موجود در دنیا به کار می رود.این زبان یک زبان بسیار ساده است و پیشنیاز ورود به دنیای طراحی وب می باشد این زبان توسط تگ ها (tags) نوشته می شود. یکی از این تگ ها متا تگ robots است که در ادامه برای توضیح این مبحث با ما همراه باشید.
Tags یا تگ چیست و متا تگ robots چه کاربردی دارد؟
در ابتدا گفتیم که یکی از اجزای موجود در html که زبان نشانه گذاری (برچسب گذاری) ابر متن است، تگ ها هستند. اما تگ (tag) چیست ؟ ترجمه این لغت در زبان فارسی با عنوان ” برچسب ” مورد استفاده قرار می گیرد. تگ ها در زبان html مهمترین نقش را بر عهده دارند.
در واقع می توان گفت تگ های HTML نشانه های دستوری از پیش تعریف شده زبان HTML هستند که نقش نشانه گذاری محتویات صفحات نوشته شده با HTML را بر عهده دارند. این تگ ها که هر کدام معنا و مفهوم خاصی را به نمایش می گذارند، معمولا به صورت دو قسمتی به کار می روند.
تگ های زیادی در این زبان وجود دارند، بعضی از آن ها عبارت اند از: <<form، <area>، <body>، <head>، <img> و… که هر کدام جهت کار خاصی به کار برده می شوند.
اما یکی از تگ هایی که برای موتورهای جستجو نیز اهمیت داشته متا تگ robots است. با استفاده از این تگ، شما می توانید گوگل و موتورهای جستجو را کنترل کنید تا صفحاتی از وب سایت شما طبق خواسته خودتان را پیمایش یا صفحات آن را ایندکس کنند. این تگ در قسمت هدر هر صفحه قرار دارد و دستورالعمل هایی را برای موتورهای جستجو آماده می کند. همانطور که گفتیم هر تگ دارای دو قسمت است اول name و دوم content. در قسمت اول نام تگ و در قسمت دوم کاری که از تگ می خواهیم را می نویسیم.
تگ robots مقادیر مختلفی را در قسمت دوم خود دارد. اگر در قسمت اول تگ robots را بنویسیم خواهید دید که مقادیر مختلفی برای وارد کردن در قسمت دوم برای این تگ وجود دارد. برای نمونه مقدار NoIndex در این تگ به موتورهای جستجو اعلام می کند که این صفحه را ایندکس نکنند و در نتیجه در لیست نتایج جستجو قرار نمی گیرد. مقدار FOLLOW به موتورهای جستجو اعلام می کند لینک هایی که در صفحه هستند را دنبال کند. مقادیر مختلفی از جمله None ، NoCache، NoArchive ، NoSnippet و … که توضیح همگی در این مطلب نمی گنجد.
مقاله پیشنهادی : از زبان html چه می دانید؟
متا تگ robots و استفاده از آن در سئو
معمولا در هنگام مدیریت سایت میخواهیم صفحاتی که ارزش بیشتری دارند به گوگل نمایش داده شوند وصفحاتی که ارزش محتوایی ندارند مانند صفحات تماس با ما و این موارد نمایش داده نشوند. یکی از راه حل های این موضوع استفاده از متا تگ ربات برای جلوگیری از ایندکس شدن صفحات بی ارزشه. که در واقع به افزایش چیزی که به عنوان crawl demand (درخواست پیمایش) سایت شناخته میشود کمک کردیم یعنی این موضوع باعث میشود که سایت شما بیشتر توسط کراولرها پیمایش شود. علاوه بر این، تگ Robots یک لایه محافظتی دیگر برای صفحاتی که از طریق فایل Robots.txt مسدود شدن اضافه می کند. طبق توضیحاتی که ارائه شد، اینجا به یک تناقض می رسیم. طبق تعریف کلی، هدف اصلی سئو بردن صفحات یک وب سایت به لیست نتایج جستجو است ولی آیا متا تگ هایی که از ایندکس شدن صفحات جلوگیری می کنند برای سئو یک وب سایت مفید هستند؟ جواب سوال را در چند مورد توضیح می دهیم:
با استفاده از متا تگ robots فایل ها و صفحات خصوصی (مثل یک آلبوم عکس) مسدود میشوند و در نتیجه جستجوها دیده نمی شوند. در حالت کلی بهتر است مطالب خاص را روی وب سایت تون منتشر نکنید یا اگر به هر دلیلی مجبور بودین که این کار را انجام دهید، می توانید با استفاده از این تگ آن ها را مسدود کنید تا توسط گوگل خوانده نشوند.
با استفاده از تگ Robots سایت شما توسط موتورهای جستجو به صورت خیلی مفید و اثربخش پیمایش می شود. یعنی با توجه به ظرفیت کم ربات های جستجو، مطالب مفید سایت را بتوانند پیمایش کنند.
اگر صفحه ای در وب سایت خود دارید که لینک های زیادی به دست آورده اما شما به دلایلی علاقه ندارید این صفحه ایندکس شود، می توانید از دستور Follow استفاده کنید تا لینک ها را به صفحات دیگر سایت خود منتقل کنید.
مقاله پیشنهادی : پروتکل http و کاربرد آن
نتیجه گیری
در این مقاله سعی کردیم زبان HTML را به شما معرفی کنیم که این زبان چیست و چه کاربردی دارد. همچنین توضیح دادیم که یکی از تگ های موجود در زبان HTML متا تگ Robots است که دارای مقادیر مختلفی است که هر کدام کار خاصی را انجام می دهند. این مقادیر در کل برای کنترل گوگل و موتورهای جستجو به کار می روند و با استفاده از آن ها به موتورهای جستجو دستور می دهیم که چه صفحاتی از سایت ما را پیمایش کنند و چه صفحاتی را نادیده بگیرند. همچنین استفاده از این متا تگ برای سئو ضرری ندارد هرچند در سئو تلاش می کنیم صفحات سایت را به نمایش گوگل در بیاوریم اما در این متا تگ به گوگل دستور می دهیم بعضی صفحات را نادیده بگیرد. چون در تگ robots صفحات بی ارزشی مانند مدیریت سایت و تماس با ما و صفحات این چنین را از پیمایش موتورهای جستجو کم می کند و باعث می شود صفحات مهم بیشتر به چشم بیایند.