BUR4IK.RU

Приветствую Вас ГостьПОДПИШИСЬ НА RSS от BUR4IK.RU
 
Главная РегистрацияВход
Меню сайта
Поделиться
Мой БЛОГ
Тиамин. Сахарный диабет – все, что нужно знать.
Режим и структура питания во время чайного поста. Лечебные посты по методике Майра
Питание беременной женщины при диабете. Сахарный диабет – все, что нужно знать.
Хирургические методы лечения ожирения. Сахарный диабет – все, что нужно знать.
Аэробная гимнастика при сахарном диабете. Сахарный диабет – все, что нужно знать.
Мои партнерки
eTXT.ru – это открытие в себе таланта автора
Биржа интернет трафика popunder.ru
Тизерная партнерка liveclix
Партнерка rotaban - баннеры (заработок для вебмастера)
Партнерка рекламной сети ADLABS
Партнерки форумов с оплатой за сообщения
Партнерка службы знакомств LovePlanet
Партнерская программа Биржи ссылок и статей SetLinks
Биржа статей Liex
Тизерная партнерка teasernet
Партнерская программа depositfiles
Партнерка системы контекстной рекламы БЕГУН
Партнерки для быстрого заработка: серфинг, автосерфинг, чтение почты...
Продажа трафика через WMlink проста и понятна.
Партнерка по покупке и продаже трафика Tak.Ru
Биржа купли-продажи ссылок - SAPE
...
Главная » 2010 » Декабрь » 28 » Файл robots.txt
21:21
Файл robots.txt
 


.


 

При обращении поисковой системы к любому из сайтов, первым делом она проверяет наличие файла robots.txt в корневой директории этого сайта. Если такой имеется, значит бот-поисковик, прощупав его будет следовать инструкциям указанным в нем. Что за чудо-файл, это robots.txt? Очень многие вебмастера не знают как правильно им пользоваться, в связи с чем его просто не создают. Не однократно бродя по Интернету, мне встречался в тематических форумах, вопрос – как составить файл robots.txt. Поэтому я и решил уделить внимание этому файлу и его составлению. Ведь на самом деле это очень даже нужный элемент при оптимизации сайта.

Файл robots.txt - в этом файле содержится написанная вебмастером инструкция для поискового бота. Размещается такой файл непосредственно в корневой директории сайта. Правильно настроив robots.txt, вы решаете возникновение многих проблем при индексации, не допускаете попадания ненужных страниц в индекс ПС, а также, решается такая проблема, как зазеркаливание.        
Создание robots.txt

Создается файл robots.txt очень просто, для этого стоит всего лишь открыть блокнот, который идет в стандартном комплекте Windows и ввести в нем необходимые директивы. Когда все готово, файл сохраняется (в любое удобное для вас место, я лично сохраняю его в корневой папке сайта, а потом уже закидываю на сервер) под названием «robots», после этого слова, ставим точку и прописываем расширение «txt», а теперь загружаем его корень сайта. На одном сайте, может быть только один созданный файл robots.txt. Для всех поисковых систем указываются действия в одном таком файле.       
Формат файла robots.txt

Имеется две обязательные директивы, которые должны присутствовать в любом файле robots.txt – это:

- User-agent: - здесь прописываются для какого бота-поисковика будут следующие инструкции.

- Disallow: - здесь вы указываете какую из директорий сайта не следует индексировать боту. Для всех поисковиков можно указать одинаковое действие, это делается установкой «звездочки» в User-agent. Это будет выглядеть примерно так:

User-agent: * - звездочка указывает, что для всех поисковых ботов инструкция будет одинаковой.
Disallow: /files.html – запрещается индексация указанного файла
Disallow: /kontakt/ - запрещается индексация всех файлов находящихся в указанной папке.

Если вы хотите разрешить индексацию полностью всех файлов и папок, значит следует прописать так:

User-agent: *
Disallow:

Вот и весь ваш файл robots.txt, да а вы думали.
Robots.txt для Yandex (Яндекса)

В любом файле robots.txt, рекомендую указывать директиву «Host» для Яндекса. Директива host задает поисковику Яндекс индексацию сайта, то есть, будет он индексироваться с «www» либо без. Применение такой директивы помогает избегать проблемы, которые могут возникнуть с зеркалом сайта. Лучше все сделать изначально правильно, чем потом иметь проблему и ломать голову в писках ее решения. Для Яндекса robots.txt будет выглядеть, примерно так:

User-agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru – здесь Яша индексирует сайт с «www»

User-agent: Yandex
Disallow: /cgi-bin
Host: site.ru – а здесь, без «www»

Зачастую многие начинающие, задают мне один и тот же вопрос, а как же лучше без «www» или с «www». Я вам так скажу – разницы нет никакой. На работе сайта это никак не сказывается. Но в хосте, определившись с вариантом, вы должны обязательно это прописать. В противном случаи, через какое-то время в индексе Яндекса, появятся дубли страниц. То есть, страницы будут и те и другие (без «www» и с «www»). А это окажет негативное воздействие на раскрутку сайта.      

И еще, это важно: host понимает только Яша, в связи с этим, директивы должны быть разделены, специально для него и для других ПС. Примерное содержание файла «роботс» будет таким:

User-agent: Yandex – это директива только для Яши
Disallow: /cgi-bin
Host: site.ru
User-agent: * - ну а здесь, для остальных поисковиков.
Disallow: /cgi-bin

По моему, этой информации вам должно хватить для составления роботс.тхт
.


свежее в блоге:
Тиамин. Сахарный диабет – все, что нужно знать.
Режим и структура питания во время чайного поста. Лечебные посты по методике Майра
Питание беременной женщины при диабете. Сахарный диабет – все, что нужно знать.
Хирургические методы лечения ожирения. Сахарный диабет – все, что нужно знать.
Аэробная гимнастика при сахарном диабете. Сахарный диабет – все, что нужно знать.

свежие статьи:
История возникновения искусства татуировки
Как правильно обклеить потолок обоями
Штукатурим потолок
Как правильно нанести структурную краску
Как правильно отполировать герметик
Как правильно приклеить панели на потолок
Мир музыки. Лучшие фильмы он-лайн
Ибица – рай для всех. Все о Кипре, Мальдивах, Арабских Эмиратах и Турции. Самая полезная информация о Китае
Создание уютного дизайна дачи, обучение разработки игр для вебмастеров.
Интернет-магазин спортивных женских костюмов(9)



Просмотров: 815 | Добавил: Shmarko | Теги: Файл robots.txt | Рейтинг: 0.0/0
Всего комментариев: 0
 

Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Форма входа
Поиск по сайту
Полезные программы
Скачать программу FreeArc
VK-Downloader (stabil.audio) - скачивай музыку с Вконтакте !
Auslogics File Recovery
Ключи для популярных по всему миру антивирусных программ ESET NOD32, Kaspersky, Avast, Dr.Web и Avira!
Ключи для Касперского [обновление от 22.08.2011]
Новые статьи
История возникновения искусства татуировки
Как правильно обклеить потолок обоями
Штукатурим потолок
Как правильно нанести структурную краску
Как правильно отполировать герметик
Как правильно приклеить панели на потолок
Мир музыки. Лучшие фильмы он-лайн
Ибица – рай для всех. Все о Кипре, Мальдивах, Арабских Эмиратах и Турции. Самая полезная информация о Китае
Создание уютного дизайна дачи, обучение разработки игр для вебмастеров.
Интернет-магазин спортивных женских костюмов(9)
Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0


Copyright Shmarko © 2018

карта сайта
тэги сайта