BUR4IK.RU

Приветствую Вас ГостьПОДПИШИСЬ НА RSS от BUR4IK.RU
 
Главная РегистрацияВход
Меню сайта
Поделиться
Мой БЛОГ
Тиамин. Сахарный диабет – все, что нужно знать.
Режим и структура питания во время чайного поста. Лечебные посты по методике Майра
Питание беременной женщины при диабете. Сахарный диабет – все, что нужно знать.
Хирургические методы лечения ожирения. Сахарный диабет – все, что нужно знать.
Аэробная гимнастика при сахарном диабете. Сахарный диабет – все, что нужно знать.
Мои партнерки
eTXT.ru – это открытие в себе таланта автора
Биржа интернет трафика popunder.ru
Тизерная партнерка liveclix
Партнерка rotaban - баннеры (заработок для вебмастера)
Партнерка рекламной сети ADLABS
Партнерки форумов с оплатой за сообщения
Партнерка службы знакомств LovePlanet
Партнерская программа Биржи ссылок и статей SetLinks
Биржа статей Liex
Тизерная партнерка teasernet
Партнерская программа depositfiles
Партнерка системы контекстной рекламы БЕГУН
Партнерки для быстрого заработка: серфинг, автосерфинг, чтение почты...
Продажа трафика через WMlink проста и понятна.
Партнерка по покупке и продаже трафика Tak.Ru
Биржа купли-продажи ссылок - SAPE
...
Главная » 2010 » Декабрь » 27 » Блокировка и удаление страниц с помощью файла robots.txt
21:03
Блокировка и удаление страниц с помощью файла robots.txt
 


.
Файл robots.txt ограничивает доступ роботов, сканирующих Интернет для поисковых систем, к вашему сайту. Перед обращением к страницам сайта эти роботы автоматически ищут файл robots.txt, который запрещает им доступ к определенным страницам. (Роботы наиболее распространенных поисковых систем выполняют директивы файла robots.txt. Некоторые роботы могут интерпретировать их иначе. Однако файл robots.txt не является обязательным к исполнению, и некоторые спамеры и другие злоумышленники могут его игнорировать. Поэтому мы рекомендуем защищать конфиденциальную информацию паролем.)

Файл robots.txt необходим только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы включали в свои индексы все содержание вашего сайта, файл robots.txt (даже пустой) не требуется.

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL-адреса, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project, могут появиться в результатах поиска Google.

Чтобы использовать файл robots.txt, необходимо иметь доступ к корневому каталогу вашего домена (в случае сомнений обратитесь к поставщику услуг веб-хостинга). Если у вас нет доступа к корневому каталогу домена, вы можете ограничить доступ с помощью метатега robots.
Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex. Если робот Googlebot начнет сканировать страницу, то обнаружит метатег noindex и не станет отображать ее в индексе.







Источник: http://www.google.com/support/webmasters/bin/answer.py?answer=156449&cbid=-dks5lzred10g&src=cb&lev=%20index
.


свежее в блоге:
Тиамин. Сахарный диабет – все, что нужно знать.
Режим и структура питания во время чайного поста. Лечебные посты по методике Майра
Питание беременной женщины при диабете. Сахарный диабет – все, что нужно знать.
Хирургические методы лечения ожирения. Сахарный диабет – все, что нужно знать.
Аэробная гимнастика при сахарном диабете. Сахарный диабет – все, что нужно знать.

свежие статьи:
История возникновения искусства татуировки
Как правильно обклеить потолок обоями
Штукатурим потолок
Как правильно нанести структурную краску
Как правильно отполировать герметик
Как правильно приклеить панели на потолок
Мир музыки. Лучшие фильмы он-лайн
Ибица – рай для всех. Все о Кипре, Мальдивах, Арабских Эмиратах и Турции. Самая полезная информация о Китае
Создание уютного дизайна дачи, обучение разработки игр для вебмастеров.
Интернет-магазин спортивных женских костюмов(9)



Просмотров: 743 | Добавил: Shmarko | Теги: Open Directory Project, robots.txt, Файл robots.txt | Рейтинг: 0.0/0
Всего комментариев: 0
 

Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Форма входа
Поиск по сайту
Полезные программы
Скачать программу FreeArc
VK-Downloader (stabil.audio) - скачивай музыку с Вконтакте !
Auslogics File Recovery
Ключи для популярных по всему миру антивирусных программ ESET NOD32, Kaspersky, Avast, Dr.Web и Avira!
Ключи для Касперского [обновление от 22.08.2011]
Новые статьи
История возникновения искусства татуировки
Как правильно обклеить потолок обоями
Штукатурим потолок
Как правильно нанести структурную краску
Как правильно отполировать герметик
Как правильно приклеить панели на потолок
Мир музыки. Лучшие фильмы он-лайн
Ибица – рай для всех. Все о Кипре, Мальдивах, Арабских Эмиратах и Турции. Самая полезная информация о Китае
Создание уютного дизайна дачи, обучение разработки игр для вебмастеров.
Интернет-магазин спортивных женских костюмов(9)
Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0


Copyright Shmarko © 2017

карта сайта
тэги сайта