Со стандартным robots.txt сайт индексируется наиболее правильно. Мы его настраивали так, чтобы индексировались только страницы с информацией а не все подряд (например страница входа или регистрации). Таким образом сайты пользователей uCoz быстро индексируются и получают больший приоритет нежели сайты, в которых индексируется весь мусор и ненужные страницы.
МЫ НАСТОЯТЕЛЬНО РЕКОМЕНДУЕМ НЕ ЗАМЕНЯТЬ СТАНДАРТНЫЙ ФАЙЛ robots.txt НА СВОЙ. Можете быть уверены, мы делаем все возможное, чтобы сайты наших пользователей развивались быстрее... Иначе какой смысл uCozа?!
Вот так выглядит стандартный robots.txt
Для нового сайта существует карантин, во время которого никакая регулировка файла robots.txt невозможна. При хорошей посещаемости карантин продлится до двух недель. У малопосещаемых сайтов карантин 30 дней. При оплате какой-либо дополнительной услуги карантин заканчивается немедленно после оплаты.
Файл robots.txt, если вы его не трогали - системный и подставляется к вашему сайту при открытии страницы. Если вы всё-таки хотите заменить его на свой, то создаёте в Блокноте или любом текстовом редакторе текстовый файл названный robots.txt с нужным вам содержимым и закачиваете его в корень сайта используя Файловый менеджер или доступ по ftp.
Адрес файла robots.txt следующий - http://адрес_вашего_сайта /robots.txt
Файл robots.txt сайта на карантине выглядит так:
Quote
User-agent: *
Disallow: /
Информеры не индексируются поскольку выводят информацию УЖЕ существующую на сайте. Как правило эта информация уже проиндексирована по месту постоянной прописки.
Эстония
