Я уже не раз отмечал, что боты Google игнорируют инструкции, прописанные в файле robots.txt. Естественно назревает вопрос: почему страницы, запрещенные к индексации, появляются в выдаче Гугла и каким вообще образом это происходит??? Один из представителей компании сам ответил на этот вопрос. По его словам, большинство обращений вебмастеров одного содержания, а именно: после того как страница example.com/go была закрыта от индексации в robots.txt, в результатах поиска Google может появиться URL данной страницы, но без сниппета. «Так происходит именно потому, что Google не обходит закрытую страницу». Зачастую информация о таких закрытых страницах присутствует в каталогах или на других ресурсах, именно они становятся источниками данных для Google. Т.е. если страница закрыта от индексации, Google не будет ее индексировать. Ссылка на нее берется из Сети, однако сама страница не обходится поисковым роботом. Вот так вот. А то кричали о незаконном проникновении Гоши к зашифрованным данным...

Даже без этих пакостей ему живется довольно неплохо, особенно в Штатах. В сентябре доля Google в США составила 71,08%. Yahoo получил 16,38%, а Bing 8,96% поискового рынка. Недавно другая исследовательская компания уже посчитала, что Bing потерял за месяц больше 1% рынка. Если в первые месяцы после открытия Bing только набирал популярность, то в сентябре его доля в первый раз снизилась. Стоит отметить также, что 1% рынка занимают 52 маленьких поисковика Америки.