При обходе практически любого сайта часть страниц не индексируется роботом. Причины могут быть разными: ошибки соединения, редиректы, запрет на обход в файле robots.txt и т.п.

Читать полностью…