Как объяснили в пресс-службе IT-гиганта, поисковый робот «Яндекса» индексирует только те страницы сайтов, которые не запрещены специальным файлом robots.txt. Параметры индексирования страниц в нем должен указать вебмастер — он может задать их как для всех поисковиков, так и по отдельности. Проверить проиндексированное можно с помощью «Яндекс.Вебмастер», приводит комментарий компании агентство «Москва».
Примерно тем же объяснялась «утечка» файлов из Google Docs. На всеобщее обозрение попали те документы, в настройках которых это не было запрещено.
