Пример 1.
«Программа для допроса Интернета» — SiteSputnik (СайтСпутник) обзавелась очень полезным дополнением — модулем для работы с Невидимым Интернетом. Этот модуль позволяет увидеть доступные для любого пользователя страницы сайта, которые, в силу каких-то причин, оказались не проиндексированы поисковыми машинами.
Это одинаково полезно, как при получении информации с сайтов, которые представляют интерес для исследователя, так и для аудита собственных сайтов. Все, что СайтСпутник Invisible делает, может проделать пользователь и вручную. Но СайтСпутник значительно ускоряет этот процесс и делает его более точным.
Покажу работу SiteSputnik Invisible на примере сайта родного мне ВУЗа — Уральского Федерального университета (УрФУ, ранее он назывался УГТУ-УПИ).
Для того, чтобы продемонстрировать работу SiteSputnik Invisible, сначала делаю поиск документов в формате pdf на сайте Университета. Никакого скрытого смысла в этом нет, просто таких файлов обычно намного меньше чем html-страниц, и это сэкономит мне время.
Все картинки кликабельны.
Итак, запрос в Google: site:ustu.ru filetype:pdf
Среди результатов я выбрал адрес «cae.ustu.ru/download/ansys3.pdf »
Потому что, как учит Андрей Масалович, логично предположить, что есть и адреса вида «cae.ustu.ru/download/ansys1.pdf» или «cae.ustu.ru/download/ansys4.pdf»
Далее запускаю СайтСпутник в обычном режиме, и составляю карту «сайта» с адресом «cae.ustu.ru/download». Тоже для экономии времени.
Получается такая карта на основании страниц, известным различным поисковым машинам (СайтСпутник убрал всю дублирующуюся информацию и показал каждый адрес только один раз):
Затем даю СайтСпутнику задание по карте сайта найти невидимые поисковикам, но доступные людям ссылки:
И он находит такую ссылку:
Всё.
Пример 2.
Пример в продолжение темы о версии СайтСпутник для работы с «Невидимым Интернетом» — SiteSputnik Invisible.
Техника подробно описана выше. Поэтому лишь покажу, насколько большее количество документов можно получить, если не забывать проверять Невидимый интернет — вручную или с помощью СайтСпутника. Для примера взял сайт Парламента Грузии. Точнее, его часть о межправительственных соглашениях: www.parliament.ge/files/international-acts/agreements/
Все картинки кликабельны.
Составляю карту сайта в СайтСпутнике:
Это часть, которую поисковики проиндексировали:
А это — часть, которой поисковые машины не видят, но которая свободно доступна любому пользователю Сети. Найдена модулем Invisible СайтСпутника:
Чтобы было понятно, какого рода документы в невидимой части можно найти. дам перевод части одного из них Gooogle-переводчиком: