Содержание статьи
gospider
Этот многопоточный краулер может вытащить полную структуру сайта одной командой. Анализирует sitemap. и robots.. Умеет запрашивать данные из Wayback Machine, Common Crawl, VirusTotal и AlienVault OTX. Ищет ссылки в JS-файлах. Вытаскивает поддомены.
С помощью этого паука ты построишь максимально полную карту сайта, найдешь интересные пути и продумаешь векторы атаки. Представь, какие возможности откроются тебе, если разработчик забыл удалить ссылку на старую уязвимую админку?
Инструмент опенсорсный, можешь покопаться в исходниках в репозитории на GitHub.
Установка:
go install github.com/jaeles-project/gospider@latest
Пример использования:
gospider -s https://target -d 3 -c 20 --js --subs -o output/

Параметры, которые могут пригодиться:
-
--cookie— использовать какую‑то специфичную куку; -
--header— указать свой заголовок. Например,x-middleware-subrequestпри краулинге сайта на Next.js с CVE-2025-29927 (подробнее о ней — в моей статье); -
--js— искать ссылки в JS-файлах; -
--subs— собирать поддомены; -
-a— искать инфу на сторонних ресурсах (Archive.org, CommonCrawl.org и других); -
-o— вывести в файл; -
-p— настроить прокси. Пример:http://.localhost: 8080
Неудобно, что отсутствует возможность указать файл со списком прокси, но, если твоя прокси с ротацией, вполне хватит для краулинга.
SecretFinder
- GitHub: github.com/m4ll0k/SecretFinder
Незаменимая тулза, когда нужно быстро найти секреты. Ищет по регуляркам: API-ключи, токены, JWT и пароли. Работает по большому набору регулярок, но поддерживает кастомные выражения. Используй -r <, чтобы передать свою регулярку.
Продолжение доступно только участникам
Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте
Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее
Вариант 2. Открой один материал
Заинтересовала статья, но нет возможности стать членом клуба «Xakep.ru»? Тогда этот вариант для тебя! Обрати внимание: этот способ подходит только для статей, опубликованных более двух месяцев назад.
Я уже участник «Xakep.ru»
