Содержание статьи
gospider
Этот многопоточный краулер может вытащить полную структуру сайта одной командой. Анализирует sitemap. и robots.. Умеет запрашивать данные из Wayback Machine, Common Crawl, VirusTotal и AlienVault OTX. Ищет ссылки в JS-файлах. Вытаскивает поддомены.
С помощью этого паука ты построишь максимально полную карту сайта, найдешь интересные пути и продумаешь векторы атаки. Представь, какие возможности откроются тебе, если разработчик забыл удалить ссылку на старую уязвимую админку?
Инструмент опенсорсный, можешь покопаться в исходниках в репозитории на GitHub.
Установка:
go install github.com/jaeles-project/gospider@latest
Пример использования:
gospider -s https://target -d 3 -c 20 --js --subs -o output/

Параметры, которые могут пригодиться:
-
--cookie— использовать какую‑то специфичную куку; -
--header— указать свой заголовок. Например,x-middleware-subrequestпри краулинге сайта на Next.js с CVE-2025-29927 (подробнее о ней — в моей статье); -
--js— искать ссылки в JS-файлах; -
--subs— собирать поддомены; -
-a— искать инфу на сторонних ресурсах (Archive.org, CommonCrawl.org и других); -
-o— вывести в файл; -
-p— настроить прокси. Пример:http://.localhost: 8080
Неудобно, что отсутствует возможность указать файл со списком прокси, но, если твоя прокси с ротацией, вполне хватит для краулинга.
SecretFinder
- GitHub: github.com/m4ll0k/SecretFinder
Незаменимая тулза, когда нужно быстро найти секреты. Ищет по регуляркам: API-ключи, токены, JWT и пароли. Работает по большому набору регулярок, но поддерживает кастомные выражения. Используй -r <, чтобы передать свою регулярку.
Продолжение доступно только участникам
Материалы из последних выпусков становятся доступны по отдельности только через два месяца после публикации. Чтобы продолжить чтение, необходимо стать участником сообщества «Xakep.ru».
Присоединяйся к сообществу «Xakep.ru»!
Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее
