Collect URL

Collect URL - программа для парсинга веб-страниц, которая сканирует их подобно поисковому боту. Начиная с URL, введенного пользователем, она перебирает все ссылки, найденные на веб-странице. Затем программа рекурсивно продолжает сканирование URL в списке. Пользователь может ограничить программу сбором только одного домена или поддомена. Список исключений расширений файлов можно редактировать, также как и  значения таймаута соединения и ответа. Пользователь также может изменить значение user-agent для HTTP и HTTPS соединений.

Эта утилита представляет собой программу для сбора ссылок, которая может собирать ссылки с любого веб-сайта. Введите любой "Начальный URL" и нажмите кнопку "Старт", после чего программа начнет рекурсивное сканирование и сбор ссылок.

Помимо создания "Полного списка URL", еще одной удобной функцией программы является создание "Фильтрованного списка URL". Пользователи могут фильтровать любой текст в адресе URL или содержимом HTML. Используя эту функцию, вы можете найти все веб-страницы, содержащие определенный текст.