- Регистрация
- 25 Окт 2012
- Сообщения
- 132
- Реакции
- 24
- Автор темы
- Заблокирован
- #1
Инструкция парсинга:
- Скачиваем базу всех сайтов DMOZ по адресу - Для просмотра ссылки Войди
или Зарегистрируйся - В сжатом виде на данный момент он весит 277 МБ. После распаковки — 1,8 Гб. Однако кроме ссылок в этом файле находится много другой информации о структуре их размещения.
- Отделим ссылки от неё.
- Кладем распакованный файл в какую-нибудь папку на вашем веб-сервере и заливаем туда прикрепленный PHP файл.
- Запускаем скрипт (Не останавливать скрипт до окончания процесса)
- Скачиваем сгенерированный links.txt с сервера.