Граббер товаров из интернета в базу csv или другую

F

fossa

Постоялец
Регистрация
20 Май 2006
Сообщения
69
Реакции
1
существует ли готовый инструмент (платные рассматриваю) для онлайн-граббинга товаров-наименований-цен из xt-commerce в удобоваримый формат для последующего наполнения магазина на oscommerce, magneto или vamshop или какой оптимальнее подойдет?

извините если вопрос поднимался - не нашел.
 
  • Заблокирован
  • #2
Готовых инструментов не встречал, пользуюсь в основном таким методом:

1. граблю сайт целиком с помощью Portable Offline Browser

2. с помощью Total Commander отфильтровываю странички с товарами и категориями (через ALT-F7) по определенным признакам (по содержанию в тексте фразы "описание товара" или "фото товара" и т.п.)

3. По окончании поиска жму кнопку "файлы на панель" и копирую в отдельную папку

4. Окончательно фильтрую странички программой Text Pipe - очень мощная прога, понимает практически все существующие форматы регулярных выражений. Есть функция учебного прогона - вот там и прогоняю, пока не останутся только нужные мне данные. Далее прогоняю все странички через сформированные фильтры.

5. Сливаю все обработанные файлы в один, обрабатываю в Akel Pad - поиском/заменой - получаю сырой .csv файл с нужными товарами

6. из полученного .csv делаю .bat файл сливающий все фотографии товаров из общей папки (слитого сайта) в отдельную папку, и одновременно переименовывающий их в такой вид: imgNNNNN.jpg

7. импорт созданной базы.

8. PROFIT :)

В свете вышеперечисленного геморроидального процесса, присоединяюсь к вопросу ТС. :)
 
Универсальный и легкий в использовании грабер.
Content Downloader
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

плюсы: настроить можно под что угодно
минус:платный
 
Перепробовав много граберов остановился на Visual.Web.Ripper
плюсы выкачиваешь то что тебе надо ,описание,картинки,заголовки
нет ограничения на кол-во скаченного , есть видео инструкции на сайте ссылка на тему
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.
 
Раньше пользовался AGGRESS Parser
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.
, но он требует некоторого времени на изучение синтаксиса и немного не хватает гибкости. Но по скорости работы - отлично.
Visual Web Ripper - мегасофт, понравился с первых секунд демо-видео. Единственный минус - как .NET приложение жрет прилично памяти. Жаль, что в паблике версия старовата.
Недавно пытался вскрыть последнюю версию, вроде там ничего военного - UTF-16 обфускация и все, но нет времени разбираться.
Если у мастеров будет часок-другой, вскройте пожалуйста.
 
унипарсер еще есть
 
Я всегда пользовался серверным WEbGrabber .
Серверный потому что проще его поставить на vds с каналом 100 mbit и потому что мне обычно надо десятки тысяч объектов(страниц) спарсить.. а потом ручками или скриптами все это уникализирую.
а виндовые парсеры грабберы это сотни объектов а никак не десятки тысяч..
 
Visual Web Ripper

То, что вам нужно Для просмотра ссылки Войди или Зарегистрируйся

Добавлено через 3 минуты
WebGrabber и Visual Web Ripper вообще по разному выдают данные. Visual Web Ripper способен выжать в таблицу, в базу... Большой плюс Visual Web Ripper - ты визуально настраиваешь скрипт. Реально удобно
 
А есть ли у кого таблетка? Очень хорошая софтинка!
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху