Граббер товаров из интернета в базу csv или другую

[sergey69]

Использую Content Downloader, очень мощная вещь. Если разобраться, то можно наверно любой сайт спарсить. Работает шустро, правда денег стоит) Нуленный постоянно вылетал.

 

[slava_87]

Content Downloader - нереально крут. В последней ветке программы появилась мощнейшая функция для работы с таблицами характеристик - [DYNAMICVALUES]. Функция аккуратно раскладывает характеристики товара аккуратненько по столбцам.Не нарадуюсь. Правда, доступна только в максимальной версии программы. Купил у автора и не жалею.

 

[FidaSa]

вот обзор:

Чутка мутновата логика у вебрипера, Content Downloader попонятней будет, бери обязательно лицуху у автора не пожалеешь.

 

[netfilter]

а что то, что подгружается аяксом этими парсерами можно спарсить
или только статику?

 

[FidaSa]

а что то, что подгружается аяксом этими парсерами можно спарсить
или только статику?

Этим это каким?
Контент Даунлодером можно вообще все спарсить, вопрос только в обученности того кто пишет проект, и в количестве времени если ссылок много, и в количестве проксей/машин, если стоит защита на сайте.
Датакалом тоже наверное, но он мне не нравится.

 

[netfilter]

Да любые из тех, что в теме обсуждались)

Тоесть, предположим, есть страница на которую при прокрутке подгружаются элементы
Мне нужно спарсить все эти элементы
Контент Даунлодер это сможет?

Просто всегда писал свои велосипеды на такой случай.

 

[FidaSa]

Да любые из тех, что в теме обсуждались)

Тоесть, предположим, есть страница на которую при прокрутке подгружаются элементы
Мне нужно спарсить все эти элементы
Контент Даунлодер это сможет?

Просто всегда писал свои велосипеды на такой случай.

Да , в коплекте Content Downloader версия ULTIMATE идет приложение браузера WBApp им можно одной командой проскроллить любую страницу до самого низа, пока не перестанет подгружаться контент! А потом полученный код, распарсить как хочется!
Без шуток он может распарсить что угодно при должном умении!

 

[netfilter]

Для просмотра ссылки Войди или Зарегистрируйся, убедили) пошел скачивать и разбираться с Content Downloader'ом

 

[FidaSa]

Им можно парсить характеристики товаров из ЯМаркет, в виде такой же древопидной структуры вместе с группами характеристик в какой-то XML чтобы потом импортировать их в такую программу Для просмотра ссылки Войди или Зарегистрируйся? А то CSV для этого не подойдет, потому что количество характеристик может быть разным для каждого товара, разве что сразу три связанных файла (товары, группы характеристик, характеристики со значениями). То есть нужно чтобы они выглядели вот так:

Привет, вот у тебя суперучет.
Я не знакома с этой программой учета прайсов, так как я не учитываю прайсы, сразу все заливаю в БД магазина.

Парсить характеристики товаров можно с маркета.

XML файл, это просто txt файл, просто разметка данных тегами идет, так что можно такое настроить и одним файлом потом импортнуть в твою программу.В CD в шаблоне вывода просто нужные границы парсинга, обрамишь нужными тегами, которые понимает твоя программа учета прайсов.

А если не секрет, ты зачем этой прогой пользуешься? Какую основную проблему она решает?

 

[FidaSa]

Наверное поставщик всего один, тогда это конечно просто сделать.

А какие программы для этих целей сейчса самые адекватные- хорошо сделаны и не дорого стоят?
Есть десктопные решения без абонентки ?