Content Downloader

мне эта функция безразлична.. но я готов поддержать. единственное что я хочу спросить - актуальны ли Ваши предложения в свете последних обновлений программы до версии 24.00?

Красавчег написал(а):
nikolas1612, чтобы не быть голословным, озвучьте "свои хотелки", которые были моментально реализованы разрабом.
Нажмите для раскрытия...
P.S. совсем свежий пример. связался с автором по ICQ - изложил такую проблему: в программе имеется опция поиска-замены произвольного отрезка кода в документе ДО парсинга (раздел: Границы парсинга). замена осуществляется по схеме - xxxxxxxxxx|yyyy
(при этом xxxxxxxxxx меняется на yyyy)
Далее, для скептиков, разговор "в прямом эфире":

nikolas1612 (21:52:19 23/11/2011)
в коде который надо заменить присутстсуют сразу 2 символа |
получается полная неразбериха.
замена символа | - не предусмотрена? ведь он сам служебный...

Support SB - сергей (21:54:49 23/11/2011)
можете строку с поиска-замены скинуть мне в Скайп?

nikolas1612 (21:55:51 23/11/2011)
<title>В Севастополе 55 тысяч ветеранов получают пенсию размером до 1 тысячи гривен | Новости города Севастополь | газета Новый Севастополь</title>

Support SB - сергей (21:56:12 23/11/2011)
а строку из поиска-замены?

nikolas1612 (21:56:40 23/11/2011)
| Новости города Севастополь | газета Новый Севастополь|

nikolas1612 (21:57:07 23/11/2011)
там суть - убрать шлак из названия. дело в том, что эта кайма - частенько меняется. к примеру, через месяц дурачок, который заведует сайтом - может поставить эту часть уже не так, а иначе - впереди, к примеру. намедни такое уже произошло с другим сайтом. раньше я просто расширял границу парсинга заголовка - включая в нее все лишнее. вариант с удалением ненужного кода сразу - более прогрессивен. тогда, даже если создатели сайта что-то набаламутят - у меня все равно будет название в статье - ведь от тегов <title></title> так просто не уйдешь.

Support SB - сергей (22:05:30 23/11/2011)
Придумал. надо сделать обозначение для этого символа. типа {|}. вроде экранирования. подождите минут 15

Support SB - сергей (22:27:34 23/11/2011)
потестите сейчас? В шаблоне пишем вот так -
{sep} Новости города Севастополь {sep} газета Новый Севастополь|

nikolas1612 (22:35:06 23/11/2011)
ок. эта штука, кстати - действует только для этого символа?
или это аналог "?" ааа нет, кажется, понял. sep -это от слова разделитель

Support SB - сергей (22:36:20 23/11/2011)
{sep} - аналог |

nikolas1612 (22:36:32 23/11/2011)
все получилось

Support SB - сергей (22:36:37 23/11/2011)
Ок/ спасибо за полезное предложение

nikolas1612 (22:37:30 23/11/2011)
по-моему было полезнее то что я просил раньше - возможность отключения обновлений. ведь при каждом запуске напоминает, гад
Support SB - сергей (22:38:37 23/11/2011)
эта мера не спроста. часто бывало, что работал с клентом, а у него старая версия, из-за этого недопонимания бывают

Support SB - сергей (22:43:14 23/11/2011)
просто вы не представляете сколько обращаются. я часто е успеваю даже ответить всем

nikolas1612 (22:44:30 23/11/2011)
могу сказать - что больше всего претензий у народа - на 10-поточность.

Support SB - сергей (22:44:53 23/11/2011)
по этому на Skype перехожу

Support SB - сергей (22:45:36 23/11/2011)
Если 100 потоков выставить то нагрузка на сайты большая будет. 10 потоков - оптимальный вариант
единственный случай, где нужно много потоков - прокси

P.P.S. Спрашивается, какой мне резон жаловаться на поддержку? У меня пока что так - задал вопрос - получил решение. не понимаю, почему у других по-другому.
 
Автор поддержал часть предложения и сегодня уже вышло обновление, была добавлена поддержка {skip} в повторяющиеся границы

Раньше, если нужно было спарсить большое количество блоков вида

<div id="price_1">100 руб. </div>
<div id="price_2">200 руб. </div>
<div id="price_3">150 руб. </div>
.....
<div id="price_50">200 руб. </div>

Приходилось для повторяющихся границ писать так
<div id="price

И очищать от мусора результат
_1">100 руб.

Теперь полноценно работает запись
<div id="price_{skip}">

-------------------

Визуальный редактор не работал для повторяющихся границ.
Т.е. что бы задать границы парсинга, и посмотреть верны ли они, нужно было создавать их в обычных границах (которых 20 штук)
и потом методом "копировать - вставить" перенести в повторяющиеся.

Теперь добавилась кнопка set у повторяющихся границ и границы можно создавать в визуальном редакторе.

--------------------

Я сейчас во всех проектах использую повторяющиеся границы - для парсинга блоговых сайтов они не нужны, а вот для парсинга интернет
магазинов, различных каталогов, сайтов с видео (тумбы + видео) они просто не заменимы и 3-x штук частенько не хватает.

Поэтому, также предложил добавить переключатель к обычным границам, который бы позволял выбирать тип границ (например, мне нужно
10 повторяющихся и останется ещё 10), а не как сейчас 20 обычных и 3 повторяющиеся. Уверен, что автору идея понравилась, но реализация
потребует внести изменения в интерфейс.
Поэтому, если предложение поддержит ещё часть пользователей на форуме sbfactory, то оно будет реализовано.
 
bork75 написал(а):
Предложил добавить переключатель к обычным границам, который бы позволял выбирать тип границ (например, мне нужно
10 повторяющихся и останется ещё 10), а не как сейчас 20 обычных и 3 повторяющиеся. Уверен, что автору идея понравилась, но реализация
потребует внести изменения в интерфейс.
Поэтому, если предложение поддержит ещё часть пользователей на форуме sbfactory, то оно будет реализовано.
Нажмите для раскрытия...
Говорил с автором, попутно затронул Ваш вопрос.
Ваше предложение не будет реализовано именно в том виде, в котором Вы хотите. Автор признает, что оно очень дельное, но говорит, что реализация его не совместима с алгоритмом скрипта в его нынешнем виде. В качестве компромисса он собирается добавить в скрипт еще пару повторяющихся границ.

P.S. Вы, кстати, не думали предложить ему просто ввести в программу макрос повторяющихся границ? по аналогии с GETMORECONTENT? может, если это можно реализовать, это и будет идеальное решение?
 
Автор отписался, что да - добавит повторяющихся.
по-идеи, справа полно место и настройки пойдут туда.
Тогда повторяющихся добавится достаточно.
 
bork75 написал(а):
Автор отписался, что да - добавит повторяющихся.
по-идеи, справа полно место и настройки пойдут туда.
Тогда повторяющихся добавится достаточно.
Нажмите для раскрытия...
е-мое я в первый раз не доволен обновлением программы. добавились 2 повторяющихся границы, как и говорил - но они расширились за счет уменьшения места для "поиска-замены основного кода" - отличнейшей вещи, окошка, которое у меня забито под завязку. от него теперь одна полоска осталась..

уважаемый bork75 - теперь уже я обращаюсь с просьбой к Вам - как бы нам это дело отменить или поправить? разве 2 доп-границы решают Ваши запросы? Может, все-таки поднять вопрос о вводе в программу макроса повторяющихся границ?
 
подскажите как лучше импортировать спарсенные новости из CD в DLE(9,4)?
 
nikolas1612 написал(а):
е-мое я в первый раз не доволен обновлением программы. добавились 2 повторяющихся границы, как и говорил - но они расширились за счет уменьшения места для "поиска-замены основного кода" - отличнейшей вещи, окошка, которое у меня забито под завязку. от него теперь одна полоска осталась..
уважаемый bork75 - теперь уже я обращаюсь с просьбой к Вам - как бы нам это дело отменить или поправить? разве 2 доп-границы решают Ваши запросы? Может, все-таки поднять вопрос о вводе в программу макроса повторяющихся границ?
Нажмите для раскрытия...

Ну в общем 2 доп. границы достаточно, у меня в больших проектах не хватало 1-2.
Минимизация нижней части тоже пришлась в непривычку, пропала кнопка доп. настройки, которая сверху.

Кстати, а почему пользуешься именно общей заменой, а не для каждого поля?
Это намного удобней и будешь уверен, что эта замена не сработает в других границах.

zek24 написал(а):
подскажите как лучше импортировать спарсенные новости из CD в DLE(9,4)?
Нажмите для раскрытия...

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.
 
bork75 написал(а):
Кстати, а почему пользуешься именно общей заменой, а не для каждого поля?*** скрытое содержание ***
Нажмите для раскрытия...
Я живу в Украине и у меня проблемы с отображением отдельных украинских букв в текстах (і, ї, є). я ставлю их в автозамену до парсинга. тогда на их месте хоть что-то отображается - иначе они просто пропадают из названий.

кроме того - я использую эту функцию для удаления ""мусорных" частей в заголовках.
 
добрый день
хотел спросить данный парсер нормально работает с любого сайта,нет ли блокировки
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху