Подскажите оптимальный язык для моего софта

[ogiv]

Питон будет однозначно быстрее, ещё также настоятельно рекомендуется для таких задач использовать ssd-диски.

 

[strannik_nuendo]

Дельфи для этих целей нормально. Питон - еще лучше.
Учтите, питон жрет значительно больше памяти. Но в дельфи с утечками памяти сложнее бороться.
Но, качественный код на Питоне пишется в разы быстрее чем на Дельфи.

 

[gothmog]

На скриптах писать проще, но они больше памяти съедают. Нативные языки сложнее, но выше производительность. А вообще, оптимальное к-тво потоков (для винды) равно по 2 штуки на ядро процессора (нет такого, что чем больше, тем лучше). Если хотите сверх-быстродействия, то смотрите в сторону IOCP.

 

[Senor_Vlad]

Добрый день!
Заказал разработку программы (многопоточный чекер сайтов) у своего (так скажем) программиста.
Он делает прекрасный софт на Delphi, и до сего момента, у меня не было никаких нареканий.
Но в случае с этим софтом, мне кажется, что язык не подходящий, возможно я ошибаюсь.

Задача софта:

1. Обходить ежедневно около 2- миллионов доменов и парсить оттуда нужную мне информацию.
2. Складывать результата парсинга в базу.

Сейчас я запустил софт в 500 потоков, программист мне сказал, что Delphi не рекомендует такое количество потоков, рекомендует не более 25 потоков.
Я думаю так: чем больше потоков, тем быстрее софт должен обойти список сайтов, прав я или нет?

Когда запускаю софт в 500 потоков, он начинает великолепно работать первые минут 40, а потом скорость его работы снижается, прожорливость ресурсов несколько увеличивается...Вот я не пойму, то ли мне мучить его дальше, и пытаться доработать то, что есть, или искать другие варианты, а может вообще 25 потоков - это край для любого софта?

Может у кого-то есть работы с большими объёмами сайтов? Что лучше выбрать?

Без разницы в принципе на чём написан софт, скорость зависит от процессора, от ширины и пропускной способности канала и от умение программиста, чем мощнее компьютер тем больше можно создать потоков.

 

[b0t0v0d]

Многопоточные парсеры лучше всего писать на Python и C. На Delphi можно написать толково, если он не первый год программирует.

 

[Denzy]

Вставлю свои 5 копеек.
Разработка софта происходит по определённому ТЗ.
Например. 64 битное приложение, будет запускаться на сервере с win 2016, сеть 100 мб/сек, параметры железа такие то. Программа должна уметь брать инфу от сюда, форматировать в нужном мне формате и закидываться в базу(Mysql/Microsoft SQL) и тд по списку хотелок.

По поводу использования ресурсов.

Какой бы язык программирования не был, всегда будет потеря памяти, но где то больше, где то меньше.
Это связано со многими факторами, самые банальные это криворукость программиста программы и криворукость программиста компонента, не оптимизированный код.

Я не закидываю помидорами программистов, но если для сравнения взять языки C++ и Delphi, то одну и ту же задачу в каждом языке можно решить минимум десятком способов. И у каждого из этого способа будут свои результаты производительности, используемые ресурсы и потери при нагрузке или без.

Если потери памяти большие, то как вариант, писать программу по частям на разных языках программирования.

 

[MAVZ]

Я думаю Ваша проблема не в языке программирования, а в том, что Ваш провайдер со временем зарезает такое количество потоков. В софте такого рода бутылочное горлышко это связь с Интернетом. Попробуйте запустить тот же софт на сервере с толстым интернет-каналом, сразу почувствуете разницу.

 

[kazeee]

Дельфи для этих целей нормально. Питон - еще лучше.
Учтите, питон жрет значительно больше памяти. Но в дельфи с утечками памяти сложнее бороться.
Но, качественный код на Питоне пишется в разы быстрее чем на Дельфи.

Парсер на питоне в 5 минут пишется, готовые библиотеки для таких целей благо в большом количестве есть