Нашел в интернете "Хаки для убыстрения VirtueMart" - уменьшение количества и оптимизация запросов к БД. После отключения лишних функций, которыми я не пользовался, скорость увеличилась. Затем включил кеширование - стало более-менее нормально.Ну в итоге оптимизация помогла или так и остался грамоздким? А то тоже столкнулся с этой проблемой(
Но все равно в данный момент собираюсь переходить на другую CMS.