4 Sekunden bis zur ersten Antwort (auch ohne https) ist schon sehr lange. 
Meine WordPress Seite hatte ähnliche Antwortzeiten auf einem Shared Webhosting.
Mit dem Umzug auf meinen Root Server M v6 SSD (auch nginx/php-fpm) ist diese jetzt bei erträglichen 500-700ms (weitere Optimierungen mit WP-/PHP-Caches sind noch auf der TODO-Liste).
Eine andere Webseite mit einem einfachen PHP Skript, dass aus einer Datenbankabfrage eine Tabelle generiert, antwortet in 45ms.
Ich setze auf CentOS 7, nginx 1.8.0 (vom nginx repo), PHP 5.6.12 (vom remi-php56 repo) und mariadb 5.5.41 (CentOS repo) und bin äusserst zufrieden mit der Performance.
Kannst du deine OS, nginx, php-fpm und mysql/mariadb Versionen, sowie (auszugsweise) deine nginx und php-fpm Konfigurationen posten?