Hola Victor.

Puedo darte 2 sugerencias para que puedas revisarlo.

1. Actualiza tu sitio y desinstala plugins o temas que no utilices.

– https://aprende.gigacore.io/recursos/consejos-para-optimizar-al-maximo-tu-sitio-wordpress/

2. Utiliza Litespeed para optimizar tu sitio y manejar tu cache, eliminando otros plugins de cache

– https://aprende.gigacore.io/recursos/4-optimizacion-de-wordpress-con-litespeed/

Revisa estos puntos y coméntanos tu experiencia.