Ese error también me sucede y no he logrado solucionarlo no permite usar un SMTP externo, yo tengo cuenta de ZOHO licencias pagas para mis correos y aun así usando el SMTP que brinda zoho sigue saliendo el mismo error.

WHMCS solo me funciona con los email del mismo servidor donde esta alojado pero si seleccionas la opción smtp y colocas otro externo sea Gmail, outlook o zoho sale el mismo error no permite y no se porque, llevo tiempo buscando solución.