Brug af et cache plugin kan hjælpe en hel del, personligt foretrækker jeg W3 Total Cache. Det hjælper både på loadtime samt hvor mange resourcer din hjemmeside bruger (så du burde kunne håndtere flere besøgende med samme resourcer).
En anden ting jeg ser ved mange wordpress sider, især dem hvor themet er købt på f.eks. themeforest, er at der er en CSS fil som blivere genereret i php på baggrund af nogle settings der kan stilles i et kontrol panel i Wordpress. Dette gør altså en hel del for sidens load time, og anbefalder derfor at lave denne fil statisk i stedet.
Et andet tip er at du kan bruge http://tools.pingdom.com til at kigge på hvordan din side performer, husk at vælge den rigtige location under settings.