Почему бывает так, что самый простой сайт с форумами грузится дольше чем, например сайт на котором куча рекламы и картинок?

Тут много факторов:
1) как близко находится сервер-хост (загран естессна грузится дольше, чем местные.. ну, в основном)
2) через сколько серверов идёт сигнал (чем больше серверов, тем больше время реакции... каждому серверу, через который идёт сигнал, требуется время, чтобы обработать запрос. Обычно это 2-5 милисекунд, но если серверов, через которые идёт сигнал 30, то это уже 60-150 милисекунд. А уж если какой сервер тупит, то... считай сам.) :)
3) насколько хороша вёрстка сайта. Иногда там 300 тысяч скриптов, которые даже не нужны, но общий объём (кб/мб) страницы увеличивается.
4) мощность твоего компьютера тоже частично влияет на это
5) есть ещё много мелких нюансов, но общую картину ты уже можешь уловить! :)

Правильно сказал Женя (35)
Ещё может быть у тебя в кэше тот сайт с рекламой есть, а этого нет.