Quanto tempo os sites famosos demoram pra carregar?

Freqüentemente tenho problemas em carregar alguns sites bem conhecidos. Como leigo, sempre fico na dúvida se o problema é no meu computador, na minha conexão ou no meu servidor. Imagino de tudo, menos que o problema esteja no design do site... afinal, ele foi feito por profissionais da área, que certamente pensaram em não sobrecarregar a página.
Mas... outro dia descobri algo muito interessante: o Pingdom. Trata-se de uma ferramenta que testa quanto tempo demora para carregar qualquer página na internet.
Resolvei então testar alguns sites bem conhecidos pra checar as diferenças e fiquei surpreso:

Como vocês podem ver no gráfico acima (cliquem pra dar zoom), testes realizados no dia 11de Abril no Pingdom demostraram que alguns sites demoram mais de 10x pra carregar do que outros.
Entre os bancos, por exemplo, o site da Caixa deixou muito a desejar... a página inicial demorou mais de 20 segundos pra carregar enquanto as do Itaú ou do Banco do Brasil não passaram de 2 segundos (!). Entre os sites de varejo, o Saraiva.com levou o "troféu lerdeza", pois demorou mais do dobro de tempo pra carregar que seu principal concorrente (Submarino).
Já entre os mega-portais, o destaque positivo vai para o Yahoo, que conseguiu ficar bem abaixo da média de seus possíveis "substitutos".
Obviamente as escolhas sobre "o que colocar na página inicial" têm alta influência sobre o tempo de abertura e também sobre a audiência. Nem sempre manter a tela mais "clean" possível garantirá maior fluxo de pessoas.  Mas...será que é com uma página que demora mais de 25 segundos pra carregar que o R7 quer bater o G1 (que demorou apenas 10)???
Pelo jeito não sou só eu que sou leigo na área.