O que é Sitemap
Sitemap é o arquivo que lista as páginas do site para os buscadores, normalmente em XML. Serve para o Google descobrir endereço novo sem depender de encontrar link para ele.
Na prática
É indispensável em site com páginas geradas em série, como um glossário. Estar no sitemap acelera a descoberta, mas não garante indexação: página fraca continua fora.
Um caso real
Um site de classificados tinha 40 mil páginas e só 6 mil indexadas. O sitemap listava tudo, inclusive anúncios expirados que devolviam erro. Ao limpar o arquivo e deixar só as páginas ativas, a taxa de indexação subiu bastante em poucas semanas: o buscador parou de gastar rastreamento em endereço morto.
O erro mais comum
Tratar o sitemap como lista de tudo que existe. Ele é uma recomendação do que vale a pena rastrear. Página com erro, redirecionada ou marcada para não indexar dentro do sitemap manda sinal contraditório e desperdiça o rastreamento que o buscador reservou pro seu site.
De onde vem
O padrão em XML surgiu em 2005 por iniciativa do Google e foi adotado logo depois pelos outros buscadores, virando protocolo comum. Nasceu de um problema prático: sites grandes tinham páginas que nenhum link interno alcançava e que por isso jamais eram descobertas.