Gary Illyes do Google esclareceu no podcast Search Off The Record que o Google tecnicamente não segue links. Em vez disso, o Google extrairá os links, os coletará em um banco de dados e os verificará mais tarde. Claro, a maioria de vocês já sabe disso e não importa muito para o SEO saber a diferença, mas ei.
Gary Illyes do Google disse no Marca 25:26 naquele podcast:
Bem, sim, é minha implicância. No onesie (Google Search Central Site), continuamos dizendo que o Googlebot está seguindo links, tipo, não, ele não está seguindo links. Ele está coletando links e depois volta para esses links. Não é como seguir links corretamente. A imagem que estamos pintando é que o Googlebot está pulando de–
Gary então fez uma pequena postagem sobre isso em LinkedInexplicando mais. “Você provavelmente já ouviu isso antes, o Googlebot “segue” links. Não é isso que ele faz. Mas é uma maneira bem ilustrativa de descrever o que o Googlebot faz”, ele disse.
Ele escreveu:
Um episódio recente do Search Off the Record (https://lnkd.in/eG566yve) causou algum rebuliço porque aparentemente “vazamos” que o Googlebot não “segue” apenas links que encontra em uma página que acabou de baixar. Se você já passou algum tempo analisando os logs de acesso do seu servidor nos últimos, digamos, 15 anos, você já sabia que esse não é o caso. Há mais envolvido do que apenas fazer uma solicitação cega para URLs encontradas em um elemento; há desduplicação entre variantes de protocolo, há priorização de URLs, há café ou falta dele.
Então por que “seguir”? Por mais que eu não goste, é uma maneira muito simples de explicar o que o Googlebot realmente faz. Há valor em usar analogias simples (símiles?), mas também há um lugar para buscar explicações mais aprofundadas. Você escolhe aquela que acha que funcionará para o público com o qual está falando no momento.
Aqui está o embed para ouvi-lo:
Gary também adicionou um comentário no LinkedIn aqui em outro idioma, “aliás, temos outro sistema de extração de links no processo de indexação (para links extravagantes/estúpidos).”
Há também esta pergunta de Kristine Schachinger que perguntou: “Estou confusa. Sei que o Google pode fazer sites dinâmicos “criarem páginas” a partir de links internos, o que presumi que só acontece no rastreamento, então como isso acontece neste cenário?” Gary respondeu dizendo “Não acho que haja uma relação entre as duas coisas. Os rastreadores veem um link e eventualmente retornam a esse link (e se não o fizerem, pelo menos no caso do Googlebot, você acaba com “Descoberto, não rastreado” ou o que quer que o Search Console relate). Se eles retornarem, a nova página será criada dinamicamente. A coisa que costumávamos fazer com o wget para baixar coisas recursivamente em ~tempo real não existe com os rastreadores modernos.”
Então o Google faz a extração de links de muitas maneiras e não segue imediatamente os links que extrai.
Discussão no fórum em LinkedIn.