Google Search Console은 왜 바로 반영되지 않을까?

Google Search Console에서 사이트맵을 제출하면 곧바로 “성공”으로 바뀌어야 할 것 같지만, 실제로는 “가져올 수 없음” 같은 메시지가 한동안 남아 있는 경우가 많다. 검색엔진이 내부적으로 어떤 단계를 거치는지 이해하면, 왜 이런 현상이 발생하는지 그리고 어떻게 대응해야 하는지 알 수 있다.

색인 반영의 전체 흐름

크롤러가 새로운 URL을 받아들이는 과정은 크게 다섯 단계로 나뉜다.

1. 등록 요청(Submit) – Search Console에서 사이트맵을 제출하거나 URL 검사에서 “색인 생성 요청”을 누르면 Google의 작업 큐에 작업이 적재된다.
2. Fetch – Googlebot이 해당 URL을 직접 요청한다. 사이트맵이라면 XML을 한 번 받아오고, 그 안에 포함된 URL을 크롤링 후보로 추가한다.
3. Crawl – 후보 URL 가운데 우선순위가 높은 것부터 콘텐츠를 수집한다. 이때 robots.txt, 응답 코드, canonical 등이 함께 검토된다.
4. Index – 수집한 문서를 검색 색인에 반영한다. 품질 평가, 중복 제거, 스팸 검사 등도 이 단계에서 이루어진다.
5. Serve – 검색 결과에 노출될 준비가 끝나면 검색어에 따라 SERP에 표시된다.

Search Console의 상태 메시지는 1~2단계 사이의 큐에 대한 일시적인 스냅샷일 뿐이다. 즉, 요청 직후에는 실제로 Fetch가 끝나지 않았기 때문에 “가져올 수 없음” 같은 메시지가 일시적으로 노출될 수 있다.

사이트맵 제출 후 상태가 늦게 바뀌는 이유

Googlebot의 크롤링 우선순위

Google은 수많은 사이트에서 동시에 크롤링 요청을 받는다. 새로 등록된 사이트맵은 우선순위가 낮고, 서버 부하나 과거 크롤링 이력, 도메인의 신뢰도 등을 고려해 순차적으로 처리된다. GitHub Pages 같은 정적 호스팅이라도 URL이 새로 추가되면 한동안 큐에서 대기할 수 있다.

Search Console UI의 캐싱

Search Console의 상태 카드 역시 주기적으로 배치 업데이트가 이루어진다. 실제 Googlebot이 사이트맵을 정상적으로 가져와도 UI가 즉시 갱신되지 않을 수 있다. 직접 curl -I https://example.com/sitemap/sitemap-index.xml 로 확인했을 때 200 OK가 내려온다면, Search Console의 캐시가 업데이트될 때까지 기다리는 수밖에 없다.

사이트맵은 “색인”이 아니라 “참고 자료”

사이트맵은 색인을 강제하는 문서가 아니라 크롤러에게 힌트를 주는 자료다. 따라서 Search Console이 “URL이 Google에 등록되어 있지 않음”이라고 표시해도, 이는 사이트맵을 아직 색인하지 않았다는 의미가 아니라 단순히 색인에 등록할 필요가 없거나 아직 큐에 있다는 뜻이다.

실무에서 확인하는 방법

1. HTTP 응답 직접 확인

curl -I https://jaehyuksssss.github.io/sitemap/sitemap-index.xml

200 OK가 내려오면 서버에 파일은 제대로 배포된 것이다. 404, 500 같은 에러라면 배포 단계에서 파일이 누락된 것이므로 수정 후 다시 제출해야 한다.

2. URL 검사 도구의 “실시간 테스트”

Search Console의 상단 검색창에 사이트맵 URL을 입력한 뒤 “실시간 테스트”를 실행하면 Googlebot이 즉시 Fetch를 시도한다. 테스트 결과가 “URL을 Google에 등록할 수 있음”으로 나오면, 우측 상단의 “색인 생성 요청”으로 작업 큐에 다시 올릴 수 있다.

3. 큐에 올라간 뒤에는 기다리기

“색인 생성 요청”을 눌렀다면 추가 조치 없이 기다리는 것이 최선이다. 보통 수 분에서 수 시간 내에 상태가 “성공”으로 바뀌고, sitemap-0.xml에 있는 URL들이 “발견된 페이지”에 집계된다. GitHub Pages처럼 비교적 신뢰도 높은 호스트라도 처음 제출할 때는 수 시간이 걸릴 수 있다.

자주 보는 상태 메시지 해석

• 가져올 수 없음: Fetch 결과를 아직 UI가 받지 못한 상태다. 대부분 잠시 후 “성공”으로 바뀐다.
• 색인이 생성되지 않음: 사이트맵 URL 자체는 색인 대상이 아니므로 발생할 수 있는 정상 상태다.
• 제출됨, 색인됨: Googlebot이 사이트맵을 가져왔고 링크된 URL을 색인 처리했다는 의미다.
• 제출됨, 색인되지 않음: 링크된 URL 중 일부가 robots.txt 차단, noindex, 중복 콘텐츠 등으로 색인 제외된 경우다.

정리

• Search Console에서 버튼을 누르는 순간 색인이 끝나는 것이 아니라, Google 내부 큐에 작업이 적재되는 것뿐이다.
• “가져올 수 없음”은 대부분 일시적인 상태로, HTTP 응답이 정상이라면 기다리는 것이 정답이다.
• 실시간 테스트와 curl로 서버 배포 상태를 확인하고, 필요한 경우 URL 검사 → 색인 요청으로 큐를 재갱신하면 된다.