검색 유입이 잘 되지 않는다? 크롤링 및 색인화 작업이 늦게 되는 7가지 이유

블로그 SEO

크롤링이란 무엇일까요? 크롤링이란 검색 엔진 로봇이 웹 사이트의 웹 페이지를 자동으로 방문하여 그 안에 있는 콘텐츠를 수집해 가는 작업을 말합니다. 이 과정에서 검색 엔진은 우리가 발행한 콘텐츠를 분석하고, 웹 사이트의 트래픽을 추적하고, 웹 사이트의 보안을 검사합니다. 이렇게 이뤄진 크롤링으로 인해 발행한 콘텐츠의 URL이 수집되고, 이는 결국 검색 결과에 표시되는 것입니다.

 

따라서 크롤링은 정말 중요합니다. 크롤링이 되지 않는다는 것은 내 콘텐츠가 누군가에게 보이지 않는 것과 같은 말이기 때문입니다. 오늘은 구글 기준 크롤링 및 색인화에 대해 이야기해 보고자 합니다.

---

블로그 수익화 비법서

오늘의 내용은 [전자책] 블로그 수익화 비법서 (블로그 수익을 높이는 실전 비법서)에 나오는 일부 내용을 발췌한 것입니다.

[전자책] 블로그 수익화 비법서 (블로그 수익을 높이는 실전 비법서)

---

사이트 최적화가 안된 블로그

구글 검색 유입이 현저히 낮은 블로그가 있습니다. 그럼 구글 서치 콘솔로 가서 발행한 지 시간이 비교적 오래 지난 페이지 URL을 검사해 보도록 하겠습니다. 구글 서치 콘솔로 들어가서 왼쪽 탭에 URL 검사를 통해 해당 페이지가 잘 크롤링되어 구글에 등록되어 있는지 확인할 수 있습니다. 검사를 위해 사용된 URL은 이 글을 쓰는 시점에서 무려 6개월 전에 발행한 페이지입니다.

URL 테스트

결과가 충격적입니다. 글을 발행한 지 6개월이 지났는데도 아직도 구글은 이 페이지를 등록하지 않았습니다. 구글 검색 방문 유입이 적은 이유가 있었네요. 이어지는 URL 검사에서는 한 달 전까지의 모든 페이지가 등록되지 않았다는 걸 확인할 수 있었습니다. 그러니까 블로그 내의 몇몇 페이지만 구글에 등록되었고 그 제한된 수의 페이지 검색으로만 유입이 되었기에 네이버 검색 유입과 큰 차이가 있었던 것입니다.

 

---

사이트 최적화가 된 블로그

위 블로그와는 달리 사이트 최적화가 된 블로그는 URL 테스트 결과 하루 밖에 지나지 않았는데도 벌써 자동으로 URL이 등록되고 있었습니다. 그것도 매일 발행되는 모든 페이지가 하루 만에 크롤링되어 잘 등록되고 있었습니다. 이점이 궁금해서 문의를 해봤는데, 다음과 같은 답변을 받을 수 있었습니다.

"구글은 사이트의 콘텐츠뿐만 아니라 사이트의 구조, 사이트의 링크 구조, 사이트의 신뢰도 등을 고려하여 사이트의 크롤링 및 색인 속도를 결정합니다. 따라서 사이트가 최적화되어 있다면 고품질의 콘텐츠가 아니더라도 빠르게 크롤링 및 색인될 수 있습니다."

 

여러 차례 말했지만, 크롤링 과정에 대한 구체적인 부면들은 일반인인 우리가 알 수 없습니다. 다음, 네이버, 구글 등 각 검색 엔진들이 어떻게 일을 하느냐에 대한 구체적인 부면들, 그 알고리즘은 철저하게 비밀로 되어 있는데, 사실 알려지면 큰일 나죠. 하지만 적어도 해당 검색 엔진 로봇이 내 사이트를 어떻게 생각하고 있는지는 알 수 있습니다. 여러 방법들이 있지만 가장 빠르고 확실하게 알 수 있는 사실이 크롤링이 잘 되고 있는지를 확인해 보는 것입니다. 즉 주기적으로 내 사이트가 검색 엔진 로봇에 의해 잘 크롤링되고 있는지 확인해야 합니다.

---

크롤링 및 색인화 작업이 늦게 되는 7가지 이유

1. 블로그의 페이지가 구글의 검색 엔진 기준에 맞지 않을 수 있습니다.

2. 블로그의 페이지가 구글의 검색 엔진에 의해 차단되었을 수 있습니다.

3. 고품질 콘텐츠를 추가해야 합니다.

4. 콘텐츠가 독창적이고 유익해야 합니다.

5. 블로그 내 콘텐츠의 관련성이 명확하지 않은 경우 크롤링이 늦어질 수 있습니다.

6. 블로그가 새롭거나 잘 알려지지 않은 경우라면 크롤링이 늦어질 수 있습니다. 

7. 블로그가 자주 업데이트되지 않은 경우 크롤링이 늦어질 수 있습니다.

---

더 알아보세요.

[전자책] 블로그 수익화 비법서 (블로그 수익을 높이는 실전 비법서)

[전자책] 블로그 수익화 비법서 (블로그 수익을 높이는 실전 비법서)

---

WANNA READ