방금 5만 개 이상의 프로그램식 페이지를 가진巨大 디렉토리 사이트를 만들었어요. 장기 꼬리 현지 검색어를 타겟으로 했고, 사이트 구조는 깔끔하게 중첩된 사이트맵을 써서 관리하고 있죠.

그런데 구글 서치 콘솔에서는 페이지의 약 15%만 인덱싱되고 나머지는 'Crawled - currently not indexed' 상태로 남아 있어요. 구글 인덱싱 API를 쓰는 방법도 있긴 한데 하루 제한이 있어서요.

다른 방법으로, 내부 링크를 더 촘촘히 걸어주고, 중요한 페이지부터 우선적으로 sitemap에 올려보는 건 어때요? 아니면, 페이지 로딩 속도를 개선하고 구조화된 데이터를 추가해서 크롤러가 더 쉽게 읽게 하는 것도 도움이 될 거예요.

여러분은 이렇게 큰 규모의 프로그램식 사이트를 인덱싱하려고 할 때 어떤 화이트햇 전술을 써 보셨나요? 팁이 있으면 공유해 주세요!