Google Vertex AI로 HCU 사전 인덱싱 필터 우회하는 방법
다들 URL이 '발견됨 - 현재 인덱스되지 않음' 상태라고 징징대고 계시죠? 다들 크롤 예산 문제라고 생각하시는데, 사실 수학적인 문제예요. 2025년 업데이트 이후로 구글은 프리 인덱스 필터를 돌리고 있거든요. 도움되는 콘텐츠 점수가 0.8 밑으로 떨어지면 구글 알고리즘이 아예 렌더링이나 인덱싱에 TPU 자원을 쓰지 않아요. 그냥 바로 그림자 버킷으로 보내버리는 거죠. 그러니까 왜 혼자 고민하고 계세요? 바이럴리 형님들도 다 아는 방식인데, 그냥 구글 평가 API로 발행 전에 점수부터 매겨보세요. R&D 유출 내용인데요, 저희는 이제 '온페이지 SEO' 안 해요. 대신 구글 클라우드 개발자 도구로 시맨틱 사전 검증을 하죠. Vertex AI의 ModerateText나 EvaluateInstances 엔드포인트를 찔러서 HCU 지표를 리버스 엔지니어링하는 거예요. 사례 1은 경쟁 심한 iGaming 쪽이었는데, 제휴 공격성 필터에 자꾸 걸리길래 API 돌려보니 '보너스'라는 단어가 너무 많더라고요. 비중 낮추고 심리학 관련 엔티티를 넣었더니 12시간 만에 420개 도메인이 인덱싱됐어요. 사례 2는 성인물이었는데, 세이프서치 필터 걸리는 트리거 단어를 찾아내서 AI 기술 관련 용어로 바꿨더니 바로 '예술 및 엔터테인먼트'로 분류되면서 트래픽이 5배 뛰더라고요. 파이썬 로직도 공유해 드릴 테니 참고하세요. 핵심은 X-Goog-User-Project 헤더를 꼭 넣어서 내부 호출인 척 속이는 건데, API 키 하나로 너무 많이 쏘면 밴당하니까 프로젝트 ID 돌려가면서 쓰세요. 어차피 이제 인간을 위해 글 쓰는 시대는 지났어요. 평가자 API 점수만 맞추면 인덱싱은 알아서 다 됩니다. 다들 성공하세요!