다들 아시다시피 요즘 큰 AI 기업들은 RAG 쿼리를 위해 검색 엔진을 활용하잖아요. 아직 자기들만의 대규모 검색 인덱스를 완벽하게 갖춘 곳이 없다 보니 외부 서비스를 빌려 쓰는 실정이죠. 제미나이는 구글 인덱스를, 오픈AI는 빙을 주로 쓰고요. 근데 클로드는 조금 덜 알려진 브레이브 서치를 쓰더라고요. 브레이브 서치가 흥미로운 건 기술 상당수가 오픈 소스로 공개되어 있다는 점이에요. 여기 깃허브 링크 참고해 보세요: https://github.com/brave/web-discovery-project 이번에 X에서 브레이브 서치를 아주 깊게 파헤친 글이 올라왔는데 읽어볼 만하네요: https://twitter.com/x/status/2059659146849603832 개인적으로 흥미로웠던 건 크롤러가 HTML 길이가 짧은 페이지는 걸러낸다는 점이었어요. 제가 만드는 대량 사이트들은 보통 소스를 최대한 가볍게 짜거든요. 앞으로는 마크업을 좀 더 추가해서 테스트해 보려고요. 참여도 신호(Engagement signals)도 어느 정도 자동화가 가능해 보이고요. 바이럴리 회원님들, 클로드 AI에 내 사이트가 인용되길 원하신다면 브레이브 서치 인덱스에 제대로 등록되어 있는지 꼭 확인해 보세요!