저는 소프트웨어 엔지니어요, 그리고 최근에 나만의 검색 엔진을 직접 만들어보고 다양한 방법을 실험해보고 싶어요. AI가 빠르게 발전하면서 검색 엔진이 사용자 의도를 이해하고 결과를 순위 매기며 복잡한 질문에 답하는 게 훨씬 똑똑해졌다고 느껴요. 그래서 전통적인 검색 기법과 AI를 결합해서 속도, 관련성, 결과 품질을 얼마나 끌어올릴 수 있을지 시험해보고 싶죠. 아직 연구 및 실험 단계에 머물러 있어서, 검색 엔진, 크롤러, 인덱싱, 랭킹, AI 기반 검색 등에 경험이 있는 분들의 조언이 정말 필요해요. 어디서부터 기술을 꺼내보고 어떤 실험을 시작하면 좋을지 추천 좀 해주실 수 있나요?