감지할 수 없는 웹 자동화 봇(클라우드플레어를 우회하는 봇)을 어떻게 다뤄야 할지 궁금해요.
일단 말해서, 거의 감지되지 않는 봇을 만들었어요. 클라우드플레어 바이패스와 구글 리캡차를 포함해서 거의 모든 사이트를 자동화할 수 있었어요, 정말 어려운 사이트도요.
사실 이게 어려운 건지 잘 모르겠지만, 거기에 도달하기까지 시간이 정말 많이 걸렸고, 천 가지 방법을 시도해봤는데結局 뭔가 걸리면 감지되더라고요. 그렇게 시간을 많이 들였고, 다른 개발자들도 이걸 만들지 못하는 경우를 많이 봐서 나만 뭔가 특별한 게 있나 싶어서 그걸로 돈을 좀 벌어봐야겠다고 생각했어요. 그런데 솔직히 크게 할 수 있는 게 없었어요.
내가 해본 건:
- 업워크에서 몇 가지 프로젝트를 했는데, 수익 대부분을 다른 일에 지원하는 데 쓰다 보니 지금은 0원이 됐어요 (웹 스크래핑 관련 프로젝트면 보통 한 프로젝트에 50개 이상의 제안이 들어와서 실제로 일을 따내기 거의 불가능하더라고요).
- expireddomains.net에서 도메인을 스크래핑해서 구글, 인스타그램, 페이스북, 링크드인, 트위터 등을 통해 잠재 고객을 찾아주는 기능도 만들어봤고, 지금은 affiliate 링크를 통해 구매가 일어나도록 전체 워크플로우를 구성하려고 하고 있어요 (sedo.com도 써봤는데 지금은 계정이 정지돼서 신분증을 인증하거나 godaddy 같은 다른 affiliate 프로그램을 찾아야 할 것 같아, Commission Junction에서요).
내 고민/질문은:
- '탐지하기 거의 불가능한' 이 봇으로 돈을 벌 수 있는 다른 방법이 있을까?
- 도메인 affiliate 워크플로우에 대해 조언 구해요. 그리고 프리미엄 도메인용 affiliate 프로그램을 가진 다른 플랫폼이 있을까요? godaddy는 새 도메인 구매시에만 수수료를 주는 것 같은데, 브로커 수수료도 주는지 궁금해요. 예를 들어 다른 플랫폼에 도메인이 등록돼 있는데 고객이 godaddy 브로커를 통해 구매하면 저도 affiliate 수수료를 받을 수 있을까요?
- 레딧에서 인기 있는 암호화폐를 스크래핑해서 트위터, 링크드인 등에 올리고, 암호화폐 플랫폼 affiliate 링크를 붙이는 방법도 생각해봤어요.
이 봇으로 어떤 사이트를 스크래핑하고 자동화할 수 있어요?
지금까지 차단되거나 캡챠를 요구하는 사이트를 만나지 못했어요. basically 웹을 마음대로 다닐 수 있었어요.
제안이나 도움 주시면 정말 감사할게요!