특정 사이트 웹 스크래핑(크롤링) 차단 문제 해결

안녕하세요.

특정 사이트를 스크래핑하고자 며칠째 시도해보고 있는데 도무지 해결되지 않아 도움을 구하고자 글을 남깁니다.

첨부된 파일은 시도해보았던 3가지 방법에 대한 모듈이 포함되어 있습니다.

시도한 방법은 총 3가지 입니다.

1. XMLHTTP 객체를 활용하여 GET 메소드 호출
   이 방법은 맨 처음 실행할 때는 정상적으로 수행되지만, 반복적으로 수행할 경우 403(Forbidden) 오류가 발생하네요..ㅠ
   아무리 헤더를 추가해서 사람이 하는 것 처럼 시도해보아도 해결되지를 않네요.
   
2. Internet Explorer 객체를 활용
   2022년 6월 15일 부로 인터넷 익스플로러의 서비스가 종료되면서, 이제 서서히 여러 사이트에서 지원을 종료하는 것 같습니다.
   User-Agent 헤더 속성을 사용해봤지만, 회피가 불가능하네요..ㅠ
   
3. Selenium을 통한 Chrome 브라우저 활용
   헤더 속성을 아무리 추가해도 사이트 측에서 스크래핑으로 인식해서 그런지 아래와 같이 나오네요..ㅠ
   

가장 가능성 있는 것은 1번 방법인 것 같은데, 아무리 해도 403 오류를 피하기가 어려운 것 같습니다.

스크래핑 고수님들의 조언을 구합니다..ㅠ

감사합니다.