VBA WinHttp로 크롤링 시 자바 스크립트 실행 후 데이터 가져오는 방법?

VBA
작성자
천권
작성일
2023-05-08 16:26
조회
82
엑셀버전 : M365

운영체제 : 윈도우10

질문 요약 : VBA에서 WinHttp 방식으로 웹 크롤링 시 자바 스크립트 실행 후 데이터 가져오는 방법?

<<웹 크롤링 질문이라 특정 웹이 노출될 수 있어서 첨부 파일, 캡쳐 화면은 생략했습니다. 양해 부탁드립니다.>>

안녕하세요~

VBA에서 WinHttp Get 방식으로 데이터를 가져와 보면 찾고자 하는 내용들이 없습니다.

크롬에서 F12 눌러 개발자도구-Network-Response에 들어가서 확인해 보면

해당 HTML 내용이 없는데, Elements에 보면 해당 HTML 내용이 있더라고요...

아는 형이 주변 분한테 물어보니 자바 스크립트가 실행되기 전에 값을 가져와서

Response에 결과 값이 안 들어오는 거라고 Selenium을 이용해 보라고 했습니다.

확실히 Selenium을 이용할 경우에는 해당 데이터를 가져올 수 있었는데,

제가 궁금한 것은 WinHttp 방식으로 자바 스크립트 실행 후의 값을 가져올 수 있는 방법이 있을까요?

(정확히는 Elements에 있는 데이터를 가져올 수 있는 방법이라고 해야 할까요?)

제가 잘 몰라서 아는 형님이 얘기해 준 거랑 Selenium으로 해 보고 나서 궁금한 점을 썼는데요

너무 어렵게 글을 쓴 건 아닌지 모르겠네요 ㅠ

혹시 알고 계신 분 있으면 도움 부탁 드립니다

스크랩
공유
전체 2

  • 2023-05-08 16:49
    채택된 답변

    @천권 님 어떤 조회목록이 있다고할 때, 특정 사이트의 경우 그 내용이 전부 HTML 소스에 나오기도 하지만,

    어떤 페이지는 아예 목록이 소스에 없는 경우도 있어서 페이지가 모두 로딩되었다고 하더라고 찾을 수 없는 것도 있습니다.

    그래서 스크랩할 때는 Selenium으로 하는 것이 아닌가 합니다.


    • 2023-05-08 20:12

      @원조백수 님 아.. 그런 거군요...

      Selenium의 경우 WinHttp 보다 느린 면도 있지만,

      실시간으로 변경되는 사이트에서는

      페이지가 오래 됐다는 오류 메시지가 나오는 문제점이 있는 것 같아서

      문의글을 남겼습니다

      답변 감사드립니다^^


전체 11,065
번호 카테고리 제목 작성자 작성일 추천 조회
알림
[📚교재 출간 안내] 「진짜쓰는 실무엑셀」 , 드디어 출간되었습니다! (179)
오빠두엑셀 | 2022.02.03 | 추천 469 | 조회 183662
오빠두엑셀 2022.02.03 469 183662
공지사항 공지사항
⭐ [더 나은 커뮤니티 문화를 위한 Q&A 글 작성 규칙] ⭐ (165)
오빠두엑셀 | 2021.10.28 | 추천 220 | 조회 11858
오빠두엑셀 2021.10.28 220 11858
56911 함수/공식
New sumifs로 기간별 합계 질문 드립니다. 엑셀파일
xiezhu | 2023.05.31 | 추천 0 | 조회 15
xiezhu 2023.05.31 - 15
56905 함수/공식
New 합쳐진 문자열이 공백일때는 공백문자열을 제외하고 나타낼 수 있도록 할 수 있을까요 ??? 엑셀파일첨부파일 (1)
순진한사람 | 2023.05.31 | 추천 0 | 조회 28
순진한사람 2023.05.31 - 28
56904 파워쿼리/피벗
New 파워쿼리 또는 함수로 누적 데이터 만드는 방법 엑셀파일첨부파일
디뚜띠 | 2023.05.31 | 추천 0 | 조회 29
디뚜띠 2023.05.31 - 29
56903 문서서식
New 조건부서식 범위가 자꾸 바뀔 때... 첨부파일
yaho**** | 2023.05.31 | 추천 0 | 조회 21
yaho**** 2023.05.31 - 21
56902 구글시트
New 주식 매매일지 평단가 계산 질문 첨부파일
hwan | 2023.05.31 | 추천 0 | 조회 20
hwan 2023.05.31 - 20
56901 함수/공식
New INDEX, MATCH 함수 질문🤚🤚 (1)
보라색양털 | 2023.05.31 | 추천 0 | 조회 21
보라색양털 2023.05.31 - 21
56896 함수/공식
New vslookup 참조를 다른 sheet에 있는 값을 참조 하려고 할 때 나타나는 어려움 엑셀파일 (2)
이상권 | 2023.05.31 | 추천 0 | 조회 36
이상권 2023.05.31 - 36
56894 피벗테이블
New 대시보드, 데이터 추가시 피벗테이블 계속 다시 만들어야하나요?
신안동헬린이 | 2023.05.31 | 추천 0 | 조회 28
신안동헬린이 2023.05.31 - 28
56892 함수/공식
New averageifs 계산이 안되는데...아시는분~ 첨부파일 (2) 답변완료
roadstar | 2023.05.31 | 추천 0 | 조회 25
roadstar 2023.05.31 - 25
56890 함수/공식
New 집계표에 들어갈 함수좀 가르쳐주십시요.
karism**** | 2023.05.31 | 추천 0 | 조회 27
karism**** 2023.05.31 - 27
56888 함수/공식
New 기존 셀값 유지하면서 수식 입력하는 방법 첨부파일 (4) 답변완료
누누가가 | 2023.05.31 | 추천 0 | 조회 53
누누가가 2023.05.31 - 53
56886 함수/공식
New 셀 문자열 중 잘못된 값 골라내는 법 엑셀파일 (1)
욕심없는성공v | 2023.05.31 | 추천 0 | 조회 42
욕심없는성공v 2023.05.31 - 42
56885 피벗테이블
New 엑셀 피벗테이블 질문드립니다. 도저히 모르겠네요ㅠ 첨부파일 (1)
김민석 | 2023.05.31 | 추천 0 | 조회 40
김민석 2023.05.31 - 40
56883 차트/그래프
New 엑셀 차트 데이터관련 질문드립니다 엑셀파일첨부파일
전설 | 2023.05.31 | 추천 0 | 조회 32
전설 2023.05.31 - 32
56882 함수/공식
New 만나이를 이용하여 출생년도를 추출하려면 어떤 함수를 쓰는게 좋을까요? 엑셀파일 (5)
naver_5f055a605ee7d | 2023.05.31 | 추천 0 | 조회 42
naver_5f055a605ee7d 2023.05.31 - 42
56877 함수/공식
New 엑셀 함수 질문드립니다ㅠㅠ 첨부파일 (3) 답변완료
닉으로 | 2023.05.31 | 추천 0 | 조회 36
닉으로 2023.05.31 - 36
56873 문서서식
New 엑셀로 회의 자료를 만들고 싶은데요.
PpPp | 2023.05.31 | 추천 0 | 조회 30
PpPp 2023.05.31 - 30
56870 함수/공식
New 문자가 시작되기 전에 점(마침표) 만 삭제하고 싶어요 엑셀파일 (2) 답변완료
욕심없는성공v | 2023.05.31 | 추천 0 | 조회 38
욕심없는성공v 2023.05.31 - 38
56867 함수/공식
New 액셀 함수 질문 여쭙니다. 엑셀파일 (2)
xiezhu | 2023.05.31 | 추천 0 | 조회 43
xiezhu 2023.05.31 - 43
56862 함수/공식
New 다중조건 함수 (3)
잼잼잼잼 | 2023.05.30 | 추천 0 | 조회 63
잼잼잼잼 2023.05.30 - 63
56851 VBA
New 비품 관리 대장 시트를 만들고 싶은데요,, (1) 답변완료
가득 | 2023.05.30 | 추천 0 | 조회 57
가득 2023.05.30 - 57
56849 파워쿼리/피벗
New 쿼리값 0이 -0으로 표시됩니다.. 첨부파일 (3) 답변완료
yaho**** | 2023.05.30 | 추천 0 | 조회 48
yaho**** 2023.05.30 - 48
56848 함수/공식
New 출석율 계산하는 방법 좀 알려주세요 ㅠㅠ 엑셀파일첨부파일 (1)
Blak case | 2023.05.30 | 추천 0 | 조회 49
Blak case 2023.05.30 - 49
56847 VBA
New VBA 관련 문의드립니다 ㅜㅜ (2)
c571**** | 2023.05.30 | 추천 0 | 조회 51
c571**** 2023.05.30 - 51
56845 문서서식
New 빠른 실행 도구모음 설정 관련 문의
kmh94 | 2023.05.30 | 추천 0 | 조회 36
kmh94 2023.05.30 - 36
56842 문서서식
New 두 파일을 합쳤더니 날짜를 기준으로 필터 정렬이 안되네요 엑셀파일 (2) 답변완료
STEroid | 2023.05.30 | 추천 0 | 조회 38
STEroid 2023.05.30 - 38
56840 함수/공식
New 범위 내 날짜의 근무시간 찾기 첨부파일 (1)
뽀송지콩 | 2023.05.30 | 추천 0 | 조회 45
뽀송지콩 2023.05.30 - 45
56837 파워쿼리/피벗
New 파워쿼리 내에서 덧셈 뺄셈 질문 (3) 답변완료
yaho**** | 2023.05.30 | 추천 0 | 조회 46
yaho**** 2023.05.30 - 46
56834 구글시트
New 데이터 내용에 따라 셀 테두리를 다르게 지정하고 싶습니다. 첨부파일 (1)
구린이 | 2023.05.30 | 추천 0 | 조회 41
구린이 2023.05.30 - 41
56825 함수/공식
New 여러 시트 값 다른 시트에 연결하기 엑셀파일첨부파일
빵코디 | 2023.05.30 | 추천 0 | 조회 47
빵코디 2023.05.30 - 47