VBA 크롬 크롤링 웹 데이터 가져오기

VBA
작성자
이용재
작성일
2022-05-21 20:55
조회
172
엑셀버전 : 엑셀2019

운영체제 : 윈도우10

안녕하세요..

크롤링을 처음 배우기 시작했습니다.

웹 데이터를 가져오려고 하는데, 에러가 납니다. 왜 그런지 좀 살펴봐주시기 바랍니다.

혹시,

다음카페 크롤링하려면 ID/PW 로그인 처리부터 해야하는 건가요?

아니면, 로그인과 무관하게 막아 놓은 것일까요?

다음 메인 페이지의 크롤링 데이터 가져오기는 되는데 카페만 들어가면

인덱스 배열범위를 벗어났다는 메시지가 뜨네요.

 

https://cafe.daum.net/wanderung/kgZy 에서 제목 텍스트를 엑셀에 가져오려고 합니다.

 

------------------------------------------------

Sub 크롤링_Click()

Dim WB As WebDriver
Dim addr, msg As String

Set WB = New WebDriver

WB.Start "chrome"
WB.Wait (1000)

addr = "https://cafe.daum.net/wanderung/kgZy"

WB.Get addr

Debug.Print WB.FindElementsByClass("tit_item").Item(1).Text

아래와 같이 경고 메시지가 뜨네요...

별 방법을 다 해봐도 안되네요...

WB.Quit
Set WB = Nothing

End Sub

전체 3

  • 2022-05-22 11:52

    @이용재 님 카페 내부의 컨텐츠가 실제로 바로 얻어지지 않을 수 있어서 나오는 문제일 듯 합니다.

    아래처럼 해 보면 해당 부분이 아예 나오지 않는 For문 안으로 들어가지 않습니다.

    HTML 소스에 해당 내용이 나오는지 다시 확인해 보세요.

    Sub 크롤링_Click()
    
        Dim WB As Object, post As Object
        Dim addr, msg As String
        
        Set WB = CreateObject("Selenium.ChromeDriver")
        
        WB.Start "chrome"
        WB.Wait (1000)
        
        addr = "https://cafe.daum.net/wanderung/kgZy"
        
        WB.Get addr
    
        For Each post In WB.FindElementsByClass("tit_item")
            Debug.Print post.Text
        Next
    
    End Sub

     


  • 2022-05-22 12:18
    채택된 답변

    @이용재 님 Frame 안쪽에 들어가 있는 것이라 아래처럼 수정하니 나오네요.

    Sub 크롤링_Click()
    
        Dim WB As Object, post As Object
        Dim addr, msg As String
        
        Set WB = CreateObject("Selenium.ChromeDriver")  '=New ChromeDriver
        
        WB.Start "chrome"
        WB.Wait (1000)
        
        addr = "https://cafe.daum.net/wanderung/kgZy"
        
        WB.Get addr
        WB.SwitchToFrame "down"
        
        For Each post In WB.FindElementsByClass("tit_item")
            Debug.Print post.Text
        Next
        
        Set WB = Nothing
        Set post = Nothing
    
    End Sub

     


    • 2022-05-22 12:45

      @원조백수 님 와우~~ 다음과 네이버에서 의도적으로 막아 놓았다고 생각하고 포기하고 있었습니다.

      감사합니다. ^^ 복 받으실꺼에요 ㅎㅎㅎㅎ


전체 6,869
번호 카테고리 제목 작성자 작성일 추천 조회
알림
📌 -- VBA 기초-활용 4주 완성, 특별 스터디 모집을 시작합니다! ~7/8(금) 까지 -- 📌 (96)
오빠두엑셀 | 2022.06.23 | 추천 141 | 조회 17334
오빠두엑셀 2022.06.23 141 17334
공지사항 함수/공식
⭐ [더 나은 커뮤니티 문화를 위한 Q&A 글 작성 규칙] ⭐ (79)
오빠두엑셀 | 2021.10.28 | 추천 97 | 조회 5323
오빠두엑셀 2021.10.28 97 5323
38909 파워쿼리/피벗
New 파워쿼리 작성 엑셀파일 (1)
당신을축복하는올빼미 | 13:27 | 추천 0 | 조회 19
당신을축복하는올빼미 13:27 0 19
38907 함수/공식
New INDEX + MATCH 함수 에러 문제관련
brain hoon | 13:09 | 추천 -2 | 조회 15
brain hoon 13:09 -2 15
38905 VBA
New [1주차]VBA 미션... 다들 해보셧나요? 도움 좀..ㅠ 첨부파일 (3)
배성철 | 13:02 | 추천 0 | 조회 21
배성철 13:02 0 21
38899 함수/공식
New 어떤 함수를 써야 될지 (2)
정상진 | 11:52 | 추천 0 | 조회 25
정상진 11:52 0 25
38895 대시보드
New 데이터 입력시 자동으로 보고서 작성 첨부파일 (2)
bmmania | 11:23 | 추천 0 | 조회 28
bmmania 11:23 0 28
38889 함수/공식
New 중복 데이터 에서 2개 이상 조건을 만족하는 고유 항목 개수 세기
곱칭 | 10:45 | 추천 -1 | 조회 22
곱칭 10:45 -1 22
38868 VBA
New 행복한 한 주 시작 하시길 바랍니다. 도와주세요(고급필터 애러) 엑셀파일첨부파일
파란맥 | 08:42 | 추천 0 | 조회 20
파란맥 08:42 0 20
38839 VBA
New 1주차 VBA 강의 질문입니다 첨부파일 (1)
WWW | 2022.07.03 | 추천 0 | 조회 33
WWW 2022.07.03 0 33
38828 VBA
New VBA 스터디 1주차 두번째 미션 실패 ㅠㅠ 도와주세요 첨부파일 (1)
YJ | 2022.07.03 | 추천 0 | 조회 26
YJ 2022.07.03 0 26
38811 구글시트
New COUNTA 함수 엑셀파일 (9) 답변완료
거꾸로문 | 2022.07.03 | 추천 0 | 조회 42
거꾸로문 2022.07.03 0 42
38785 VBA
New 1주차 VBA 강의 질문입니다 첨부파일 (2)
sebin**** | 2022.07.03 | 추천 0 | 조회 32
sebin**** 2022.07.03 0 32
38758 VBA
New 고급필터 자동화 범위 설정시 애러 문의 합니다. 첨부파일
파란맥 | 2022.07.03 | 추천 0 | 조회 15
파란맥 2022.07.03 0 15
38730 파워쿼리/피벗
New 피벗테이블 정렬 순서 변경에 관해서 질문드립니다.
월마리아 | 2022.07.03 | 추천 1 | 조회 21
월마리아 2022.07.03 1 21
38686 VBA
New VBA 4주 완성 1편에서 Visual Basic 질문 첨부파일 (3) 답변완료
도토리이 | 2022.07.03 | 추천 0 | 조회 49
도토리이 2022.07.03 0 49
38660 VBA
New VBA, 매크로, 함수 중에 조건에 맞는 값을 가져오기 문의 합니다. 엑셀파일첨부파일 (2)
파란맥 | 2022.07.03 | 추천 0 | 조회 43
파란맥 2022.07.03 0 43
38655 함수/공식
New 근무시간 산출 함수식 문의 드립니다. 엑셀파일 (1)
민쉬 | 2022.07.03 | 추천 0 | 조회 33
민쉬 2022.07.03 0 33
38530 피벗테이블
New 피벗테이블에서 총합계만 보고싶을때 엑셀파일첨부파일 (2)
까까오똑 | 2022.07.02 | 추천 0 | 조회 20
까까오똑 2022.07.02 0 20
38483 VBA
New VBA 두 피벗테이블 슬라이서 연동
라바 | 2022.07.02 | 추천 0 | 조회 22
라바 2022.07.02 0 22
38370 VBA
New 행에 마지막 입력값 삭제하는 방법 문의 드림니다. 첨부파일 (2) 답변완료
033cola | 2022.07.02 | 추천 0 | 조회 45
033cola 2022.07.02 0 45
38356 VBA
New VBA 또는 매크로 사용하여 시트1의 원한는 내용만 시트2에 표기하는 스크립트 문의 합니다. 엑셀파일첨부파일 (6) 답변완료
파란맥 | 2022.07.02 | 추천 1 | 조회 62
파란맥 2022.07.02 1 62
38287 VBA
New VBA 범위 입력 소스 문의 합니다. (6) 답변완료
파란맥 | 2022.07.02 | 추천 1 | 조회 63
파란맥 2022.07.02 1 63
38284 기능/도구
New 엑셀 여러가지파일 탭으로 보기 첨부파일
asfdadfs | 2022.07.02 | 추천 -1 | 조회 33
asfdadfs 2022.07.02 -1 33
38260 파워쿼리/피벗
New 청사 출입기록을 월별, 인원별로 정리하고 싶은데 선배님들 조언을 구합니다. 엑셀파일첨부파일 (1)
비에리 | 2022.07.02 | 추천 0 | 조회 30
비에리 2022.07.02 0 30
38258 VBA
New 기준열과 동일하게 셀병합 하는 vba 엑셀파일첨부파일 (2) 답변완료
007 | 2022.07.02 | 추천 0 | 조회 46
007 2022.07.02 0 46
38251 함수/공식
New 엑셀 다중조건으로 다른시트에 추출후 수정해서 원본시트에 업데이트방법? 엑셀파일
제임스딘 | 2022.07.02 | 추천 0 | 조회 36
제임스딘 2022.07.02 0 36
38197 VBA
New VBA 매크로 SelectionChange 명령문(스크립트) 조언 받고자 합니다. 엑셀파일첨부파일 (2) 답변완료
파란맥 | 2022.07.01 | 추천 0 | 조회 27
파란맥 2022.07.01 0 27
38191 함수/공식
New 특정 텍스트만 추출하는 함수에서.. (1) 답변완료
최사무엘 | 2022.07.01 | 추천 0 | 조회 32
최사무엘 2022.07.01 0 32
38187 기능/도구
New 엑린이] 시트값을 자동으로 불러오고 싶습니다 (2) 답변완료
세잎 | 2022.07.01 | 추천 0 | 조회 34
세잎 2022.07.01 0 34
38183 VBA
New VBA 매크로 SelectionChange 명령문 조언 받고자 합니다. 엑셀파일첨부파일 (7) 답변완료
파란맥 | 2022.07.01 | 추천 1 | 조회 39
파란맥 2022.07.01 1 39
38182 함수/공식
New FILTER함수 사용시에 함수가 안먹히는 문제 첨부파일 (2)
엑셀고수되는방법좀 | 2022.07.01 | 추천 0 | 조회 29
엑셀고수되는방법좀 2022.07.01 0 29