뉴스 크롤링 여러페이지 나오게 하는 방법

VBA
작성자
DAN
작성일
2020-11-12 10:12
조회
54

 

안녕하세요, 뉴스 크롤링 강의 잘 들었습니다.

파일을 완성해서 계속 테스트 중인데요~

현재는 1페이지, 2페이지 이런식으로 작성 후 매크로 실행을 해야하는데

1~10페이지까지 한 번에 크롤링하는 방법은 없나요??

 

항상 강의 잘 듣고 있습니다 🙂
전체 3

  • 2020-11-12 19:27

    안녕하세요.

    여러 페이지를 추출하시려면 for 문을 사용하여 페이지 번호를 수정해주시면 됩니다.

    아래 명령문 형태로 적절히 수정해서 작성해보세요^^

    For i = 1 to 마지막페이지번호
    
    URL = "https://...." & "page=" & i
    
    Next

    관련 내용은 지난 강의인 네이버 부동산 크롤링 강의에서도 다룬 적이 있으니 아래 영상도 같이 확인해보시길 바랍니다.

    엑셀 웹 크롤링, 이것만 알면 다 됩니다! | 네이버 부동산 실전 크롤링

    감사합니다.

     


    • 2020-11-13 10:15

       

       

      아래와 같은 명령문인데, 이 중에 어디에 수정해서 적용해야 하나요..?ㅠㅠ

      Sub Web_scarping2()

      Dim MyBrowser As InternetExplorer
      Dim HTMLDoc As HTMLDocument
      Dim iArticle As IHTMLElement
      Dim i As Long

      Set MyBrowser = Sheet1.WebBrowser1

      With MyBrowser
      .Navigate Sheet1.Range("B2").Value

      Wait_Browser MyBrowser

      Set HTMLDoc = .Document

      i = 7

      For Each iArticle In HTMLDoc.getElementsByClassName("news_tit")
      Sheet1.Cells(i, 1) = iArticle.Title
      Sheet1.Cells(i, 2) = iArticle.getAttribute("href")
      Sheet1.Hyperlinks.Add Sheet1.Cells(i, 2), Sheet1.Cells(i, 2)
      i = i + 1
      Next

      End With

      MsgBox "검색하신 단어 [" & Sheet1.Range("B1") & "] 에 대한 네이버 뉴스기사 완료하였습니다."


      • 2020-11-13 19:47
        채택된 답변

        Navigate 로 이동하는 URL 주소를 For문으로 묶어주시면 됩니다.^^

        예를들어 1페이지부터 5페이지까지라고 하면, for문의 범위를 1 to 5 로 바꿔주시면 됩니다.

        Dim j as long
        
        For j = 1 to 10
        
        With MyBrowser
        .Navigate "https://...page="&j
        
        Wait_Browser MyBrowser
        
        Set HTMLDoc = .Document
        
        i = 7
        
        For Each iArticle In HTMLDoc.getElementsByClassName("news_tit")
        Sheet1.Cells(i, 1) = iArticle.Title
        Sheet1.Cells(i, 2) = iArticle.getAttribute("href")
        Sheet1.Hyperlinks.Add Sheet1.Cells(i, 2), Sheet1.Cells(i, 2)
        i = i + 1
        Next
        
        End With
        
        Next

        위 명령문은 For문의 기본 동작원리만 이해하시면 쉽게 작성할 수 있는 구조이므로, 홈페이지의 퀵 VBA강의를 2편정도 살펴보시면 다양하게 응용하실 수 있을겁니다.

        답변이 도움이 되셨길 바라며..


    전체 1,541
    번호 카테고리제목작성자작성일추천조회
    1536 문서서식
    New ~여러개 시트 하나로 연결 하는 문제
    생활지원센터 | 2020.11.23 | 추천 0 | 조회 16
    생활지원센터2020.11.23016
    1535 함수/공식
    New 정확하게 나올 수 없는건가요? 첨부파일
    공월 | 2020.11.23 | 추천 0 | 조회 11
    공월2020.11.23011
    1534 피벗테이블
    New 피벗테이블 비율 구했는데.. 값이 맞지가 않아요..ㅠㅠ 첨부파일
    Lucy Kim | 2020.11.23 | 추천 0 | 조회 8
    Lucy Kim2020.11.2308
    1533 함수/공식
    New 날짜세는 엑셀 함수 첨부파일 (1)
    엑셀초보!!!!! | 2020.11.23 | 추천 0 | 조회 17
    엑셀초보!!!!!2020.11.23017
    1532 함수/공식
    New 전체 범위에서 여러 열에 입력되어 있는 특정값 추출하기.. 첨부파일 (1)
    현동전문가 | 2020.11.22 | 추천 0 | 조회 30
    현동전문가2020.11.22030
    1531 함수/공식
    New 원하는 정보 추출 엑셀 함수 (2)
    Jenny | 2020.11.22 | 추천 0 | 조회 37
    Jenny2020.11.22037
    1530 기능/도구
    New 행 일괄 추가(?) 문의드립니다. (1)
    웁웁 | 2020.11.22 | 추천 0 | 조회 31
    웁웁2020.11.22031
    1529 함수/공식
    New 도데체 어떻게 하는 좀 알려수세요 부탁드립니다 첨부파일 (2)
    acedo**** | 2020.11.21 | 추천 0 | 조회 53
    acedo****2020.11.21053
    1528 함수/공식
    New 엑셀 함수에 여러 범위 문자열 입력하여 계산하는 방법이 안풀립니다. 첨부파일 (3)
    회색자유 | 2020.11.21 | 추천 0 | 조회 25
    회색자유2020.11.21025
    1527 차트/그래프
    New 꺽은선형 그래프의 축 변경 첨부파일 (1)
    치즈쿠키 | 2020.11.21 | 추천 0 | 조회 31
    치즈쿠키2020.11.21031
    1526 함수/공식
    중복 값 데이터 찾기 문의 첨부파일 (1)
    혀니양님 | 2020.11.21 | 추천 0 | 조회 33
    혀니양님2020.11.21033
    1525 VBA
    다시 한번 더 질문드립니다. 피벗테이블의 값이 변화할 때마다 차트 데이터 범위를 메크로를 사용해서 자동으로 넣고싶습니다. 첨부파일 (2)
    iviolin**** | 2020.11.20 | 추천 0 | 조회 26
    iviolin****2020.11.20026
    1524 문서서식
    연결된 그림에서 선이 두꺼워지는 현상 (2) 답변완료
    퉁퉁이 | 2020.11.20 | 추천 0 | 조회 23
    퉁퉁이2020.11.20023
    1523 문서서식
    엑셀 x 워드 메일머지 사용법 관련 질문이 있습니다. 첨부파일 (5) 답변완료
    niceyoon58 | 2020.11.20 | 추천 0 | 조회 18
    niceyoon582020.11.20018
    1522 피벗테이블
    피벗테이블 작성 시 텍스트 출력 및 항목중 가장 높은 순위(rank) 구현 가능 할까요? 첨부파일 (2)
    국화쌍피앵두대왕 | 2020.11.20 | 추천 0 | 조회 28
    국화쌍피앵두대왕2020.11.20028
    1521 차트/그래프
    차트에 가중평균 선 추가 문제 첨부파일 (2)
    돌채 | 2020.11.20 | 추천 0 | 조회 23
    돌채2020.11.20023
    1520 VBA
    엑셀 배경제거 영역설정 첨부파일 (2)
    ezdaily | 2020.11.20 | 추천 0 | 조회 16
    ezdaily2020.11.20016
    1519 VBA
    초기화함수 관련 질문 첨부파일 (1)
    달타냥 | 2020.11.20 | 추천 0 | 조회 25
    달타냥2020.11.20025
    1518 문서서식
    조건부서식 이용한 셀색상과 서식 변경 첨부파일 (1)
    사천사야 | 2020.11.20 | 추천 0 | 조회 22
    사천사야2020.11.20022
    1517 함수/공식
    도와주세요 셀값에서 특정 문자값 추출(정확한 일치값) (3) 답변완료
    코딱 | 2020.11.20 | 추천 0 | 조회 22
    코딱2020.11.20022
    1516 함수/공식
    도와주세요!! 이중 유효성 검사 문제입니다. 첨부파일 (1)
    naver_5fae3491efc83 | 2020.11.20 | 추천 0 | 조회 23
    naver_5fae3491efc832020.11.20023
    1515 기능/도구
    서식 질문.. (3)
    4Block | 2020.11.19 | 추천 1 | 조회 38
    4Block2020.11.19138
    1514 함수/공식
    가장 유사한 값을 구하는 방법을 알고 싶습니다. 첨부파일 (1)
    won**** | 2020.11.19 | 추천 0 | 조회 19
    won****2020.11.19019
    1513 함수/공식
    index, match 함수 값이 없을때 #n/a 없에는방법 첨부파일 (2) 답변완료
    4Block | 2020.11.19 | 추천 0 | 조회 29
    4Block2020.11.19029
    1512 VBA
    매크로 + 엑셀 하이퍼링크 첨부파일 (1)
    엑셀초보!!!!! | 2020.11.19 | 추천 1 | 조회 22
    엑셀초보!!!!!2020.11.19122
    1511 함수/공식
    시트 간 중복된 값 찾기 OR 다른 값 찾기 첨부파일 (4)
    Yooon | 2020.11.19 | 추천 0 | 조회 35
    Yooon2020.11.19035
    1510 함수/공식
    vlookup 여러개의 결과값을 하나의 셀로 표시할수 있나요? (1)
    이동헌 | 2020.11.19 | 추천 0 | 조회 38
    이동헌2020.11.19038
    1509 VBA
    VBA 관련 찾기가 안되요.. 도와주세요 (2)
    I am BID | 2020.11.19 | 추천 0 | 조회 21
    I am BID2020.11.19021
    1508 함수/공식
    첨부 파일처럼 조건을 지정하고 싶습니다. 첨부파일 (2)
    우덜 | 2020.11.19 | 추천 0 | 조회 38
    우덜2020.11.19038
    1507 VBA
    셀레니움 parentelement. (2)
    ezdaily | 2020.11.19 | 추천 0 | 조회 22
    ezdaily2020.11.19022