엑셀 VBA 크롤링 총정리 :: 네이버 뉴스 읽어오기 매크로

1. 시트에 웹브라우저 추가하기

개발자도구에서 [삽입] 을 클릭한 뒤, [Active X 컨트롤]의 추가 도구상자를 클릭합니다. 추가 도구상자에서 Microsoft Web Browser 를 선택하여 시트에 추가합니다.

주의사항

엑셀 2013 이후 버전 사용자는 Web Browser Control을 삽입할 때 Windows 보안문제로 오류가 발생합니다. 따라서 아래 순서대로 레지스트리 값을 변경해줘야 합니다.

2. 보조 라이브러리 추가하기

인터넷 익스플로러 개체와 HTML 개체, 그리고 사용자정의폼 컨트롤 개체를 활용하기 위해 보조라이브러리를 추가합니다.

총 3개의 라이브러리를 추가합니다. Alt + F11키를 눌러 매크로 편집창을 실행한 뒤, [도구] – [참조]를 클릭하여 아래 3개의 라이브러리를 추가해주세요.

3. 크롤링 명령문 변수 설정하기

이번 강의에서는 총 4개의 변수를 설정합니다.

Dim MyBrowser As InternetExplorer
Dim HTMLDoc As HTMLDocument
Dim iArticle As IHTMLElement
Dim i As Long
 
'// 익스플로러 변수를 시트의 WebBrowser1 브라우저로 설정합니다.
Set MyBrowser = Sheet1.WebBrowser1

4. 크롤링 타겟 URL 쿼리문 분석

네이버에서 뉴스기사를 스크랩해오기 위해서는 URL의 쿼리문을 이해해야합니다. 검색 쿼리문은 네이버 검색 정책에 따라 바뀔 수도 있으며, 상황에 따라 유기적으로 수정해줘야 합니다.

5. 웹브라우저에서 URL 검색하기

변수로 설정한 MyBrowser에서 Navigate 함수를 사용하여 원하는 URL로 이동합니다.

With MyBrowser
    .Navigate Sheet1.Range("B2").Value
 
    '// Wait_Browser에 대한 내용은 VBA2-3 이전 강의를 참고하세요.   
    Wait_Browser MyBrowser
End With
 
'//-------------------Wait Browser 명령문 추가.
 
Sub Wait_Browser(Browser As InternetExplorer, Optional t As Integer = 1)
 
While Browser.Busy Or Browser.ReadyState <> 4
DoEvents
Wend
 
Application.Wait DateAdd("s", t, Now)
 
End Sub

링크] MS 홈페이지 WebBrowser.Navigate 함수 상세설명 보러가기

6. HTML 개체 분석하기

6-A. 웹브라우저의 페이지분석툴 사용

인터넷익스플로러/크롬/Edge/파이어폭스 등 모든 웹브라우저에서는 페이지분석툴 기능을 제공합니다. 본인이 사용하기 편한 웹브라우저 창에서 키보드 F12키를 눌러서 페이지분석툴을 실행합니다.

이후, 분석툴에서 ‘마우스커서’ 모양의 아이콘을 클릭한 뒤, 본인이 스크랩하고자 하는 항목위로 커서를 이동하면 해당 항목에 대한 HTML 코드를 확인할 수 있습니다.

6-B. HTML코드안의 원하는 개체 및 요소 찾기

네이버 뉴스 검색 페이지에서 HTML 문을 확인합니다. 각 기사를 나타내는 개체는 'sp_each_title' 클래스이며, 기사의 제목과 링크는 해당 클래스의 'title' 및 'href' 요소에서 가져올 수 있습니다.

6-C. VBA에서 원하는 개체 불러오기

VBA 의 HTML Object Library에서 지원하는 HTML문서의 각 개체를 끌어오는 방법은 크게 3가지입니다.

(그 외에, HTML 문서를 전부 읽어와 Instr 함수를 사용해 수작업하는 방법도 있습니다만,
상당히 번거로운 작업이므로 불가피한 상황을 제외하곤 아래 3가지 방법을 사용합니다.)

HTML 문에서 개체의 ID와 Class 요소로 찾아 값을 반환하는 방법은 이전 강의인 네이버 유저폼 만들기 강의에서도 설명드린적이 있습니다. 궁금하신분은 관련 링크를 참고하세요.

'// HTML 문서 추출
    Set HTMLDoc = .Document
 
    '// 최초 행값 입력
    i = 6
 
    '// HTML 개체검색
    For Each iArticle In HTMLDoc.getElementsByClassName("_sp_each_title")
        '// 요소별 값 추출
    Next

6-D. 각 개체의 요소값 추출하기

추출한 개체의 요소별로 값을 추출합니다. 우리가 필요한 값은 기사의 제목과 링크입니다. 따라서 ‘title’과 ‘href’의 요소 값을 추출합니다. IHTMLElemet 개체에서 title 은 기본 함수로 불러올 수 있으며, href 요소는 getAttribute 함수를 이용하여 불러옵니다.

'// HTML 개체검색
    For Each iArticle In HTMLDoc.getElementsByClassName("_sp_each_title")
        '// 요소별 값 추출
        Sheet1.Cells(i, 1) = iArticle.Title
        Sheet1.Cells(i, 2) = iArticle.getAttribute("href")
        i = i + 1
    Next

7. 셀에 하이퍼링크 추가하기

입력된 기사 링크를 클릭하면 자동으로 해당 기사로 이동할 수 있도록 각 셀에 하이퍼링크를 연결합니다. 아래 명령문을 For Each 명령문 중간에서 'i를 더해주는 이전 단계'에 붙여넣기 합니다.

Sheet1.Hyperlinks.Add Sheet1.Cells(i, 2), Sheet1.Cells(i, 2)

8. 버튼에 매크로 삽입 및 크롤링 완료 메세지 띄우기

명령문이 종료되면 스크랩이 완료되었다는 안내메세지를 띄워줍니다. 아래 코드를 명령문 가장 마지막부분에 복사해서 붙여넣기합니다.

MsgBox "검색하신 단어 [" & Sheet1.Range("B1") & "] 에 대한 네이버 뉴스기사 스크랩핑을 완료하였습니다."

[개발자도구] – [삽입] – [사용자양식컨트롤] 에서 ‘버튼’을 추가합니다. 이후 버튼을 우클릭 한 뒤, 매크로 지정으로 이동합니다. 매크로 목록에서 ‘Web_scraping’ 명령문을 버튼에 입혀줍니다. 엑셀 사용자양식컨트롤에 대한 자세한 내용은 관련 링크를 참고하세요.

9. 강의에 사용된 네이버 뉴스 크롤링 전체 명령문

Option Explicit
 
Sub Web_scarping()
 
Dim MyBrowser As InternetExplorer
Dim HTMLDoc As HTMLDocument
Dim iArticle As IHTMLElement
Dim i As Long
 
'// 익스플로어(XML변수 설정)
Set MyBrowser = Sheet1.WebBrowser1
 
'// 검색 (XML 요청)
With MyBrowser
    .Navigate Sheet1.Range("B2").Value
 
    Wait_Browser MyBrowser
 
    '// HTML 추출
    Set HTMLDoc = .Document
 
    i = 6
 
    '// 개체검색
    For Each iArticle In HTMLDoc.getElementsByClassName("_sp_each_title")
        '// 요소별 값 추출
        Sheet1.Cells(i, 1) = iArticle.Title
        Sheet1.Cells(i, 2) = iArticle.getAttribute("href")
        Sheet1.Hyperlinks.Add Sheet1.Cells(i, 2), Sheet1.Cells(i, 2)
        i = i + 1
    Next
 
End With
 
MsgBox "검색하신 단어 [" & Sheet1.Range("B1") & "] 에 대한 네이버 뉴스기사 스크랩핑을 완료하였습니다."
 
 
End Sub

10. ENCODEURL 함수 추가하기(엑셀 2013 이하 버전)

엑셀 2013 이전 버전 사용자의 경우 아래 ENCODEURL 사용자지정함수를 추가해야합니다.

Function ENCODEURL(varText As Variant, Optional blnEncode = True)
 
'############################################################
'한글/영문 텍스트를 URL 주소로 변경합니다.
'https://www.oppadu.com/vba-encodeurl-함수/
'############################################################
 
Static objHtmlfile As Object
 
If objHtmlfile Is Nothing Then
    Set objHtmlfile = CreateObject("htmlfile")
    With objHtmlfile.parentWindow
    .execScript "function encode(s) {return encodeURIComponent(s)}", "jscript"
    End With
End If
 
If blnEncode Then
    ENCODEURL = objHtmlfile.parentWindow.encode(varText)
End If
 
End Function

자주묻는질문

Q1. 웹페이지 전체의 서식을 유지한채 시트에 붙여넣기 하고 싶어요

인터넷 창에 보이는 전체페이지의 서식을 유지한채 엑셀에 붙여넣기 하려면 아래의 적어드린 코드를 응용해보세요.

단,페이지의 크기, 페이지에 사용된 개체 항목 개수(체크박스, 텍스트박스 등..)에 따라 동작속도가 느려질 수 있으므로 주의가 필요하며, 상황에따라 적절히 수정해서 사용할 수 있습니다.

아래 명령문은 With My Browser ~ End With 사이에 붙여넣기 한 뒤 사용하세요. 수정된 명령문을 실행하면 웹페이지 전체를 복사한 뒤 새로 생성한 시트에 서식을 유지한 채 붙여넣기 합니다.

'// <--!기존 명령문의 With MyBrowser ~ End With 를 아래 명령문으로 대체합니다 -->
'################################
' 웹페이지의 크기, 사용된 개체수에 따라 동작속도가 느려질 수 있으므로 주의합니다.
' 새로운 시트를 생성한 뒤 웹페이지 전문을 복사/붙여넣기 합니다
'################################
With MyBrowser
    .Navigate Sheet1.Range("C3").Value
 
    Wait_Browser MyBrowser
 
    '// HTML 추출
    Set HTMLDoc = .Document
    .Document.execCommand "SelectAll"
    .Document.execCommand "Copy"
 
    Application.ScreenUpdating = False
    Dim newWS As Worksheet
    Set newWS = ThisWorkbook.Worksheets.Add
 
    newWS.PasteSpecial , False, False
    Application.ScreenUpdating = True
 
End With

Q2. 여러개의 클래스를 가진 개체를 불러오고 싶습니다.

크롤링 작업시, 특별한 경우를 제외한 대부분의 경우 Tag와 Class 항목을 기준으로 값을 불러옵니다. Tag 값은 1개로 고정되어 있어 문제가 되지 않지만, 만약 여러개의 Class를 가진 개체를 불러올 때는 어떻게 해야할까요?

우선 한가지 팁을 드리자면, 여러개의 클래스가 입력된 경우의 "대부분은 마지막에 입력된 클래스로만 값을 불러오면 잘 동작"하는 경우가 많습니다.

AND 조건으로 여러개의 CLASS를 구분해야 할 경우

하지만 반드시 두개의 클래스를 동시에 지정해야하는 상황이라면, .getElementsByClassName에서 클래스를 '띄어쓰기'로 구분하여 입력합니다. 띄어쓰기로 클래스를 구분하여 입력하면 .getElementsByClassName은 여러개의 클래스를 "AND" 형식으로 묶어서 불러옵니다.

OR 조건으로 여러개의 CLASS를 구분해야 할 경우

그렇다면, AND 형식이 아니라 OR 형식으로 불러와야 할 경우에는 어떻게 해야 할까요?

만약 XML을 이용하고 헤더값으로 최신버전의 Agent를 사용하여 HTML 문을 읽어왔다면 .querySelectorAll 함수를 이용할 수 있습니다. 예를들어 A클래스 또는 B클래스 개체를 모두 불러오고 싶을경우 아래와 같이 함수를 입력합니다.

하지만 엑셀 VBA에서 제공하는 Internet Exlporer 라이브러리를 사용한다면 .querySelectorAll 함수 사용이 제한됩니다. (querySelectorAll 함수는 IE8 버전 이상에서만 동작)

따라서 이번 포스트에 적어드린 인터넷익스플로러를 사용한 명령문에서 OR 조건으로 여러개의 CLASS를 불러오기 위해서는 2가지 대안책을 고려할 수 있습니다.

• For Each 문을 여러번 작성합니다.

  For Each iArticle In HTMLDoc.getElementsByClassName("A클래스")
  '// 본문입력
  Next
   
  For Each iArticle In HTMLDoc.getElementsByClassName("B클래스")
  '// 본문입력
  Next
   
  '// 반복...

• 또는 추가 명령문을 작성하여 코드를 간소화 합니다.

  Sub Get_MultipleClasses(HTMLDoc As HTMLDocument, Classes as Variant)
   
  Dim iArticle As IHTMLElement
  Dim Class as Variant
   
  For Each Class in Classes
  	For Each iArticle In HTMLDoc.getElementsByClassName(Class)
  	'//본문입력
  	Next
  Next
   
  End Sub