누구나 쉽게, 크롬과 엑셀만 있으면 가능한 웹크롤링 자동화 방법 (Listly 활용)

보충 영상 : 쿠팡 상품페이지, 네이버 지도, 유튜브 인기페이지, 리스틀리 API 사용법

쿠팡 상품페이지 크롤링 방법

유튜브 인기 페이지 크롤링 방법

네이버 지도 주변상권 크롤링 방법

리스틀리 API 사용방법

xIMAGE 함수 추가기능 업데이트

엑셀 매크로 사용이 어려운 분들을 위해 xIMAGE 함수를 손쉽게 사용할 수 있는 추가기능을 제작하여 업로드했습니다. 아래 페이지에서 추가기능을 다운로드 받아 설치하시면, 매크로 작성 없이 바로 xIMAGE 함수를 사용할 수 있습니다.

리스틀리(Listly)는 현재 보고 있는 웹페이지의 데이터를 엑셀 파일로 손쉽게 추출할 수 있는 무료 크롬 확장프로그램입니다. 크롬, 웨일, 엣지 등 크로미움 기반 브라우저에서 모두 사용 가능합니다.

1. 리스틀리 설치하기 : 크롬 또는 웨일 브라우저에서 아래 링크로 이동한 뒤 [크롬 확장프로그램 추가] 버튼을 클릭하면 리스틀리 설치페이지로 이동합니다.

   

2. 설치페이지로 이동한 뒤, [Chrome에 추가] 버튼(웨일·엣지의 경우 [추가] 버튼)을 클릭합니다.

   

   오빠두Tip : 리스틀리는 크롬 기반 브라우저(크롬, 엣지, 웨일)에서만 지원되며, 사파리나 파이어폭스에서는 사용할 수 없습니다.
3. 경고창이 나타나면 [확장 프로그램 추가] 버튼을 클릭하여 설치를 완료합니다.

   

4. 리스틀리를 항상 고정하기 : 크롬 화면 오른쪽 상단의 퍼즐 모양 아이콘을 클릭한 뒤, 리스틀리 항목 오른쪽의 핀 모양 아이콘을 클릭해서 리스틀리 아이콘이 항상 표시되도록 고정합니다.

   

5. 리스틀리 설치가 완료되었습니다. 이제 데이터를 추출할 페이지로 이동한 뒤 [LISTLY WHOLE] 버튼을 클릭하면 현재 페이지의 모든 항목이 자동으로 크롤링됩니다.

   

이번 강의에서는 리스틀리를 활용해 네이버 쇼핑의 상품 페이지를 크롤링하는 방법을 단계별로 살펴보겠습니다.

1. 네이버 쇼핑페이지 URL 분석 : 먼저 네이버 쇼핑 페이지로 이동합니다. (https://shopping.naver.com/)
2. 쇼핑 페이지에서 크롤링하려는 카테고리로 이동합니다. 이번 강의에서는 [패션의류] - [여성의류] - [원피스] 카테고리를 예시로 사용하겠습니다.

   

3. 검색결과 페이지 오른쪽 상단에서 한 페이지에 표시할 항목 개수를 80개로 변경합니다.

   

4. 표시 개수를 80개로 변경하면 URL 주소가 변경되며, 주소 중간에 pagingSize=80 이라는 쿼리 파라미터가 추가됩니다. 이 쿼리의 숫자를 100으로 직접 수정하여 한 번에 더 많은 데이터를 불러올 수 있습니다.

   

   오빠두Tip : 네이버 쇼핑의 검색결과 표시개수는 최대 100개까지만 지원되며, 그 이상의 값을 입력해도 100개까지만 출력됩니다.
5. 네이버 쇼핑페이지 크롤링 : 페이지를 끝까지 스크롤하여 모든 상품 데이터를 로딩한 뒤, 리스틀리 아이콘을 클릭한 후 [LISTLY WHOLE] 버튼을 클릭합니다.

   

   오빠두Tip : 리스틀리는 회원가입 없이 사용하면 횟수 제한 없이 무제한으로 사용할 수 있습니다. 다만 비회원 상태에서는 일부 고급 기능이 제한될 수 있습니다.
6. 리스틀리-엑셀 다운로드 : 네이버 쇼핑 페이지의 모든 항목이 크롤링되었습니다. 기본 항목 100개에 광고 항목 6개가 더해져 총 106개의 데이터가 수집되었습니다. 결과 페이지에서 [엑셀] 버튼을 클릭합니다.

   

7. 크롤링 결과가 엑셀 파일로 다운로드됩니다. 이제 다운받은 데이터를 필요에 따라 자유롭게 가공하여 활용할 수 있습니다.

   

크롤링은 일반적으로 매일 또는 매주 주기적으로 반복되는 작업이므로, 이번 강의에서는 매일 다운받은 데이터를 파워쿼리로 자동 취합하는 방법을 함께 살펴보겠습니다.

1. 폴더 안에 파일 모으기 : 예제파일을 다운로드한 뒤, 압축파일 안에 포함된 네이버_원피스 크롤링 파일을 바탕화면에 새로 만든 폴더로 이동합니다.

   

2. 새로 다운로드한 네이버 원피스 크롤링 엑셀 파일을 동일한 폴더로 이동한 뒤, 파일 이름을 "네이버_원피스_YYYY-MM-DD" 형식으로 변경합니다.

   

3. 파워쿼리 실행하기 : 새 통합문서를 실행한 뒤, 리본 메뉴에서 [데이터] - [데이터 가져오기] - [파일에서] - [폴더에서]를 차례로 선택합니다.

   

4. 취합할 파일이 들어 있는 폴더로 이동한 뒤 [열기] 버튼을 클릭하면, 폴더 안의 파일 목록과 함께 파일 결합 대화상자가 표시됩니다. [데이터 변환] 버튼을 클릭합니다.

   

5. 병합할 파일 필터링하기 : 파워쿼리 편집기가 실행되면 취합할 파일만 추려냅니다. Name 필드 옆 화살표를 클릭한 뒤 [텍스트 필터] - [포함]을 선택합니다.

   

6. 포함하는 값으로 "네이버_원피스_" 라는 문자열이 들어간 파일만 필터링합니다. 이렇게 필터링하면 폴더 안에 다른 파일이 있더라도 네이버_원피스에 해당하는 데이터만 자동으로 취합됩니다. [확인] 버튼을 클릭합니다.

   

7. 파워쿼리로 파일 병합하기 : Content 필드 옆에 있는 아래쪽 화살표 두 개 모양의 버튼을 클릭하면 파일 병합 대화상자가 실행됩니다.

   

8. 샘플 파일로 첫 번째 파일을 선택하고, 매개변수에서 해당 시트를 선택하면 시트 안의 데이터가 오른쪽 미리보기에 표시됩니다. [확인] 버튼을 클릭하면 파일이 병합됩니다.

   

   오빠두Tip : 병합할 시트의 이름은 모든 파일에서 동일해야 합니다. 기존 예제파일의 시트명이 'group' 이라면, 새로 추가되는 파일의 시트명 또한 'group' 으로 맞춰야 정상적으로 병합됩니다.
9. 파일 병합이 완료되어 모든 파일의 데이터가 하나의 표로 합쳐졌습니다.

   

   오빠두Tip : 상황에 따라 크롤링된 데이터의 머리글 순서가 달라질 수 있습니다. 예를 들어 어제 다운받은 데이터에서는 가격이 LABEL-6 이었지만, 오늘 다운받은 데이터에서는 가격이 LABEL-7 일 수 있습니다.
   파워쿼리는 머리글 이름을 기준으로 파일을 병합하므로, 크롤링된 데이터의 순번이 다르다면 각 파일의 머리글을 사전에 통일해야 합니다. 예를 들어 모든 파일의 가격 머리글을 [가격]으로 변경해 두면, 컬럼 순서가 달라도 동일한 데이터로 인식되어 정상적으로 병합됩니다.

병합된 데이터에서 불필요한 필드를 제거한 뒤, 남은 데이터를 분석에 적합한 형태로 가공해보겠습니다.

1. 불필요한 필드 제거하기 : 파워쿼리 편집기에서 불필요한 필드를 선택한 뒤 마우스 우클릭 - [열 제거]를 선택하면 해당 열이 제거됩니다.
   
   오빠두Tip : 필드를 선택한 상태에서 키보드 Shift 키를 누른 채 다른 필드를 클릭하면, 두 필드 사이의 모든 열이 한 번에 선택됩니다.
2. 등록일을 날짜 형태로 변경하기 : 등록일 필드를 선택한 뒤 [변환] - [값 바꾸기]로 이동합니다. 찾을 값으로 "등록일 " (등록일 뒤에 공백 한 칸을 포함)을 입력하고, 바꿀 항목은 빈칸으로 둔 뒤 [확인] 버튼을 클릭하여 텍스트를 제거합니다.
   
3. 이번에는 [변환] - [서식] - [접미사 추가]를 차례로 선택한 뒤, 접미사로 "01"을 입력해 일(day) 정보를 보강합니다.

   

4. 등록일 필드의 머리글 왼쪽 데이터 형식 아이콘을 클릭하여 [날짜] 형식으로 변경합니다.

   

5. 광고가 아닌 항목만 필터링하기 : 광고 여부가 입력된 필드의 화살표를 선택한 뒤 (Null) 값만 체크하고 [확인] 버튼을 클릭합니다. 이렇게 하면 광고가 아닌 일반 상품만 남게 됩니다.

   

6. 이후 광고 필드를 우클릭한 뒤 [열 제거]를 선택하면 광고가 아닌 항목만 남기는 가공이 완료됩니다.

   

7. 이 외에도 파일 이름을 참조하여 날짜 형식을 변경하거나, 여러 열에 나뉘어 입력된 가격을 하나의 열로 합치는 방법은 영상 강의에서 자세히 다루었습니다. 모든 데이터 가공을 마치면 아래와 같이 정돈된 형태의 데이터셋이 완성됩니다.
8. 완성된 쿼리 출력하기 : [파일] - [닫기 및 로드]를 선택하면 취합·가공이 끝난 데이터가 새로운 시트에 표 형태로 출력됩니다.

   

엑셀 VBA 매크로를 활용하면 URL 주소로만 입력된 이미지를 엑셀 시트로 직접 불러올 수 있습니다. 이번 단계에서는 사용자 정의 함수인 xIMAGE 함수를 직접 만들어 사용해보겠습니다.

1. 매크로 편집기 실행하기 : 리본 메뉴에서 [개발도구] - [Visual Basic] 버튼을 클릭하여 매크로 편집기를 실행합니다. 또는 키보드 Alt + F11 키를 눌러 매크로 편집기를 바로 열 수도 있습니다. 만약 리본 메뉴에 [개발도구] 탭이 보이지 않는다면, 아래 포스트를 참고하여 개발도구를 활성화합니다.
   
2. xImage 함수 추가하기 : 매크로 편집기에서 [삽입] - [모듈]을 선택하여 새로운 모듈을 추가합니다. 이후 아래 명령문을 복사해 새 모듈에 붙여넣으면 xIMAGE 함수가 등록됩니다. xIMAGE 함수의 동작 원리에 대한 자세한 설명은 아래 관련 포스트를 참고하세요.
   

   Function xIMAGE(Link, Optional UpdateImage As Boolean = True) As Boolean
    
   Dim aRng As Range: Dim aWS As Worksheet
   Dim shpImg As Shape
    
   On Error Resume Next
    
   Set aRng = Application.Caller
   Set aWS = aRng.Parent
    
   Application.EnableEvents = False
    
   If IsEmpty(Link) Then Exit Function
    
   For Each shpImg In aWS.Shapes
       If shpImg.TopLeftCell.Address = aRng.Address Then
           If UpdateImage = True Then
               shpImg.Delete
           Else
               xIMAGE = True
               GoTo Final
               Exit Function
           End If
       End If
   Next
    
   Set shpImg = aWS.Shapes.AddPicture(Link, msoFalse, msoTrue, aRng.Left + 3, aRng.Top + 3, aRng.Width - 6, aRng.Height - 6)
   shpImg.Placement = xlMoveAndSize
    
   If shpImg Is Nothing Then xIMAGE = CVErr(xlValue)
    
   xIMAGE = True
   Exit Function
    
   Final:
   Set shpImg = Nothing:    Set aRng = Nothing:    Set aWS = Nothing
   Application.EnableEvents = True
    
   End Function

3. 사용자 정의 함수 등록이 완료되었습니다. 매크로 편집기를 종료한 뒤, 다시 워크시트로 이동합니다.

   

4. xImage 함수 입력하기 : 시트에서 임의의 셀을 선택한 뒤, =xImage( 를 입력합니다. 이후 URL 주소가 입력된 셀을 인수로 선택한 뒤 함수를 마무리하면, 해당 URL의 이미지가 셀 안으로 자동 삽입됩니다.

   

   오빠두Tip : xImage 함수는 외부 웹에서 이미지를 받아오는 함수이므로, 여러 셀에 동시에 입력하면 엑셀이 멈추거나 처리 속도가 크게 느려질 수 있으니 주의합니다. 한 번에 너무 많은 셀에 적용하지 말고, 필요한 셀에만 단계적으로 입력하는 것을 권장합니다.
5. 매크로 포함 통합문서로 저장하기 : 매크로가 포함된 파일은 일반 통합문서 형식으로 저장하면 매크로가 사라지므로, 반드시 매크로 사용 통합문서 형식으로 저장해야 합니다. [파일] - [다른 이름으로 저장]으로 이동한 뒤, 파일 형식을 "Excel 매크로 사용 통합문서(*.xlsm)"로 선택해 저장합니다.

   

   오빠두Tip : 엑셀에서 키보드 F12 키를 누르면 [다른 이름으로 저장] 대화상자를 빠르게 호출할 수 있습니다.