파워쿼리를 통한 크롤링

기능/도구
작성자
H.B
작성일
2021-06-29 13:54
조회
150

안녕하세요.

하기 첨부파일과 같이 파워쿼리를 통해 매일마다 테이블의 데이터를 갱신시켜, 크롤링을 구현하고 싶은데요.
갱신버튼을 누르면 당일 data를 찾지못했습니다라는 Error가 나면서 갱신이 안되네요.

해당 이유 아시는분 도움 부탁드립니다.

회원등급 : 열매1단계
포인트 : 1138 EP
총질문 : 56 개 (마감율 : 70%)
채택답변 : 1 개
전체 5

  • 2021-07-04 03:00
    채택된 답변

    안녕하세요.

    첨부파일의 Table5 링크 "https://www.kamis.or.kr/customer/price/product/catalogue.do" 는 아래 결과를 반환합니다.

    따라서 원하시는 결과를 올바르게 받아오려면 네트워크 분석탭에서 원하는 결과가 포함된 URL링크를 확인해보세요. 파워쿼리 크롤링은 table로 반환되는 결과만 받아올 수 있으므로, 위 페이지 같이 자바스크립트가 포함된 페이지는 네트워크 분석으로 직접 크롤링을 하시는게 편리합니다.

    네트워크 분석하는 방법은 아래 네이버 부동산 크롤링 강의를 한번 참고해보세요.

    엑셀 웹 크롤링, 이것만 알면 다 됩니다! | 네이버 부동산

    두번째로 '구분'열을 찾을 수 없습니다 라는 오류는 위에 설명드린 것과 비슷하게, 결과가 반환되지 않아 '구분'필드가 없어서 반환되는 오류입니다.

    Table4의 데이터는 제 pc에서 올바르게 받아와지는데요, 다시 한번 확인해보시길 바랍니다.

    제시해드린 답변이 문제 해결에 도움이 되셨길 바랍니다. 감사합니다.

     


  • 2021-07-05 10:36

    대단히 감사합니다. 한번 해당강의 자세히 해보고 궁금한점 있으면 다시 상담드리겠습니다.


  • 2021-07-05 14:08

    혹시 죄송합니다만, 알려주신 방법으로 table5의 자바스크립트가 없는 url을 찾아봤습니다만... 안보여서요 ㅠㅠ


  • 2021-07-05 14:09

    혹시 파워쿼리만으로 해당table만 크롤링할수 있는 url을 찾으려면 어떻게 해야될까요


전체 3,542
번호 카테고리 제목 작성자 작성일 추천 조회
3528 함수/공식
New =counta(green) 함수 (4) 답변완료
Finir2017 | 2021.08.02 | 추천 1 | 조회 22
Finir2017 2021.08.02 1 22
3527 함수/공식
New 엑셀에서 통합문서내 sheet이름 전체를 불러오는 함수는 없을까요? 첨부파일 (1)
아침햇쌀 | 2021.08.02 | 추천 0 | 조회 17
아침햇쌀 2021.08.02 0 17
함수/공식
New Re: 추가질문입니다 //// 엑셀에서 통합문서내 sheet이름 전체를 불러오는 함수는 없을까요? (1)
아침햇쌀 | 2021.08.02 | 추천 0 | 조회 23
아침햇쌀 2021.08.02 0 23
3526 함수/공식
New IF함수 응용 수식문의입니다(하이픈(-) 인식 관련) 첨부파일 (1)
호우 | 2021.08.02 | 추천 0 | 조회 22
호우 2021.08.02 0 22
3525 기능/도구
New 파파고함수 에러, 네트워크 프레임관련 질문 첨부파일 (2)
H.B | 2021.08.02 | 추천 0 | 조회 15
H.B 2021.08.02 0 15
3524 VBA
New 행과 전체범위를 비교하여 고유값 개수 세기
means**** | 2021.08.02 | 추천 0 | 조회 22
means**** 2021.08.02 0 22
3523 함수/공식
New 행과 전체범위를 비교하여 고유값 개수 세기 (4)
means**** | 2021.08.02 | 추천 0 | 조회 37
means**** 2021.08.02 0 37
3522 VBA
New VBA를 이용한 재고 활용보고 질문드립니다. 첨부파일 (4) 답변완료
황수형(Gallent) | 2021.08.02 | 추천 0 | 조회 60
황수형(Gallent) 2021.08.02 0 60
3521 함수/공식
New 오빠두 데이터유효성 부분 일치 검색 필터 만들기 강의 질문입니다. (6)
월마리아 | 2021.08.01 | 추천 0 | 조회 46
월마리아 2021.08.01 0 46
3520 파워쿼리/피벗
New 파워쿼리 날씨api (1)
엑셀지킴이 | 2021.08.01 | 추천 0 | 조회 34
엑셀지킴이 2021.08.01 0 34
3519 VBA
New 파일열지 않고 시트 가져오기 첨부파일 (4)
ArkGie | 2021.08.01 | 추천 2 | 조회 62
ArkGie 2021.08.01 2 62
3518 함수/공식
New 엑셀로 데이터 비교 첨부파일 (1)
Chris | 2021.08.01 | 추천 1 | 조회 46
Chris 2021.08.01 1 46
3517 기능/도구
New 발주서에 상품 공급가 들어가게 하고 싶어요 첨부파일 (6)
해피365샵 | 2021.08.01 | 추천 0 | 조회 37
해피365샵 2021.08.01 0 37
3516 함수/공식
New 중복된 날짜 제거 후 열로 나열하는 법 궁금합니다 첨부파일 (3)
김성환 | 2021.08.01 | 추천 0 | 조회 31
김성환 2021.08.01 0 31
3515 함수/공식
New 혈압 평균 구하는 법 (1)
밍밍 2호 | 2021.08.01 | 추천 0 | 조회 29
밍밍 2호 2021.08.01 0 29
3514 함수/공식
New index, match 응용버젼 문의드립니다. 첨부파일 (4)
현우 | 2021.08.01 | 추천 0 | 조회 42
현우 2021.08.01 0 42
3513 함수/공식
New 문의 드립니다^^ 첨부파일 (2) 답변완료
해피365샵 | 2021.08.01 | 추천 0 | 조회 47
해피365샵 2021.08.01 0 47
3512 함수/공식
New [한셀] 시험등급이 특급일때 달성한 날짜를 결과값으로 가져오고 싶습니다. 도와주세요! 첨부파일 (1)
라이언 | 2021.08.01 | 추천 0 | 조회 28
라이언 2021.08.01 0 28
3511 VBA
New vba Range의 셀 값을 변수로 값을 대입하기 (1)
vbawhat | 2021.07.31 | 추천 0 | 조회 44
vbawhat 2021.07.31 0 44
3510 VBA
New 텍스트 파일 끝에서부터 키워드로 검색하기 (2) 답변완료
어제부터VBA | 2021.07.31 | 추천 0 | 조회 46
어제부터VBA 2021.07.31 0 46
3509 VBA
재고관리 vba 콤보박스 활용 검색 도움부탁드립니다 (1)
ycy | 2021.07.31 | 추천 0 | 조회 48
ycy 2021.07.31 0 48
3508 함수/공식
고수님...첫출근일 함수 부탁드립니다 첨부파일 (2) 답변완료
jhp | 2021.07.30 | 추천 0 | 조회 73
jhp 2021.07.30 0 73
3507 VBA
listbox에 Access query내용을 담는 방법 (1)
마녀 | 2021.07.30 | 추천 0 | 조회 36
마녀 2021.07.30 0 36
3506 함수/공식
구글 스프레드 SUMIFS 함수 (1)
호잇 | 2021.07.30 | 추천 0 | 조회 47
호잇 2021.07.30 0 47
3505 VBA
구글 스프레드시트에서 vba 모듈 활용법 (1)
aksr**** | 2021.07.30 | 추천 0 | 조회 44
aksr**** 2021.07.30 0 44
3504 함수/공식
다중조건 최대값 & 최소값 함수 문의의 건 첨부파일 (1)
kangj**** | 2021.07.30 | 추천 0 | 조회 46
kangj**** 2021.07.30 0 46
3503 파워쿼리/피벗
파워쿼리, 특정 시트의 셀값 참조하여 필터링하기 (2)
| 2021.07.30 | 추천 1 | 조회 52
2021.07.30 1 52
3502 함수/공식
index(출력값,match(찾을값,범위,0)) 로 값을 구할 때 "match의 범위"를 "두개의 열"로 확장하는 방법? (3) 답변완료
HoDee | 2021.07.30 | 추천 1 | 조회 60
HoDee 2021.07.30 1 60
3501 기능/도구
스마트아트 작성 문의드려요 첨부파일 (1)
비달빵순 | 2021.07.30 | 추천 0 | 조회 35
비달빵순 2021.07.30 0 35
3500 함수/공식
엑셀 색상별 합계 3초만에 구하는 방법 강의를 듣고 색상별 개수를 구하는 방법을 알려 주세요 (8)
Finir2017 | 2021.07.29 | 추천 0 | 조회 61
Finir2017 2021.07.29 0 61
3499 함수/공식
lookup 관련 찾는 범위가 필드이고 반환 열이 첫번째 인데 반환 값이 여러개, 반환 범위가 가로인 경우 첨부파일 (5) 답변완료
means**** | 2021.07.29 | 추천 1 | 조회 68
means**** 2021.07.29 1 68