부동산 크롤링 공부하고 있습니다.

VBA
작성자
목우
작성일
2021-12-30 17:12
조회
65
엑셀버전 : 엑셀2019

운영체제 : 윈도우10

부동산 크롤링 공부하고 있습니다.

유튜브를 통해

[웹 크롤링, 이것만 알면 다 됩니다. (진짜로;;) | 네이버 부동산, 연관검색어 실전 크롤링] 강의 잘보았습니다.

초보라 아직도 몇번은 더 보아야 할듯합니다. ㅎ

...

아파트 말고 다른 부분을 크롤링 도전해보 았습니다.

개발자도구 - 네트워크를 통행

json 형태의 파일 찾았습니다.

preview , response 탭을 보면 원하는 파일 찾은 것 같습니다.

reponse 부분 복사하여 Json Parser Online 붙여넣기 하여도 값이 잘 나옵니다.

그런데 문제는 headers 부분에 request URL 열면 오류가 납니다.

 

 

웹페이지 :  https://new.land.naver.com/offices?ms=37.8455409,127.1935887,15&a=SG:SMS:GJCG:APTHGJ:GM:TJ&e=RETAIL

request URL : https://new.land.naver.com/api/articles?cortarNo=4165033000&order=rank&realEstateType=SG%3ASMS%3AGJCG%3AAPTHGJ%3AGM%3ATJ&tradeType=&tag=%3A%3A%3A%3A%3A%3A%3A%3A&rentPriceMin=0&rentPriceMax=900000000&priceMin=0&priceMax=900000000&areaMin=0&areaMax=900000000&oldBuildYears&recentlyBuildYears&minHouseHoldCount&maxHouseHoldCount&showArticle=false&sameAddressGroup=false&minMaintenanceCost&maxMaintenanceCost&priceType=RETAIL&directions=&page=1&articleState

오류 :{"error":"unauthorized user"}

 

이런 경우 어떻게 preview , response  탭의 정보를 가져 올 수 있을까요

 

 

 

 

 

회원등급 : 4레벨
포인트 : 161 EP
총질문 : 1 개 (마감율 : 100%)
채택답변 : 0 개
전체 2

  • 2021-12-30 23:32
    채택된 답변

    해결책은 간단합니다.. request header에서 authorization에 관련된 헤더를 찾고 추가하면 됩니다.

    이게 이론상으로는 간단한데, 네이버 부동산도 그렇고.. 대부분 java를 끼고 redirect해서 돌아가는 웹페이지들은 들어가는 키값이 너무 많아서.. 하나씩 뜯어서 확인해야하기 때문에.. 페이지 구조를 꽤 공부하셔야 할 겁니다. 결국 네트워크 분석..(때에따라 콘솔창이나 소스창을 봐야할 때도 있지만요)

    이미 url주소만 봐도 쿼리 파라미터가 꽤.. 많죠..?-0-;; 원하시는 답변에 많이 부족할 수 있지만.. 조금이라도 도움이 되셨길 바랍니다..


    • 2022-01-01 14:46

      @더블유에이 님 감사합니다.


전체 5,136
번호 카테고리 제목 작성자 작성일 추천 조회
알림
하루 딱 "1분", 진짜 쓰는 엑셀 꿀팁 👉 "오빠두엑셀" 인스타그램 오픈! (28)
트로피 오빠두엑셀 | 2021.10.12 | 추천 22 | 조회 752
트로피 오빠두엑셀 2021.10.12 22 752
공지사항 공지사항
⭐ [더 나은 커뮤니티 문화를 위한 Q&A 글 작성 규칙] ⭐ (21)
오빠두엑셀 | 2021.10.28 | 추천 28 | 조회 2345
트로피 오빠두엑셀 2021.10.28 28 2345
26079 함수/공식
New 도와주세요 예전에 잠깐 본적이 있는 강의인데 못찾겠어요 (1)
딸기아빠 | 16:19 | 추천 0 | 조회 8
딸기아빠 16:19 0 8
26078 함수/공식
New sumif 오류 관련 첨부파일 (1)
논바닥 | 16:19 | 추천 0 | 조회 8
논바닥 16:19 0 8
26068 함수/공식
New 다른쉬트 값 불러 오기 (VLOOKUP 안될 시) 첨부파일 (3)
벗님들 | 12:48 | 추천 -1 | 조회 36
벗님들 12:48 -1 36
26067 함수/공식
New 도와주세요! 목록 별 수량 합산이 필요한데 가능한지 확인 부탁 드릴게요! 첨부파일 (6)
monom | 12:38 | 추천 0 | 조회 31
monom 12:38 0 31
26058 기능/도구
New 자동필터 복사 범위 풀림 오류 (1)
허영진 | 10:29 | 추천 0 | 조회 29
허영진 10:29 0 29
26050 함수/공식
New 행과 열의 합의 함수를 알고 싶어요! (1)
Goldhajin | 00:45 | 추천 0 | 조회 47
Goldhajin 00:45 0 47
26041 VBA
New 일정시간이 지나면 MsgBOX로 알림창이 뜨게 하고싶습니다. (3)
을지지뢰 | 2022.01.17 | 추천 0 | 조회 47
을지지뢰 2022.01.17 0 47
26035 함수/공식
New 특정날짜와 시간 고정해서 데이터 추출방법 도와주세요 (4)
박현욱 | 2022.01.17 | 추천 0 | 조회 44
박현욱 2022.01.17 0 44
26033 함수/공식
New 필터 함수를 인덱스 매치 함수로 변환하는 어려움 첨부파일 (2)
미르 | 2022.01.17 | 추천 0 | 조회 33
미르 2022.01.17 0 33
26030 함수/공식
New 원본표에서 일정 조건의 내용을 추출하여 새로운 표에 자료 넣기 첨부파일 (2)
알면서 | 2022.01.17 | 추천 0 | 조회 31
알면서 2022.01.17 0 31
26029 기능/도구
New 필터에서 상하위 % 추출 안됨 오류 첨부파일 (3)
알면서 | 2022.01.17 | 추천 0 | 조회 23
알면서 2022.01.17 0 23
26026 함수/공식
New 한 셀에 입력된 문장 중 조건에 만족하는 문장 개수 함수 (5)
삐약이 | 2022.01.17 | 추천 0 | 조회 34
삐약이 2022.01.17 0 34
26025 기능/도구
New 셀 내용을 지우면 특정 셀 내용도 같이 삭제되는 기능? 첨부파일 (2) 답변완료
올리주인 | 2022.01.17 | 추천 1 | 조회 38
올리주인 2022.01.17 1 38
26023 VBA
New VBA 사용자정의폼 show 0 명령어 (1)
병욱 | 2022.01.17 | 추천 0 | 조회 34
병욱 2022.01.17 0 34
26022 VBA
New 거래처별 파일 나누기 첨부파일
silli**** | 2022.01.17 | 추천 0 | 조회 36
silli**** 2022.01.17 0 36
26015 함수/공식
New 혹시 Crtl + F 찾기 같은 함수와 있나요 (1)
태혁 | 2022.01.17 | 추천 0 | 조회 50
태혁 2022.01.17 0 50
26014 차트/그래프
New 해당 스크린샷의 그래프를 어떻게 만드는지 알려주세요 (1)
민석 | 2022.01.17 | 추천 0 | 조회 24
민석 2022.01.17 0 24
26005 함수/공식
New 한 숫자값에 대한, 홀수/짝수값을 나열하고 싶습니다. (6) 답변완료
땅콩구리아빠 | 2022.01.17 | 추천 0 | 조회 38
땅콩구리아빠 2022.01.17 0 38
26000 VBA
New Rng.find 함수로 찾은 값을 DB안에 넣고싶습니다. (2)
가을전어 | 2022.01.16 | 추천 0 | 조회 33
가을전어 2022.01.16 0 33
25994 함수/공식
New 날짜 입력하면 당일 주야간 합구하는 함수나 방법을 배우러 왔습니다. (1)
현주아빠 | 2022.01.16 | 추천 0 | 조회 34
현주아빠 2022.01.16 0 34
25993 VBA
New workday 함수를 vba로.. (1)
Hong | 2022.01.16 | 추천 0 | 조회 32
Hong 2022.01.16 0 32
25989 차트/그래프
New 표 자동 입력 첨부파일 (2) 답변완료
미르 | 2022.01.16 | 추천 0 | 조회 45
미르 2022.01.16 0 45
25983 함수/공식
New 년도에 따른 출장 일수 구하고 싶은데 도움 부탁드립니다. (1)
kjin1020@naver.com | 2022.01.16 | 추천 0 | 조회 28
kjin1020@naver.com 2022.01.16 0 28
25982 함수/공식
New 입력하면 옆 셀에 자동으로 '1'이 입력되는 방법 (1) 답변완료
올리주인 | 2022.01.16 | 추천 0 | 조회 54
올리주인 2022.01.16 0 54
25973 함수/공식
New index match로 불러온 여러 목록의 사진을 다시 취합해서 불러오고 싶습니다. 첨부파일
배고픈콩콩 | 2022.01.16 | 추천 0 | 조회 39
배고픈콩콩 2022.01.16 0 39
25969 VBA
New 검색한 셀의 가로열 전부를 복사하는 방법이 알고 싶습니다. vba
ㅈㄱㄹ | 2022.01.16 | 추천 0 | 조회 27
ㅈㄱㄹ 2022.01.16 0 27
25945 함수/공식
if 함수 중첩 (3)
shheee | 2022.01.15 | 추천 0 | 조회 59
shheee 2022.01.15 0 59
25938 기능/도구
수식이 포함된 시트에서 수식이 입력된 셀을 제외한 셀을 선택하는 방법을 알고자 합니다 (1)
yya**** | 2022.01.15 | 추천 0 | 조회 36
yya**** 2022.01.15 0 36
25932 문서서식
안녕하세요...도움을 요청합니다. 첨부파일 (2)
violet**** | 2022.01.15 | 추천 0 | 조회 54
violet**** 2022.01.15 0 54
25919 함수/공식
중복일 경우 1개만 카운트 첨부파일 (3) 답변완료
s77**** | 2022.01.14 | 추천 0 | 조회 89
s77**** 2022.01.14 0 89