대용량 데이터 관리방법에 대해 문의드립니다..
E
게시판을 이용하기 위한 한가지 규칙! 글 제목은 꼭! 내용과 관련되게 적어주세요 ^-^* 같은 질문이 중복되지 않게 여러 사람의 지식을 효과적으로 나누기 위한 첫번째 규칙입니다. 여러분의 소중한 배려 부탁드립니다. (예: 피벗테이블을 그룹하는 방법, 엑셀 2010 이전버전에서 혼합차트를 사용하는 방법, 등..) |
안녕하세요 먼저 유투브와 홈페이지 강의 아주 잘 보고 많은 도움이 되고 있고 이런 강의 올려주셔서 감사드립니다.
제가 하는 일이 월별로 들어오는 많은 양의 데이터들을 취합시켜 관리하는 일인데 이와 관련하여 질문 드릴게 있어 글 남깁니다.
- 데이터 양 : 40~50만행 (매월 업데이트 되어야함)
- 하고자 하는 것 : 이 데이터들을 자동화시켜 상품별 불량율 현황, 월별 발생 추이등 정보들을 빠르게 확인하고 싶음
- 문제점 : 오빠두님이 알려주신 여러 강의들을 참고해서 자동화를 시켜 보았지만 함수가 많아지다보니 속도가 너무 느려져 실용성이 없습니다.
1) 제가 궁금한건 엑셀에서 많은 데이터를 함수와 함께 사용할 때 속도 저하를 좀 줄이는 방법이 있을까요 ?
2) 엑셀에서 속도 저하 없이 대용량 데이터 다룰 방법이 없다면 엑세스나 여러 데이터베이스 프로그램을 활용하면 속도가 빨라 질 것 같기는 한데 제가 데이터베이스 프로그램은 한번도 사용을 안해봐서 개념을 잘 모르겠네요..데이터베이스화 ?? 시켜 놓는다면 엑셀에 이 데이터들을 불러와서 함수를 많이 이용하더라도 속도 저하 없이 이용 가능 할까요 ?
가능하다면 어떤 책을 먼저 보면서 공부하면 좋을지.. 조언 좀 부탁드리겠습니다.
제가 자동화 시켜 놓은 파일을 보내 드려보고 싶은데 용량이 크네요 .
a
김
숫
아
혀
신
선
댓글 4
제 경험상 비추어볼때, 엑셀로 이루어지는 자동화는 크게 3개로 나눌 수 있을것 같은데요. 데이터의 입력/취합/시각화 입니다.
우선 40만~50만행의 데이터가 매월 관리되야 하는 상황일경우 IT쪽, 즉 서버단에 문의하여 원하는 항목이 포함된 레포팅시스템 개선을 요구하시는게 가장 최선책일거라 생각됩니다. 일례로, 3개월치 데이터분석만 해도 이미 100만행이 넘어 데이터모델-파워쿼리로 관리가 들어가야 하니깐요..^^;
하지만, 상황이 여의치않아 엑셀로 관리를 해야만 하는 상황일 경우.. 아래 댓글을 참고해보세요..
1) 데이터를 함수와 함께 사용할 때 속도 저하를 좀 줄이는 방법 :
함수사용대신, 피벗테이블 - 계산필드를 활용하시면 비교할수없을만큼 처리속도가 향상됩니다.
2) 데이터베이스화 ?? 시켜 놓는다면 엑셀에 이 데이터들을 불러와서 함수를 많이 이용하더라도 속도 저하 없이 이용 가능할까요?
어떤 함수를 사용하느냐에 따라 다릅니다.
- 단순 데이터 편집, 예를들어 LEFT, SUM, 등의 함수는 데이터양이 많아도 속도에 영향을 주지 않습니다.
- 참조/논리계산 함수, 예를 들어 VLOOKUP, SUMIF 함수는 데이터양이 많아질경우 속도에 영향을 끼칩니다.
- 가변함수, 예를 들어 OFFSET, INDEX 함수를 여러개 중첩사용시 데이터양이 조금만 많아져도 속도에 큰 영향을 끼칩니다.
데이터가 정규화되어있다면, 참조/논리계산 함수는 '파워쿼리/피벗테이블'로 대체할 수 있습니다. 매월 업데이트 되는 상황이라면 동적범위 적용을 위해 OFFSET 함수는 1~2번 사용할 수 있지만 속도에 영향을 주진 않습니다.
즉, 데이터가 정규화 되어있다는 가정하에 '단순 데이터편집 + 피벗테이블 조합' 또는 '데이터모델-파워쿼리-파워피벗' 조합으로 레포팅시스템을 만드신다면 속도 저하없이 이용할 수 있습니다.
일단 말씀해주신 파워쿼리를 이용해 볼게요 !
IT 전산 안에는 data 가 다 들어가 있지만 이걸 제가 개인적으로 다시 받아서 분석하는 부분이라 IT 팀에 요구하지는 못할것 같습니다 ㅠ ㅠ
엑셀로 30~50만개의 데이터를 추출해서 사용하는 거라서요
피벗테이블을 사용하면 그때그때 필요한 자료를 빠르게 볼 순 있는데 저는 RAW DATA만 바꿔가면서 원하는 보고서 형식으로 빠르게 확인 싶어서 구현중입니다.
파워쿼리와 피벗을 좀 더 연구해서 가능한 방법 있는지 고민해보겠습니다 !