데이터 수집기(data harvester)의 개량작업-1-

안녕하세요?

 

지난번 포스팅까지 일단 어떤 종목을 다룰 것인지에 대해서 한번 필터링을 하는 것을 보여주었다면, 다음으로 해야 할일은 이제 데이터를 가지고 오는 수집기를 만드는 작업이라고 할 수 있습니다. 일단 처음에는 지난번까지 이게 다 완성이 된 것이라고 생각했는데, 실제로는 아니었습니다.

먼저 위 스크린샷처럼 모든 종목을 그냥 바로 진행할 수는 없으니 일단 8개의 종목만 두고서 한번 테스트에 들어가 보도록 합니다.

일단 시간이 얼마나 걸렸는지 알아보기 위해서, 위 스크린샷과 같이 우선 데이터를 수집하라는 명령을 내리는 메서드에서 시간을 측정하는 코드를 입력하도록 합니다.

일단 단지 8개의 종목에서 데이터를 가지고 오는데는 걸리는 시간이 그렇게 많이 걸리지 않고, 단지 1분 조금 넘게 걸리는 것을 볼 수 있었습니다.

이렇게 해서 일단, 위 스크린샷처럼 8개 종목에서 데이터를 가지고 오는데는 성공했다는 것을 볼 수 있습니다. 그런데 여기서 심각한 문제가 하나 발생했습니다.

 

 

바로 제 의도는 분봉차트를 가지고 오는 것이었는데, 실제로는 일봉차트가 들어온 것을 볼 수 있었습니다. 물론 데이터의 기간이 긴 것에 비해서 빨리 오기는 했지만, 그래도 이건 그렇게 좋다고는 보기 어려울 것 같아 보입니다.

그래서 기존에 분봉차트를 가지고 오는 메서드가 주석처리 된 것을 주석처리를 해제하고, 저장이 더 간편하게 될 수 있도록 개량을 해 주었습니다.

그리고 나서 기존에 있던 메서드 명령을 다시 바꾸는 것으로 했습니다. 이제 이렇게 해서 1분봉 차트를 가지고 오라고 명령을 내려 봅니다.

그런데 중간에 문제가 발생하는 것을 확인할 수 있었습니다. 일단 조회횟수 제한이라는 알림창이 뜨면서 더는 데이터를 가지고 오지 못하는 문제점이 발생하는 것 입니다.

 

그래서 먼저 해야 할일은 기존에는 데이터를 2종목씩 보내서 수집을 하게 했는데, 그러지 말고, 이번에는 한번에 한 종목만 수집을 보내도록 했습니다.

그리고 데이터를 받아오는 곳에서도 이제는 2 종목의 데이터가 아니라 1종목만 가지고 오도록 바꾸어 주도록 합니다. 그래서 코드 중에 상당수가 주석처리된 것을 볼 수 있습니다.

일단 이렇ㄷ게 해서 총 3분의 시간이 걸려서 8개 종목의 데이터를 가지고 오는데 성공한 것을 볼 수 있었습니다. 이제 당므으로 해야 할일은 이 데이터가 제대로 분봉차트로 왔는지 여부입니다.

일단 제대로 1분 단위로 분봉이 온 것은 확실해 보입니다. 다만 한 종목만 확인해서는 안되고, 다른 종목도 이렇게 왔는지 확인해 보도록 합니다.

예, 제대로 분봉차트로 온 것을 확인할 수 있기는 있었습니다. 이제 남은 것은 이 데이터를 어떻게 해서 1분봉이 아니라 10분, 30분, 60분봉으로 가지고 오는 것을 할 수 있는지 여부입니다. 일단 지금까지 이렇게 개선을 하였고, 이제 남은 것은 이걸.......... 사용하기 편하게 만드는 일일 겁니다.