데이터 수집기(data harvester)의 개량작업-final-

안녕하세요?

 

지난번 포스팅에서 어떻게 데이터 수집기를 개량하기는 했는데, 무슨 문제가 생겨서 데이터가 정작 수집이 되지 않는 것을 확인할 수 있었습니다. 그래서 이번 포스팅에서는 이 문제를 해결해서 어떻게 데이터가 수집이 되도록 만들어 보는 것이 목적이라고 할 수 있습니다.

첫번째 시도는 위 스크린샷처럼 틱범위에 들어가는 변수가 문자열 형태라서 이러는 것인가 싶어서 한번 int함수를 써서 일부러 숫자로 바꾸어 주는 작업을 해 보았습니다.

그리고 나서 이름이 조금 아쉬웠던 데이터 베이스의 이름을 이렇게 뒤에 minutes가 붙도록 만들어 주었습니다. 이렇게 하는 것으로 일단 작업이 하나 완료가 되었습니다.

우선 8개의 종목에서 1분봉 차트를 가지고 오는데 1분 조금 넘는 시간이 걸린 것을 확인할 수 있기는 있었습니다. 이렇게 해서 다음의 작업에 들어가 보도록 합니다.

먼저 데이터 베이스의 이름인데, 이 이름하나는 제대로 나오는 것을 확인할 수 있었습니다. 이것으로 일단 데이터 베이스의 이름 문제는 어떻게 해결이 된 듯 합니다.

 

 

다만 내용의 문제는 여전히 해결이 되지 않았다는 것을 볼 수 있었습니다. 이것으로 1차 수리 시도는 실패지만, 그래도 다음 시도를 해봐야 합니다.

어디가 문제인가 했더니, 위 스크린샷처럼 first라고 앞자리의 데이터를 가지고 오는 항목에서 문제가 생긴 것을 확인할 수 있었습니다. 일단 [0]를 붙여서 첫 자리만 가지고 오도록 지정해야 합니다.

이제서야 제대로 1분봉 차트가 나오는 것을 확인할 수 있기는 있었습니다. 이것으로 일단 오류가 해결은 되었으니, 이제는 10분봉, 30분봉, 60분봉을 제대로 가지고 오는지에 대해서 한번 알아보도록 해야 합니다.

다음으로 데이터 베이스를 여러번 생성하는 실험을 했기 때문에, 제대로 8개의 종목을 한 곳에 모은 것도 맞는지 일단 확인을 해 보았습니다.

 

이제 이렇게 하는 것으로 연속적으로 데이터 베이스를 여러개 생성해 보도록 합니다. 이 작업으로 인해서 다소간의 시간이 걸리기는 했습니다.

일단 이렇게 하는 것으로 우선 위 스크린샷에서 볼 수 있는 것처럼 시봉차트까지 생성이 되는 것을 확인할 수 있었습니다. 이렇게 하는 것으로 일단 데이터 베이스 생성에는 문제가 없으며.......

데이터 역시 제대로 나온 것을 확인할 수 있었습니다. 이제 이 작업으로 인해서 데이터를 가지고 으는 수집기가 완성이 된 것을 확인할 수 있었습니다. 다음으로는 시간이 월요일인 관계로 주식 시장이 끝나기를 기다렸다가 데이터를 본격적으로 수집할 일이 이제 남아 있습니다.