데이터 수집기(Data Harvester)의 데이터 수집

안녕하세요?

 

이번 포스팅에서는 드디어 데이터의 수집에 들어가는 과정에 대해서 이야기를 적어 보고자 합니다. 일단 결과부터 이야기를 하자면, 코스피에서는 10분봉, 30분봉 60분봉 데이터를 모두 얻는데 성공했지만, 문제는 코스닥에서는 시간이 없어서 그만 10분봉 만 건지는 것으로 만족해야 했습니다.

일단 6일날 밤까지는 어떻게 해서 30분봉 까지 데이터 베이스를 확보하는 데는 성공했습니다. 하지만 이미 11시가 넘어서 날짜가 바뀌어서 데이터 베이스가 나누어 질 우려가 있기 때문에 하는 수 없이 잠시 기다리도록 했습니다.

마지막으로 코스피에서 1시간 시봉차트라고 해야 할까요? 60분봉 차트라고 해야 할까요? 아무튼 이렇게 해서 이제 7일로 날짜가 바뀐 상황에서 데이터의 수집에 들어가 보고자 합니다.

 

일단 코스피에서 마지막으로 데이터량이 가장 적어 보이는 시봉차트를 가지고 오는 것에만 2시간 13분이 걸린 것을 확인할 수 있었습니다. 이제 남은 코스닥의 데이터를 확보하러 가 보도록 합니다.

코스닥에서 10분봉 차트를 가지고 오기 위해서 작업을 시작 하였습니다. 그런데 유감스럽게도 이 작업은 거의 6시간 이상 걸리는 것을 확인할 수 있었습니다. 즉 이미 이 작업을 마치고 나니, 주식 시장이 열려서 하는 수 없이 남은 작업은 중단해야 했습니다. 아무래도 데이터의 확보는 금요일 오후 3시 30분이 지난 다음 데이터 수집을 들어가야 할 것으로 보입니다.