2라운드의 구글 코랩(google colab)작전 -11-

안녕하세요?

 

지난번 구글 코랩의 작업은 절반의 성공이라고 이야기를 했습니다. 이렇게 된 이유는 일단 구글 코랩에서 돌리는 것 까지는 어떻게 성공하기는 했습니다만, 문제는 그 속도가 상상이하로 느렸기 때문입니다. 그래서 어떻게 더 빠르게 할 수 있는 것이 없는지 한번 작업을 해 보고자 합니다.

 

먼저 시도를 한 것은 구글 코랩에서 GPU를 동원해서, 이걸로 하드웨어를 가속하면 어떤 변화가 나오는지 한번 알아보고자 했습니다.

 

일단 이렇게 구글 코랩에서 2번째 실험이 진행되고 있는 동안에, 다음으로 진행을 하고자 하는 것으로는 위 스크린샷에서 볼 수 있는 것처럼 어떻게 데이터 베이스 파일에 문제가 생긴 것이 확실해서 가지가지 압축을 풀기 위해서 시도란 시도는 다 해보고 있었습니다.

 

그런데 계속해서 계속해도 어떻게 100MB가 넘는 주식의 데이터 베이스를 올릴 수 가 없어서 계속해서 좌절을 하고 있는 상황이 이어지고 있었습니다.

 

 

결국 수리라고 할 수 있는 것도 해보고, 다른 옵션으로 분할압축을 합치기도 해 보았습니다만, 그 결과가 신통치 않게 나오는 것만 있었습니다.

 

이러는 와중에 GPU 하드웨어 가속을 받는 구글 코랩에서 작업이 완료가 되기는 되었습니다. 이렇게 해서 이제 부터 해야 하는 것으로는 시간이 얼마나 감속이 되었는가 하는 것을 봐야 합니다.

 

일단 56분에 비해서 많이 줄어들어서 36분이 걸린 것은 좋지만, 문제는 이 시간이 이래도 너무가 길다는 것입니다. 이러다가 잘못하면 3파트로 나누어진 코스피의 계산에 2일 이상이 걸릴 수도 있습니다.

 

그래서 마지막으로 TPU라고 해서 구글에서만 제공을 하고 있는 특유의 하드웨어를 사용해 보았습니다. 일단 이 경우에는 어떻게 나오는지 보고자 했습니다.

 

제법 시간이 걸린 다음에야 어떻게 결과가 나오는 것을 확인할 수 있기는 있었습니다. 일단 이렇게 해서 결과가 나오기는 했는데, 얼마나 시간이 걸렸느냐 하면..........

 

실망스럽게도 50분이 약간 넘어서 걸린 것을 확인할 수 있었습니다. 이래서야 GPU만 써 먹을 수 있지만, 이것도 빠른 것이 아니라서, 한번 구형 노트북에서 같은 조건으로 얼마나 시간이 걸리는 지를 비교한 다음, 다시한번 결론을 내려야 할듯 합니다.