단타매매에서 수익모델을 찾기위한 여정 시즌2

안녕하세요?

지난번 포스팅에서 단타매매를 위한 수익모델을 찾기 위해서 이리저리 노력을 하기는 했습니다만, 문제는 원본 데이터가 잘못되어 있어서 처음부터 다시해야 하는 문제가 나왔습니다. 그래도 이제라도 이걸 알아차기리는 했기 때문에, 이에 대해서 한번 또 다른 도전을 해보고자 합니다.

먼저 첫번째 모델을 얻기위한 강화학습을 시행한 결과입니다. 모든 학습이 총 600에포크 이루어 졌음에도 불구하고 시간이 다 걸리는 데는 3시간 33분이라는 시간이 걸리는 것을 볼 수 있었습니다.

이어서 2번째 강화학습에 들어갔습니다. 여기서 사용된 분봉차트는 28, 29, 30, 31일간의 AJ렌터카에 대한 분봉차트를 가지고 오도록 했으며, 총 데이터의 75%가 강화학습에 사용이 되었습니다.

이번에도 모든 학습이 완료가 되는데 총 3시간 30분이 넘게 걸리는 것을 관측할 수 있었습니다. 이렇게 해서 200에포크에서 3배 늘렸음에도 불구하고, 4시간 이상은 걸리지 않는 것을 볼 수 있었습니다.

그런데 3번째 모델을 만들대 부터는 시간이 짧아지기 시작해서 2시간 20분정도 걸린 것을 볼 수 있었습니다. 저는 분명히 하드웨어 가속을 더 추가하거나 코드를 수정한 것은 없이 했습니다.

네번째 모델을 얻기 위한 강화학습을 시행했는데, 이번에는 걸리는 시간이 더 짧아진 것을 확인할 수 있었습니다. 아무래도 점점 강화학습에 걸리는 시간이 짧아 지는 듯 합니다.

5번째 모델을 얻기 위해서는 강화학습이 겨우 3분 더 걸렸을 뿐, 처음에 비하면 상당히 짧아진 것을 확인할 수 있었습니다. 이게 아무래도 구글에서 따로 개발한 TPU의 위력이 아닌가 합니다.

6번째 모델을 얻기 위해서는 더 짧아져서 이제는 거의 2시간 하고 조금만 더 걸리는 것을 볼 수 있었습니다.

그런데 마지막 모델인 일곱번째 모델을 얻기 위해서는 조금 더 속도가 느려져서 2시간 20분이 걸린 것을 볼 수 있었습니다. 그래도 중요한 것은 일단 이 작업을 완료하는 데 하루종일 걸리는 것은 아니라는 것 입니다.

이렇게 해서 구글 드라이브에서 7개의 후보 모델이 나와 있는 것을 볼 수 있었습니다. 이제 이 모델들을 백테스트에 들어가서 과연 얼마나 수익이 나올지 보고자 합니다.

이전에 만들어 놓았는 RLTrader를 실행시킨 다음에, 위 스크린샷처럼 제 구글 드라이브 계정에서 컴퓨터로 다운로드 받은 모델파일을 가지고서 한번 작업에 들어가 보고자 합니다.

다음으로는 위 스크린샷처럼 첫번째 모델을 백테스트 한 결과입니다. 일단 여기서는 유감스럽게도 수익이 전혀 나오지 않았다는 것을 볼 수 있었습니다.

그리고 두번째 모델은 매수만 하고서 전혀 매도를 하지 않은 것을 제외하면, 이 모델 역시 전혀 수익을 내지 못하는 것을 볼 수 있었습니다.

세번째 모델의 경우에도 수익과는 거리가 먼 결과를 보여주고 있습니다. 아직 4개의 모델을 백테스트 하는 것이 남아 있습니다만, 일단 포스팅이 너무 길어지는 면이 있어서 여기서 끊도록 하겠습니다. 나머지 모델과 강화학습, 그리고 백테스트의 모든 결과에 대해서는 다음 포스팅에서 다루고자 합니다.