계속되는 수익모델 찾기의 여정

안녕하세요?

지난번 포스팅에서도 수익모델이 나오지 않아서, 하는 수 없이 이번에는 지연보상 임계치가 너무 낮아서 생긴 문제가 아닌가 하는 생각이 들었습니다. 그래서 이번에는 지연보상 임계치를 1%인 0.01로 높여서 한번 강화학습을 해보고자 합니다.

당연하다면 당연하게도 첫 단계로는 yellowoperation에 있는 main.py에 가서, 한번 위 스크린샷처럼 지연보상 임계치를 바꾸어 보도록 합니다.

첫번째 강화학습은 구글 코랩에서 2시간 30분을 넘겨서 완성이 되는 것을 볼 수 있었습니다. 지난번에 0.1%의 지연보상 임계치를 가지고서 작업을 하던 것에 비하면 조금 더 빨라진 정도입니다.

일단 이렇게 5개의 강화학습의 모델이 확보가 되었기 때문에, 모두 구글 드라이브에서 다운로드 받은 다음에 RLTrader를 작동시킨 다음에 백테스트에 들어가 보도록 합니다.

일단 첫번재 백테스트에서는 그렇게 좋은 결과가 나오지 않는 것을 볼 수 있었습니다. 일단 남은 4개의 모델 중에서 하나는 수익이 나오리라 생각을 하고 있습니다.

그런데 제 기대와는 반대로 4개의 모델 어느 것도 하나도 수익이 나오지 않는 것을 확인할 수 있기는 있었습니다. 이게 어떻게 된 일인지 찬찬히 살펴 보아야 합니다.

먼저 위 스크린샷을 보시면 모델들이 지난번 처럼 그냥 주식을 사고나서 기다리기만 하는 것은 아니라는 것을 볼 수 있습니다. 다만 그렇게 하고도 수익이 전혀 나오지 않는 다는 것을 볼 수 있었습니다.

일단 첫번째 모델의 강화학습 과정을 보시면, 600에포크 까지는 그럭저럭 수익을 내고 있으면서 잘 선방을 했는데, 1000에포크에 가면서 전혀 수익을 내지 못하는 것으로 바뀌는 것으로 볼 수 있었습니다.

그런데 두번째 모델의 강화학습 과정을 보시면, 전혀 수익이라는 것을 내지 못하는 것을 볼 수 있습니다. 이건 어떻게 된 경우인지 모르겠지만, 그닥 좋은 것은 아니라는 생각이 듭니다.

이번 3번째 모델의 강화학습 과정에서는 200에포크 까지는 전혀 수익을 내지 못하다가 600에포크 부터 수익을 내기 시작하는 것을 볼 수 있었습니다.

그리고 4번째 모델의 강화핛브 과정인데, 여기서는 200에포크의 강화학습 부터 제대로 수익을 내기 시작해서 계속해서 꾸준히 학습 데이터에 한해서는 수익을 내고 있는 것을 볼 수 있습니다.

다음으로 마지막 다섯번째 강화학습 모델의 모습입니다. 여기서도 600에포크 부터 제대로 수익이 나오기 시작하는 것을 볼 수 있습니다. 일단 2번재 모델의 강화학습 과정을 제외하고는 모두 학습이 진행이 되면 될수록 수익이 나오는 경향이 있기는 있습니다. 다만....... 이게 과적합이 된 것이 아닌가 하는 생각이 듭니다.