5개의 강화학습 모델의 분석결과

안녕하세요?

지난번 포스팅에서 하루종일 매달려서 절반은 어떻게 구글 코랩을 작동 시키는 줄 몰라서 애를 먹었고, 나머지 절반은 이제 겨우 강화학습의 모델을 5개 얻는다고 시간을 다 썼습니다. 이제 이 강화학습 모델들이 어떤 결과를 줄지 모르기 때문에 일단 한번 가지고 와서 백테스트를 해보고자 합니다.

먼저 1번 모델의 학습결과를 각각 10에포크, 200에포크, 600에포크, 1000에포크로 나누어서 보여준 결과입니다. 일단 학습횟수가 많아져도 그다지 별로 달라지지 않는 것을 볼 수 있었습니다.

다음이 2번 모델의 경우인데, 이 경우에도 그다지 많이 달라지는 것을 볼 수 없었습니다. 그냥 주식이 오랜 시간이 지나면서 꾸준히 상승해서 때문인가요? 계속해서 그냥 주식이 상승하는 것만을 볼 수 있었습니다.

3번 모델의 경우에도 그다지 큰 변화를 감지하지 못했습니다.

4번 모델의 경우에도 아무런 차이가 없는 것을 볼 수 있었으며

마지막 모델의 경우에도 학습을 진행하면서 무작위 행동의 양상만 줄었지, 그냥 그대로 나오는 것을 볼 수 있었습니다.

어쨎든 학습결과만 보면 너무 학습을 해서 과적합을 의심할 만한 사례지만, 일단 한번 백테스트에 들어가 보도록 합니다. 이전에 만들어 놓은 RLTrader의 유저 인터페이스가 있었기 때문에, 이를 활용해 보고자 합니다.

일단은 전부 과적합이 되어서 무슨 차이가 있을 것인가 하는 생각이 들어서, 그냥 연달아서 모델만 바꿔서 5번 백테스트를 했는데, 묘하게도 모두 다른 결과가 나오는 것을 볼 수 있었습니다.

일단 모든 모델이 모두 수익을 까먹은 경우는 없었습니다. 다만 모델2번의 경우가 상당히 특이한데, 수익률만 따지면 129.8%라고 해서, 거의 원금의 2배 이상을 얻어오는 것을 볼 수 있었습니다. 거기다가 다른 모델과는 다르게 상당히 다양한 행동의 변화를 보여주는 것으로 보아서 가장 유용한 모델이 아닌가 하는 생각이 들었습니다.

마지막으로 혹시나 다시한번 더 백테스트를 하면 결과가 달라지는 것인가 싶어서 한번 작동을 시켜 보았습니다만, 이번에도 역시나 같은 결과가 나오는 것을 확인할 수 있었습니다. 이로서 여기서도 모델을 한번 만들면 재현성은 있는 것으로 보이며, 어쩌다가 수익모델을 얻는데는 성공했다는 생각이 듭니다.