원숭이 투자자까지 한 이후, 새로운 강화학습의 시도결과

안녕하세요?

우선 이번 포스팅에서는 먼저 원숭이 투자자(MT)라고 해서, 아무런 행동-랜덤한 행동을 하는 투자자를 가지고서 한번 시도를 해서, 그 결과를 보았습니다. 그리고 나서 바뀌었는 조건으로 해서 강화학습을 시도하고 백테스트를 하고나서, 그 결과를 포스팅에 올리고자 합니다.

먼저 RLTrader를 실행시킨 다음에, 위 스크린샷에 보이는 것처럼 원숭이 투자자를 하기 위한 준비를 하도록 해 봅니다. 데이터 베이스 역시 백테스트를 하기 위한 것처럼 준비를 해 봅니다.

먼저 위 스크린샷에 보이는 것처럼, 일단 6번 시도를 하였고, 1번을 제외하고는 미미하지만 수익이 나오기는 나오는 것을 확인할 수 있었습니다. 그래서 지난번 수익이 나온 수익모델의 수익률이 원숭이 투자자와 거의 비슷한 수익률이 나와서, 진짜로 과적합이 맞다는 판단이 들었습니다.

그래서 강화학습의 반복횟수를 위 스크린샷과 같이 600으로 줄여놓도록 하고, 다시한번 구글 코랩에서 강화학습을 다시금 시도해 보고자 합니다.

첫번째 학습은 600으로 줄였음에도 불구하고 위 스크린샷처럼 2시간 40분 가까운 시간이 걸린 것을 확인할 수 있었습니다.

중간에 스크린샷을 찍지 못해서 놓친 것이 있기는 했습니다만, 아무튼 잠시의 시간이 흐르고 나서, 위 스크린샷에서 보이는 것처럼 일단 3개의 강화학습의 모델을 얻는데 성공은 했습니다.

3개의 구글 드라이브에 있는 모델을 가지고 와서, 위 스크린샷처럼 RLTrader를 실행시켜서 백테스트에 들어가 보도록 해 봅니다.

이번에는 두번째 모델에서 약 12%정도의 수익이 짧은 시간안에 나오는 것을 확인할 수 있기는 있었습니다. 아무튼 이것으로 미루어 볼때 원숭이 투자자에 비해서 유의미하게 높은 수익률이기도 하다는 생각이 듭니다.

다만, 그런 두번째 모델도, 약간은 잃다가 수익을 내는 것을 볼때, 마냥 좋기만 한 모델은 아닐 것이라는 생각이 들기도 합니다.

그리고 강화학습의 과정을 보았을 때에도, 위 스크린샷과 같이, 400에포크까지는 꾸준한 수익을 내지 못하다가 600에포크에 다가 와서야 여기서 나오는 것을 확인할 수 있었습니다.

다음으로 두번째 모델의 강화학습 과정인데, 어떻게 된 것인지는 모르겠지만, 일단 강화학습을 하는 내내 꾸준한 수익을 내지 못하는 것을 볼 수 있었습니다.

마지막 세번째 모델의 강화학습 과정입니다. 여기서도 꾸준히 수익을 내지 못하는 것을 볼 수 있습니다. 그래서 이렇게 강화학습에서 수익을 꾸준히 내지 못한다고 해도, 백테스트에서는 낼 수 있기는 있는데, 저렇게 백테스트를 해보기 전까지는 알 수 없다는 것이 문제라면 문제라는 생각이 듭니다.