성신양화의 주식으로 강화학습을 한 결과

안녕하세요?

지난번 포스팅에서 코스피의 종목을 탐색하는 것을 거쳤고, 종목코드가 004989라는 성신양화인가 하는 우선주인 종목이 유력해 보인다는 것을 찾아낼 수 있었습니다. 그래서 이번 포스팅에서는 이런 점에 힘입어서 한번 강화학습을 한 다음에, 이 강화학습에서 나온 모델들을 한번 백테스트를 해서 수익이 나오는지 여부를 보고자 합니다.

여기서도 어떻게 학습이 진행이 되면 될수록 속도가 덜 걸리는 것이 적용이 되기는 되는 것인지 몰라도, 일단 첫번째 강화학습 보다는 두번째 강화학습에서 시간이 덜 걸리기는 걸렸습니다.

계속해서 강화학습을 이어 가도록 해 봅니다.

이렇게 해서 총 5개의 강화학습의 모델이 제 하드 디스크에 저장이 되는 것을 확인할 수 있었습니다.

이제 RLTRader를 다시 실행을 시켜서 한번 해당하는 종목의 백테스트에 들어가 보도록 합니다.

그런데 막상 백테스트에 들어가 보니까, 정작 수익이 나오지 않는 다는 것을 확인할 수 있었습니다.

거기다가 수익을 잘 내다가 갑자기 한번에 훅 잃어버린 것도 아니고, 그냥 처음부터 제대로 적응을 못하는 것을 보여주고 있습니다.

일단 첫번째 강화학습의 모델입니다. 각각 10, 200, 400, 600에포크 때의 모습입니다. 일단 400 에포크 부터 수익을 많이 내고 있음을 볼 수 있습니다.

그런데 두번째 강화학습 모델의 학습과정을 살펴보면, 조금은 이상한 패턴을 보이고 있는 것을 볼 수 있습니다. 일단 여기서도 최종적으로는 수익을 내기는 냅니다.

그런데 3번째 강화학습의 모델을 보면, 전혀 수익을 내지 못하다가 학습이 진행이 되면 될수록 오히려 학습을 못하는 것을 확인할 수 있었습니다.

4번째 강화학습 모델의 학습과정인데, 여기서도 역시 강화학습을 하나마나 수익이라고는 전혀 내지 못하는 것을 볼 수 있었습니다.

마지막 5번째 모델인데, 여기서는 점점 수익을 더 많이 내는 식으로 강화학습이 이루어 지는 것을 확인할 수 있기는 있었습니다. 일단 여기까지만 해서는 알기 어려우니, 원숭이 투자자(MT)를 진행해 보고자 합니다.

RLTrader를 다시금 작동시켜 보아서, 한번 원숭이 투자자라고 하는 무작위 투자만을 하는 프로그램을 작동시켜 보고나서, 강화학습의 결과와 비교해 보도록 합니다.

일단 평균적으로 원숭이 투자자는 처음 시작한 100만원에서 아주 소량만을 잃는 것으로 나오는 것을 볼 수 있었습니다. 이에 비해서 강화학습의 모델은 상당히 큰 손실을 내는 것을 볼 수 있었습니다.

마지막으로 원숭이 투자자들의 백테스트 결과를 보고 있습니다. 얘네들의 결과를 보다보면, 일단 강화학습의 결과들이 원숭이 투자자만도 못하다는 것을 볼 수 있었습니다. 그런데 문제는 이게 과적합이라서 이런 문제가 생긴 것인가 하는 생각을 하기에는 5개의 강화학습 과정중 3개는 분명히 중간부터 수익을 내는 것으로 볼때... 일단 과적합이라고 생각이 들지만, 직접 600에포크 보다 더 적은 에포크로 강화학습을 해보기 전에는 알 수 없는 것이 문제라면 문제입니다.