계속되는 수익모델 찾기의 여정-2-

안녕하세요?

계속해서 종목코드가 002600 인 조흥에서 수익을 낼 수 있는 모델을 찾을 수 있는 강화학습의 모델을 찾는 시도를 하였으며, 이번 포스팅에서는 이와 관련된 내용을 포스팅 하고자 합니다.

먼저 yellowoperation으로 가서, 위 스크린샷에 나오는 것처럼, 전체 에포크의 숫자를 400으로 잡아 주고서 한번 작업에 들어가 보도록 합니다.

첫번째 강화학습에서는 1시간 반이 넘어 걸리는 시간이 끝나고 나서는 위 스크린샷처럼 강화학습이 마무리가 된 것을 확인할 수 있었습니다.

마지막 5번째 모델에 가서는 위 스크린샷에 나오는 것처럼 1시간 반이 아니라 30분만 걸리는 것으로 강화학습이 마무리가 되는 것을 볼 수 있었습니다.

구글 드라이브에서 관련된 강화학습의 모델을 다운로드 받고나서, 위 스크린샷처럼 RLTrader를 작동시킨 다음에 백테스트에 들어가 보도록 합니다.

그런데 이번에도 어떻게 된 것인지 제 기대와는 다르게 전혀 수익이 나온 모델이 나오지 않는 것을 확인할 수 있었습니다. 일단 백테스트 결과인 그래프를 보도록 하겠습니다.

일단 다양한 형태를 보여주는 듯 합니다만, 문제는 정작 PV값의 그래프에서는 처음에 전혀 수익을 내지 못하다가 그냥 적자가 되는 것을 볼 수 있었습니다.

일단 첫번째 강화학습의 과정입니다. 이 과정에서는 위 스크린샷에 보인느 것처럼 300에포크에서 가장 적절한 수익을 마지막에 내면서, 마지막 400에포크에서는 오히려 손해를 보고 있습니다.

두번째 강화학습의 모델에서는 위 스크린샷에 나오는 것처럼 200에포크 이후에 수익을 꾸준히 내는 것을 볼 수 있었습니다. 다만 이게 왜 백테스트에서는 반영이 안 되는 지는 모르겠습니다.

세번째 강화학습의 과정역시 두번째 강화학습의 모델이 나오는 과정과 비슷하다는 것을 알 수 있었습니다.

아예 4번째 강화학습에서는 무엇이 잘못 된 것인지 몰라도, 전혀 수익이 나오지 않다가 400에포크에 와서야 수익을 내는 것을 볼 수 있었습니다.

마지막 모델의 강화학습 과정입니다. 이 과정에서도 역시 마지막 400에포크에 다가갈수록 더 수익이 크게 증가되는 방향으로 가기는 갑니다만, 문제는 이렇게 수익이 후반부에 나오고, 너무 나중에 나오는 경향이 있는 것으로 봐서 여전히 과적합이 안니가 하는 의심이 듭니다.