300에포크로 올려서 도전해본 수익모델 찾기

안녕하세요?

지난번 포스팅에서 약속드린 바와 같이, 일단 300에포크로 강화핛브의 횟수를 늘려본 다음에 한번 그 결과를 보고자 합니다. 다만 미리 말씀부터 드리자면, 지금은 딱히 이렇다 할만한 강화핛브으로 제대로 된 내용이 나오지는 않았습니다.

먼저 yellowoperation으로 가서, 위 스크린샷과 같이 전체 학습에 사용이 될 에포크의 숫자를 100에서 300으로 늘려 보도록 합니다.

첫번째 강화학습의 결과, 1시간 약 40분 정도 걸린 다음에 구글 코랩에서 강화학습이 완료가 된 것을 확인할 수 있었습니다.

일련의 과정을 거친 다음에, 총 5개의 강화학습이 완료가 된 것을 확인할 수 있었습니다. 다만 이 과정에서 모두 1시간 40분에서 2시간 가까이 걸린 것을 생각해 보면 참 많은 시간이 걸리기는 걸렸습니다.

이제 강화학습에서 나온 모델을 모두 구글 드라이브에서 다운로드 받은 다음에, RLTrader를 실행시킨 다음에 백테스트를 위스크린샷처럼 설정해서 들어가 보도록 합니다.

일단 첫번째 강화학습의 결과 아무것도 하지 않은 것을 확인할 수 있기는 있었습니다.

그리고 300에포크에서도 지난번과 다를 것도 없이 그대로 나온 것을 확인할 수 있었습니다.

실제로 결과를 표현한 그래프를 보면, 위 스크린샷을 보면 딱 한경우를 제외하고는 정말 아무것도 하지 않은 것을 확인할 수 있었습니다.

일단 강화학습이 어떻게 일어났는지 그 과정을 보고 있습니다. 점점 에포크가 진행이 되면 될 수록, 점점 아무런 행동을 하지 않는 것으로 가는 것을 확인할 수 있습니다.

그나마 마지막 300에포크가 되면서 다른 행동을 보여준 경우가 딱 2개 있었습니다. 다만 이런 경우가 잇었지만, 그래도 결국 수익은 마지막 300에포크에서 내지 못했으며, 이러한 변화가 전혀 반영이 되지 않는 것을 확인할 수 있었습니다. 아무래도 너무 에포크의 숫자가 적은것이 아닌지 조심스럽게 생각이 듭니다.