100에포크로 다시한번 강화학습을 해본 결과

안녕하세요?

지난번 포스팅에서 그동안 저를 괴롭히던 문제를 해결을 하기는 했습니다. 이제는 제대로 된 학습 데이터를 바탕으로 해서 다시한번 구글 코랩에서 강화학습을 들어가 보고자 합니다.

먼저 yellowoperation프로젝트로 가서, 코드를 전부 수정해 주도록 합니다. 당연하다면 당연하게도 dropna()함수도 있다면 있는 것이고, 학습 데이터의 분리역시 만들어 주었습니다.

그리고 나서 학습 에포크의 횟수를 100으로 줄여서 한번 강화학습에 들어가 보고자 합니다.

일단 dropna()로 nan이 들어간 행을 제거한 덕분인지 학습데이터가 많이 줄어들었고, 그 덕분에 9분도 안 걸리는 것을 확인할 수 있었습니다.

잠시 시간이 흘렀고, 5개의 강화학습의 모델을 얻는데 성공하기는 성공했습니다. 이제 모두 구글 드라이브에서 다운로드 받아서, RLTrader에서 한번 백테스트를 해 보아야 합니다.

그리고 나서 위 스크린샷처럼 RLTrader내에서도 데이터를 전처리 하는 과정을 바꾸어 주도록 합니다. 먼저 전처리 메소드를 지나고 나서 짤라주도록 합니다.

그리고 나서 학습에 사용될 데이터를 위 스크린샷과 같이 학습 데이터의 분리를 만들어 주도록 합니다. 이렇게 하는 것으로 대략적인 RLTrader에서 백테스트를 위한 준비는 끝이 났습니다.

다음으로는 RLTrader를 실행시켜서, 위 스크린샷과 같은 방법으로 한번 작업을 시키도록 해 보도록 합니다.

일단 지난번과는 다르게 2가지 종류로 패턴이 나오는 것은 막을 수 있었습니다. 다만 한개의 모델도 수익을 내지 못하는 것을 볼 수 있었습니다.

일단 위 스크린샷을 보시면, 단 한개의 모델도 한번도 수익을 내지 못했으며, 백테스트 기간동안 모두 PV값이 아래로 하강만 하는 것을 확인할 수 있었습니다. 그래서 강화학습이 제대로 되지 못해서 이런 결과가 나온 것이 아닌가 하는 생각이 들어서, 다음번에는 10배 올려서 1000에포크에서 한번 강화학습을 해보고자 합니다.