새로운 agent.py를 가지고서 하는 수익모델 찾기

안녕하세요?

지난번 포스팅에서 프로그램의 묻지마 매수를 막고서, 매수결정을 인공지능에서 내릴 때 움직이도록 만드는 데는 성공했습니다. 이제는 이렇게 나오는 프로그램을 가지고서 어떻게 수익모델을 만들 수 있는지 없는지를 한번 살펴 보고자 합니다. 지난번에 1번의 강화학습으로 모델이 나왔기 때문에 4개의 모델을 더 만들고 나서 백테스트를 하고자 합니다.

두번째 강화학습이 끝나서 나서, 여기서도 제가 의도한 대로 움직여 준다는 것을 확인할 수 있었습니다.

그리고 나서 다음 강화학습의 모델도 제 의도대로 움직여 준다는 것을 확인할 수 있었습니다.

세번째 강화학습의 과정에서는 위 스크린샷에서 보이는 것처럼 묻지마 매수를 하지는 않았는데, 모두 매도 결정만 해서 잘 모르는 형태로 나왔는 것을 볼 수 있었습니다.

다음으로 나온 결과는 제 기대와 어느정도 부합이 되기는 되었는게, 먼저 위 스크린샷에서 나오는 것처럼 우선 매수 결정이 나온 다음에 매도결정으로 차익을 실현하는 것을 확실하게 볼 수 있었습니다.

이제 위 스크린샷의 내용을 RLTrader의 agent.py에서도 집어넣어서 바꾸어 주도록 합니다. 백테스트 과정에서 나오는 묻지마 매수가 어떤 결과를 만들지 모르기 때문입니다.

다음으로 RLTrader를 작동시킨 다음에, 위 스크린샷처럼 모델을 하나하나 지정하도록 하고, 50%의 데이터를 가지고서 한번 작업에 들어가 보도록 합니다.

이렇게 해서 연속적으로 강화학습으로 나온 모델들의 백테스트가 끝났습니다. 그런데 문제는 여기서도 2종류의 패턴이 반복되는 것을 확인할 수 있었습니다.

그래서 진자로 이렇게 나온 것인지 알아보기 위해서, 한번 위 스크린샷처럼, 백테스트의 결과인 그래프를 한번 보니까, 진짜로 위 스크린샷처럼 2종류의 패턴이 나온 것을 확인할 수 있었습니다. 그래서 혹시나 강화학습의 양이 부족한 것이 아닌가 하는 생각이 들기도 하기에, 다음번에는 300에포크로 더 늘린 강화학습으로 나온 모델을 가지고서 한번 작업을 하도록 해 보겠습니다.