계속되는 수익모델 찾기의 여정-4-

안녕하세요?

거의 일주일이 다 되어 가는데, 계속해서 수익이 나오는 모델을 찾지 못하고 있는 중 입니다. 그래서 이번 포스팅의 내용도 이렇게 수익모델을 찾는 것에 집중이 되어 있습니다.

먼저 yellowoperation프로젝트로 가서, 위 스크린샷에 나와 있는 것처럼 전체 에포크의 숫자를 300에서 200으로 줄여주는 것을 먼저 해야 합니다.

전체적인 에포크의 숫자가 줄어서 인지 몰라도, 강화학습에 걸리는 시간이 상당히 많이 줄어 들어서, 20분은 커녕 15분도 걸리지 않는 것을 확인할 수 있었습니다.

이렇게 해서, 총 5개의 강화학습이 끝이 났으며, 결과적으로 5개의 모델을 얻는데 성공할 수 있기는 있었습니다. 이제 구글 드라이브에서 다운로드 받아서 백테스트에 들어가 보도록 합니다.

RLTrader를 실행시킨 다음에, 위 스크린샷처럼 데이터 베이스와 비율 그리고 나서 결과를 저장할 폴더를 지정해 주도록 합니다.

그런데 이러고도 제 기대와는 반대로 수익이 나오는 모델이 없다는 것을 확인할 수 있었습니다. 여기서 더 에포크의 숫자를 내린다고 해봐도, 역시나 처음 시도했던 100에포크 근처만 갈 수 있습니다.

실제로 여기서도 그렇게 신통하게 수익을 냈다는 것을 볼 수 없기는 없습니다. 일단 모델이 아무런 액션도 취하지 않은 것은 아닌데, 왜 이리도 수익이 안 나오는지 모르겠습니다.

그래서 이번에는 일봉차트를 가지고 와서 강화학습을 해도, 수익이 나오는지 안 나오는지를 살펴 보고자 합니다. 일단 pytrader를 실행시킨 다음에, 조흥의 일봉차트를 가지고 오도록 합니다.

일단 필요한 데이터만 추려내도록 하고, 나머지 데이터는 모두 버리도록 데이터 베이스를 다듬어 주도록 합니다. 그리고 나서 구글 드라이브에 올린 다음 강화학습에 들어가 봅니다.

yellowoperation 프로젝트로 가서, 위 스크린샷처럼 강화학습에 필요한 데이터 베이스의 이름을 지정해 주도록 합니다. 그리고 다음 작업으로 넘어 갑니다.

이번에는 1000에포크의 강화하학습을 해서, 확실하게 작업을 할 수 있도록 만들어 주도록 합니다. 당연하다면 당연하게도 이는 기존의 강화학습 방법을 따라해서 하는 것 입니다.

다만 지연보상 임계치가 1%로 낮아서 그런지는 몰라도, 다소 강화학습에 시간이 걸리기는 걸렸다는 것을 확인할 수 있기는 있었습니다.

일단 강화학습으로 나온 모델을 한번 구글 드라이브에서 다운로드 받은 다음에, RLTrader에서 실행시키기 위해서 위 스크린샷처럼 일봉차트의 50%를 백테스트에 쓰도록 해 봅니다.

그런데 여기서도 전혀 수익이 나오지 않는 것을 확인할 수 있었습니다.

실제로 위 스크린샷을 보시면 백 테스트 도중에 조금도 수익을 내지 못하는 것을 볼 수 있었습니다.

일단 강화학습의 과정에는 무언가 문제가 있어 보이기는 하지만, 여기까지만 해서 확인을 해 보면, 먼저 조흥이라는 종목에서 강화학습을 통해서는 도저히 수익모델을 발견할 수는 없고, 이전에 제가 적용해본 종목을 찾는 알고리즘은 무언가 실패라는 사실을 알 수 있었습니다. 이제 새롭게 종목을 추려낼 수 있는 방법에 대해서 생각해 보아야 겠습니다.