결과의 정리와 하나의 장벽

안녕하세요?

지난번 포스팅에서 새로운 수익을 가져다 줄 것으로 기대가 되는 모델을 한번 찾아보는 알고리즘을 완성해서 작동을  시켜 보았으며, 이번에는 그 결과를 한번 살펴보는 시간을 가지도록 하며, 동시에 종목코드 000120인 CJ 대한통운에 대해서 강화학습을 시킨 모델이 얼마나 수익을 가져다 주는 지에 대해서 한번 살펴 보고자 합니다.

먼저 계속해서 CJ대한통운의 60분봉 차트를 가지고서 한번 강화학습을 계속해서 시키고 있는 결과입니다. 여기서는 어떻게 해서 수익이 나오는 것을 확인할 수 있었습니다.

그리고 이어서 2번째 강화학습이 완료가 된 상황입니다.

먼저 60분봉 차트에서 현재가의 절대변화량이 300을 초과하는 모든 종목을 찾아보았습니다. 그리고 나서 엑셀의 정렬 기능을 이용해서 가장 큰 값부터 한번 정렬을 시켜 보았습니다.

그렇게 해서 먼저 태광산업이 단타매매에 가장 유리할 것으로 생각이 되었으며, 그 다음으로 LG생활건강과 같은 종목들이 나오는 것을 확인할 수 있었습니다.

그리고 나서 다음으로 이어진 CJ대한통운에 대한 강화학습이 끝난 것을 확인할 수 있었습니다.

이렇게 해서 먼저 위 스크린샷처럼 일단 6개의 모델을 얻는데 성공했습니다.

그리고 나서 백테스트에 들어가기 위해서 위 스크린샷처럼 먼저 예수금을 초기에 10만원에서 100만원으로 올리도록 해 봅니다.

그리고 나서 위 스크린샷처럼 RLTrader를 실행시킨 다음에, 한번 작동을 시켜 보도록 합니다. 역시나 전체의 데이터 중에 25%만을 백테스트에 쓰도록 해 봅니다.

일단은 수익이 나오는 것으로 결과가 나오는 것을 확인할 수 있었습니다.

다음으로는 위 스크린샷처럼 수익이 나오기는 했는데 어째서 인지 첫번째 백테스트와 같다는 생각이 듭니다.

무언가가 점점 잘못되어 간다는 것을 확인할 수 있다는 생각이 듭니다.

결국 이게 어째서 이런 결과가 나온 것인지에 대해서 점점 살펴볼 필요가 있다는 생각이 듭니다.

역시나 상황이 심각하게 잘못되었다는 것을 알 수 있었습니다.

결국 하는 수 없이 모든 모델이 과적합이 된 것이거나, 무언가가 잘못 학습이 된 것이 아닌가 하는 생각이 들었습니다.

그래서 위 스크린샷처럼 한번 확인을 해 보니, 모두 주식을 매수만 하고 백테스트 기간동안 그냥 기다리기만 했다는 것을 확인할 수 있었습니다.

결국 무엇이 문제인가 하고 봤더니, PV가치가 변하기는 변하는데, 문제는 얘네들이 하루에 10%변하는 것도 매우 드문일이라는 생각이 듭니다. 그런데 저는 지연보상 임계치를 무려 20%나 잡아주었으니, 얘네들이 강화학습을 하는데 문제가 있으리라 생각이 듭니다.