아직도 문제가 많은 설날 이후에 열린 주식투자

안녕하세요?

설날이 끝나고 처음으로 열린 주식시장에 모의 주식투자로 제 인공지능 주식 투자자를 적용하는 것을 시도했습니다만, 이래저래 부족한 점이 아직도 많다는 것을 확인만 할 수 있었는 하루라는 생각이 들었습니다. 아무튼 이렇게 부족하고 엉망진창이기는 해도, 그래도 이를 기록으로 남기고자 이번 블로그 포스팅에서 올리고자 합니다.

우선 지난번 포스팅에서 언급한 대로 강화학습을 구글 코랩에서 시도를 하기는 했습니다만, 문제는 1000에포크에 도달하기도 전에 그만 구글 드라이브와의 연결이 끊겨 버리는 바람에 중간에 강화학습이 중단되어 버리는 문제가 생겨 버리고 말았습니다. 한마디로 시간은 시간대로 버리고, 이걸 신경쓴다로 잠은 잠대로 제대로 자지도 못한 상황이 되어 버리고 말았습니다.

그렇게 아침 9시가 되어서 주식시장이 열리는 시간이 되었기 때문에, 어쨋든 간에 이를 한번 pytrader를 돌리고자 했습니다만, 문제는 위 스크린샷처럼 2행 이상의 데이터가 필요한 곳에 1행만의 데이터가 오는 에러가 나오는 에러는 여전히 반복되는 것입니다. 이 역시 해결해야 하지만.........

아무튼 일단 pytrader는 pytrader대로 제대로 알아서 돌고 있었기 때문에, 내버려두고, 계속해서 yellow operation을 계속 손보도록 합니다. 이전에 생각했는 것이 지연보상 임계치가 올라가면 강화학습의 속도가 빨라지리라 생각했습니다만, 그렇지도 않았기 때문에, 1000을 곱해준 것을 도로 취소해 줍니다.

그리고 나서 한번 1%에 해당을 하는 지연보상 임계치를 0.01로 설정을 하고 나서, 여기서 한번 다시금 강화학습을 진행시켜 보고자 합니다.

그래서 위 스크린샷처럼 한번 main.py와 agent.py를 새로 업로드 해 보도록 합니다. 당연하다면 당연하게도 기존에 있던 py파일들은 미리 제거해 주도록 합니다.

그런데 잘 움직이던 pytrader가 중간에 멈추는 것을 확인할 수 있었습니다. 일단 여기서는 큰 에러는 아니었기 때문에 다시 시작을 하면 되기는 되었습니다만.......

이렇게 fatal error라고 하면서 overstack 이라는 에러도 여전히 뜨는 것을 확인할 수 있었습니다. 이 에러도 역시나 어떻게 해결해야 할지 아직은 난감하다는 생각이 듭니다.

일단 에러가 많이 일어나지는 않았기 때문에, 일단 위 스크린샷처럼 한참이나 제대로 돌아가다가 아주 가끔씩 에러가 나오는 것을 확인할 수 있었습니다. 일단 에러가 3번 정도 난 시점에서는 이미 옿수 2시 30분을 넘긴 시점이였습니다.

어쨎든 간에 어떻게 해서 오후 3시 30분이 지나서, 주식시장이 폐장하는 시간이 되었고, 모의주식투자에서 주문을 넣을 수 있는 시점도 여기서는 끝이 나기는 났습니다.

문제는 이렇게 하루종일 수익모델을 가지고서 pytrader를 돌려보기는 보았습니다만, 문제는 한건의 거래도 이루어 지지 않았다는 것을 확인할 수 있었습니다.

실제로 이러한 것인지 한번 action_list를 열어서 확인을 해 보니, 위 스크린샷과 같이 한건의 매수나 매도도 나오지 않은 것을 확인할 수 있었습니다.

그리고 주식시장이 열린지 얼마 되지 않아서 작동을 시킨 강화학습도 겨우 8시간 20분을 넘겨서야 끝이 나는 것을 확인할 수 있었습니다. 그래서 이렇게 8시간이고 걸려서야 제대로 일이 되지 않는 다는 생각이 듭니다.

거기다가 뭐라고 해야 할까요? 1분봉 차트를 가지고서 강화학습을 시키면서 단 1건의 수익을 올린 경우도 나오지 않았다는 것을 확인할 수 있었습니다.

그래서 어쨎든 간에 일단 제대로 백테스트를 해보기 위해서, 위 스크린샷처럼 한번 RLTrader를 실행시킨 다음에, 위 스크린샷처럼 설정을 해 주도록 합니다.

혹시나 했지만, 역시나 라고 해야 할까요? 일단 어찌되었건 건에 단 1건의 수익도 올리지 못한 것을 확인할 수 있었습니다. 이렇게 해서 보면 이런 강화학습이 무슨 의미가 있는가 하는 생각이 들기도 합니다.

다음으로는 백테스트의 결과를 한번 백테스트를 해본 결과입니다. 일단 뭐라고 해야 할까요? 너무 보유만 하고 있으려고 하는 경향이 뚜렷한 나머지 이 모델로 가지고서는 그저 주식을 구매한 다음 몇 달 동안 놔두고 있는 것이 더 편한 것이 아닌가 하는 생각이 들 정도입니다. 아무튼 이 글을 올리는 시점에서 생각해보면, 이 시점에서는 구글 코랩을 사용한 강화학습에 왜 이리도 많은 시간이 걸리는 지에 대해서 아직도 몰랐기 때문에, 학습시간에 너무 매달린 것이 아닌가 하는 생각이 듭니다.