본문 바로가기

강화학습80

인공지능 주식 투자로 수익을 내기 험난한(?) 여정 안녕하세요? 지난번 포스팅에서 이제야 제대로 된 모델을 만들어 보았다는 이야기를 했는데, 문제는 첫 시도에서는 수익이 나지 않았습니다. 그래서 수익을 내기 위해서 계속해서 trial & error를 통해서 상황을 개선해 나가고자 합니다. 먼저 강화학습의 시작 부분에서 위 스크린샷처럼 지연보상 임계치를 20%에서 0.02라는 2%로 교체를 하도록 합니다. 그리고 혹시나 해서 한번 정책 학습기에서도 교체를 한번 더 해주도록 합니다. 이제 강화학습에 들어가 보도록 해 봅니다. 이번에는 거의 4시간 가까이 걸리는 것을 확인할 수 있었습니다. 일단 이 경우에 있어서는 초반 에포크에서는 엄청난 독박을 쓰는 경향을 보여주고 있습니다. 일단 에포크가 진행이되면 될수록 수익은 올리는데, 무언가 이전에 개미 투자자라면 대.. 2018. 11. 6.
이제서야 시작하는 제대로 된 모델 만들기 안녕하세요? 지난번 까지는 어떻게 코드상에 있는 오류로 인해서... 이건 제 오타라면 덜 뭐하기도 하지, 뭐랄까요? 책에 있던 오타 때문에 이렇게 되었으니, 뭐라고 억욱한 기분이 들기도 합니다만, 아무튼 간에 이제서야 제대로 된 주식 인공지능 만들기에 들어간다는 기분이 듭니다. 그래서 먼저 해야 할 일이 하나 있는데, 가장 먼저 강화학습 시작하는 곳에다가 다시 1000번의 강화학습을 하도록 하고, 다음으로는 discount factor를 일단 0으로 두고, 시작시 무작위 행동의 비율을 50%로 맞추어 주는 것 입니다. 혹시나 해서 policy_learner.py에서 역시 바꾸어 줄건 바꾸어 주도록 하고, 역시 가장 중요한 것은 learning을 true로 바꾸어 주는 것 입니다. 이제 1000번의 학습에.. 2018. 11. 6.
원숭이 투자자로 학습 데이터를 투자한 결과 안녕하세요? 지난번에 엄청난 일이 일어나서 원숭이 투자자조차 제대로 나오지 않은 상당히 충격과 공포의 상황이었습니다만, 그래도 어떻게 그 에러를 잡아내고 이제는 원숭이 투자를 제대로 해봐야 하는 상황이 되었습니다. 지금 생각해 보면, 쓸데 없는 일이기도 했지만, 에포크를 10을 줘야 10회 하는 것이 아니라, 프로그램의 실행을 10회 해야 하는 것 이었습니다. 아무튼 일단 이게 2번째 시도입니다. 3차 시도에 들어갔습니다. 4차 시도에 해당이 됩니다. 이 경우에는 10만원을 넣어서 4천원은 건지는 것을 볼 수 있습니다. 5차 시도인데 이번 원숭이 투자자는 3만 7천원을 버는 것을 볼 수 있습니다. 6차 시도인데 이번에는 투자금을 까먹은 것을 볼 수 있습니다. 7차 시도인데, 이번에는 어떻게 된 것인지 1.. 2018. 11. 6.
원숭이 투자자(MT)를 만들면서 드디어 알아낸 문제점 안녕하세요? 이번 포스팅에서는 지난번에 약속한 대로, 원숭이 투자자(MT)라고 해서 주식투자를 하는데 완전히 랜덤한 행동만을 하는 투자자를 만들어 보는 과정을 포스팅 하고자 합니다. 그런데 이 과정에서 저도 여기가 문제가 있다는 것을 몰랐는데, 생각지도 못한 문제가 노출되었고, 이를 수정하는 과정을 올리고자 합니다. 일단 원숭이 투자자를 만들기 위해서, 이걸 1000번이나 할 필요는 없기 때문에, 그냥 에포크의 숫자는 10회로 만들어 주도록 하고, 시작시 무작위 행동비율 epsilon은 1로 주어서 100%라는 것을 의미하게 되었습니다. 다음으로는 정책 신경망학습으로 나온 결과를 파일로 저장=모델을 생성하는 부분과 비학습 투자 시뮬레이션을 하는 부분을 모두 주석으로 처리를 하였습니다. policy_lea.. 2018. 11. 5.

티스토리툴바