TPU를 이용한 강화학습으로 모델의 작성

안녕하세요?

지난번 시간에는 GPU를 이용해서 2시간 43분의 시간이 걸려서 강화학습의 모델을 하나 만들어 내는 것을 보았습니다. 이번에는 구글에서 TPU라고 해서 기계학습을 위한 전용 보드를 사용해서 기존의 CPU와 GPU에 비해서 훨씬 빠른 연산을 하는 것을 보여 주었다고 하는데, 일단 저로서는 이게 더 빠른 하드웨어라는 것만 알 수 있었습니다. 이번 포스팅에서는 이게 얼마나 더 빨라지는 가를 보면서, 강화학습의 모델을 4개 만들어 보고자 합니다.

먼저 노트설정의 항목으로 가서, 위 스크린샷과 같이 TPU를 하드웨어 가속기로 설정해 주도록 합니다.

그런데 GPU를 사용했던 때에서는 멀쩡했던 코드가 왜인지 모르게 에러를 일으키기 시작하는 것을 볼 수 있었습니다.

그래서 이번에는 matplotlib의 pyplot을 미리미리 import하고나서 한번 작업을 하고자 합니다.

1시간 25분이 결러서 강화학습이 끝이 났으며, 이 결과로 인해서 훨씬 더 TPU가 빠르다는 것을 알 수 있었습니다.

그리고 제대로 결과가 저장이 되었나 살펴보니, 제대로 모델파일로 만들어 진 것을 볼 수 있었습니다.

다음으로는 두번째로 TPU를 이용해서 강화학습의 모델을 만들고자 합니다.

그리고 제대로 강화학습의 모델이 나왔는 것을 볼 수 있었습니다.

그리고 3번째 모델을 얻었을 때는 1시간 30분이라는  시간이 걸렸는데, 여기서 주의해야 하는 것은 왜인지 matplotlib.pyplot을 main.py를 실행하기 전에 그때 그때 import하지 않으면 오류가 나는 듯 합니다. 물론 저도 이건 정확한 원인은 모르지만, 일단 할 때마다 해 놓는 것이 좋겠다는 생각이 듭니다.

이렇게 해서 TPU를 이용해서는 3번째, GPU를 이용해서 만든 강화학습의 모델까지 합산하면 모두 4개의 모델이 완성이 되었는 것을 알 수 있었습니다.

역시 1시간 반의 시간이 흐른 다음에, 위 스크린샷과 같이 총 5개의 모델이 완성이 되었는 것을 볼 수 있었습니다. 이렇게 함으로써 좀 늦은 감이 있기는 있지만, 그래도 총 5개의 강화학습 모델을 얻을 수 있었는데, 다음번 포스팅에서는 어떻게 이 모델들이 학습을 하였으며, 백 테스트 결과는 어떻게 나오는 지를 확인 하고자 합니다.