본문 바로가기

무모한 도전-주식 인공지능 만들기1651

구름 IDE를 이용한 작전 -2- 안녕하세요? 이번 포스팅에서는 지난번 포스팅에서 어떻게 제 데스크톱 상에서 데이터 베이스 파일을 분할하는데 성공했는데, 이런다고 성공이 아니고, 한개로 합치는 과정인 join을 하는 과정이 필요합니다. 그래서 이번 포스팅에서는 합치기를 해서 도로 합쳐 주도록 하고, 이걸 실행이 가능한 것인지 테스트까지 하는 과정을 거쳐야 했습니다. 먼저 위 스크린샷과 같이 일단, 새로운 py파일을 하나 만들어 주도록 합니다. 이렇게 하나 만들어서 분할하는 기능을 하는 것 하나, 그리고 합치는 기능을 하는 것 하나 이렇게 하도록 합니다. 그리고 나서 py파일을 머릿 부분입니다. 역시나 import하기 위한 모듈로는 os모듈이 전부이고, 여기서는 반대로 분할파일들이 있는 폴더를 지정한 다음에, 어떤 파일로 나올지를 결정해야.. 2020. 7. 19.
구름 IDE를 이용한 작전 -1- 안녕하세요? 이제까지 구글 코랩을 이용한 작전의 포스팅에서 간간히 언급이 되었는 구름 IDE라는 것이 있었습니다. 이것도 비슷한 것이기는 하지만, 아무튼 이 구름 IDE라는 것은 일종의 클라우드 IDE라고 해서, 개발자의 컴퓨터에서 직접 구동을 하는 것이 아니라, 서버를 빌려서, 서버안의 일정한 자원을 먹고서 서버 컴퓨터에서 작업을 하도록 하는 것이 특징입니다. 그런데 이제까지 이걸 작업하면서 무엇이 문제인가 하면, 바로 주식의 데이터 베이스 크기가 문제라면 문제였습니다. 일단 구름IDE에서는 20MB까지 업로드할 파일의 용량 제한이 있었습니다. 그래서 이걸 가지고서 기존에는 분활압축을 해서 올린 다음, 리눅스 환경에서 압축해제를 하면 CRC에러가 나와서 답이 없기는 했습니다. 그래서 인터넷에서 자료를 .. 2020. 7. 19.
2라운드의 구글 코랩(google colab)작전 -작전종료- 안녕하세요? 이번 포스팅에서는 짧게나마 이렇게 해서 정말 오랫동안 이어져 왔던 구글 코랩에 관한 작전의 마무리를 짓고, 한번 결론을 내어 보고자 하는 시간을 가져 보고자 합니다. 일단, 결론부터 말하자면 이건 절반의 성공은 성공이라고 할 수 있겠습니다. 우선 구글 코랩에서 제 py파일을 어떻게 진행시키는 데는 성공시킬 수 있었습니다. 우선 이 구글 코랩에서 2종목을 테스트 하는데 걸린 시간이 어느정도 시간인지 알아보기 위해서, 이전에 전체 코스피 리스트의 1/3을 하는데 2일 이상이 걸린 소니 바이오에서 한번 작업을 돌려 봤습니다. 그런데 제 예상과는 다르게, 여기서도 2종목을 계산하는데 시간이 그렇게 걸리지 않은 것으로 나오는 것을 확인할 수 있었습니다. 이게 구글 코랩의 GPU가속으로 해서 36분 걸.. 2020. 7. 18.
2라운드의 구글 코랩(google colab)작전 -11- 안녕하세요? 지난번 구글 코랩의 작업은 절반의 성공이라고 이야기를 했습니다. 이렇게 된 이유는 일단 구글 코랩에서 돌리는 것 까지는 어떻게 성공하기는 했습니다만, 문제는 그 속도가 상상이하로 느렸기 때문입니다. 그래서 어떻게 더 빠르게 할 수 있는 것이 없는지 한번 작업을 해 보고자 합니다. 먼저 시도를 한 것은 구글 코랩에서 GPU를 동원해서, 이걸로 하드웨어를 가속하면 어떤 변화가 나오는지 한번 알아보고자 했습니다. 일단 이렇게 구글 코랩에서 2번째 실험이 진행되고 있는 동안에, 다음으로 진행을 하고자 하는 것으로는 위 스크린샷에서 볼 수 있는 것처럼 어떻게 데이터 베이스 파일에 문제가 생긴 것이 확실해서 가지가지 압축을 풀기 위해서 시도란 시도는 다 해보고 있었습니다. 그런데 계속해서 계속해도 어떻.. 2020. 7. 18.

티스토리툴바