parquet1 빅데이터(?)의 처리하는 방법-3- 안녕하세요? 이번 포스팅에서는 예상치 못하게 그냥 parquet(파케이)형식으로 데이터를 저장한다고 시도를 하다 보니, pyarrow라는 모듈이 필요하다고 나오는 것을 확인할 수 있었습니다. 일단 이게 무엇인지 인터넷을 검색해 보니까, 위 스크린샷과 같이 볼 수 있는데, 일단 저로서는 정확하게 이게 무엇을 하는 라이브러리인지는 잘 모르겠습니다. 하지만, 이게 dask의 데이터프레임을 파케이형식의 파일에 저장하기 위해서는 필요한 라이브러리라는 것 까진 알 수 있었습니다. 그래서 먼저 아나콘다 프롬프트를 실행시킨 다음에, 위 스크린샷에서 나오는 것처럼 conda install pyarrow -c conda -forge라는 명령어를 써서 기존의 환경에 설치를 하도록 합니다. 그런데 오타를 내서 한번 conda.. 2019. 5. 7. 이전 1 다음
