환경
- 로컬에 docker가 설치돼 있고 Dockerfile로부터 도커이미지를 처음부터 만들어서 컨테이너 띄웠습니다.
git clone https://github.com/ratsgo/embedding.git
cd embedding
docker build -t ratsgo/embedding-cpu -f docker/Dockerfile-CPU .
docker run -it --rm ratsgo/embedding-cpu bash- 그 후, 다음 코드를 실행합니다.
git pull origin master
bash preprocess.sh dump-raw-wiki
문제
- 인증문제가 발생하는데 아래 명령어를 통해서 한국어위키백과 다운로드가 가능하다.
wget https://dumps.wikimedia.org/kowiki/latest/kowiki-latest-pages-articles.xml.bz2 -P /notebooks/embedding/data/raw --no-check-certificate
참고
https://github.com/ratsgo/embedding/issues/136