GPT2를 활용한 한국어 언어생성 모델-자연어처리_23-08-21,22

예제3. 버트를 활용한 한국어 텍스트 분류 모델 

 

예제1. GPT2를 활용한 한국어 언어 생성 모델

GluonNLP는 NLP에서 최첨단(SOTA) 딥 러닝 모델의 구현과 텍스트 데이터 파이프라인 및 모델을 위한 빌드 블록을 제공합니다. 엔지니어, 연구원 및 학생이 이러한 모델을 기반으로 연구 아이디어 및 제품의 프로토타입을 빠르게 제작할 수 있도록 설계되었습니다. 이 툴킷은 5가지 주요 기능을 제공합니다. 

• 한국어로 생성한 모델 -

1. 연구 논문에 보고된 SOTA 결과를 재현하기 위한 교육 스크립트.
2. 일반적인 NLP 작업을 위한 선행 학습된 모델입니다.
3. 구현 복잡성을 크게 줄이는 세심하게 설계된 API.
4. 새로운 NLP 작업을 시작하는 데 도움이 되는 자습서입니다.
5. 커뮤니티 지원.

 

• ‘▁’ 문자 

=> U2581 

=> Lower One Eighth Block 

=> python u’/2581’

(1) GluonNLP

• Mxnet 패키지로 되어있음
• ChatGPT와 Google BARD 모두 대량의 텍스트 데이터를 사용하여 사전 학습(pre-training)된 모델이다.
• ChatGPT는 대용량의 인터넷상의 문서와 글에서 사전 학습되었으며, Google BARD는 온라인 문서와 책에서 사전 학습되었다.
• ChatGPT는 비지도 학습으로 사전 학습이 이루어졌고, Google BARD는 양방향 transformer 모델인 BERT에서 사전 학습된 후,

Fine-tuning 과정을 거쳐 최종 모델이 만들어졌다.

이 차이는 두 모델의 성능과 학습에 필요한 데이터 양에 영향을 미치게 된다.

 

미리 학습된 모델들은 

모델 정보와 가중치 정보를 파일로 저장하게 된다.

Config.json : 모델 정보

• 모델 정보를 통해 모델이 구성하게 된다.

generation_config.json : 모델 정보

tf_model.h5 : 가중치 정보 

 

모델을 구성할때 사용

1.단순 클래스 

2.함수형 클래스 

3.커스터마이징 클래스

 

모델 구성하기

모델 학습과정 설정하기

모델학습하기

모델 학습 과정 살펴보기

모델 사용하기

사용모델 저장하기