[칼럼] LLMOps 내용 정리

LLMOps 내용 정리
https://medium.com/@murtuza753/how-is-llmops-different-from-mlops-27aa309a18d6

How Is LLMOps Different From MLOps?

 

 

핵심 포인트 2가지
1) intrinsic metrics such as ROUGE, BERT, and BLEU score
2) the major cost factor is model inferencing in production which requires expensive GPU-based compute instances for better performance

보통 MLOps는 confusion metrics 사용해서 모델 성능을 측정하는데,
LLMOps는 intrinsic metrics를 사용해서 성능을 측정하는구나.

그리고 핵심 비용 요소는 비싼 GPU 기반 인스턴스는 필요로 하는 배포 환경에서의 모델 추론이다.