공부/AI
2024. 5. 21.
[LLM Evaluation] LLM 성능 평가 방법 : Metric, Benchmark, LLM-as-a-judge 등
🤖 LLM 성능 평가 방법 정리 📌 개요 LLM의 성능을 제대로 측정하는 작업은 모델의 개발 과정뿐만 아니라 수많은 LLM 중 어떤 모델을 선택할 것인지 결정하는 상황에서도 매우 중요하다. 즉, LLM 평가는 개발과 사용 측면에서 모두 중요한 작업이므로 이번 포스팅에서는 LLM 성능 평가 방법에 대하여 포괄적으로 정리해보고자 한다. 이 때, LLM 성능 평가 방식을 크게 Performance Metrics, Benchmarks, Human Evaluation , Model-based Evaluation, Evaluation Frameworks 5가지로 나누어 살펴볼 것이다. 📌 목차 1. LLM 성능 평가 방식(1) : Performance Metrics 1) 통계적인 방식: BLEU, R..
