[LLM] LLM 모델 평가 방법 - 벤치마크

LLM이 좋다, 나쁘다고 평가하는 기준은 단일 기준이 아니라 목적과 사용 맥락에 따라 달라질 수 있지만, 일반적으로 아래 기준들이 지표가 될 수 있겠다.정확성 (Factural Accuracy)모델이 사실에 기반한 정보를 얼마나 잘 알고 거짓 없이 전달하였는가? 환각을 얼마나 줄였는가?추론 능력 (Reasoning Ability)복잡한 문제애 대해 논리적 사고, 계산, 추론을 할 수 있는가? Chain-of-Though(사고의 흐름) 유도 시 잘 따라오는가?MMLU, GSM8K, ARC, HumanEval과 같은 벤치마크로 측정지시 따르기 능력 (Instruction Following)사용자가 제시한 프롬프트나 지침을 얼마나 정확히, 유연하게 따르는가?대화 품질 (Chat Quality/Coherence..

• format_list_bulleted Generative AI
• · 2025. 7. 17.

[LLM] 용어 정리

LLM / NLP / NLU / NLGLLM (Large Language Model)대규모 텍스트 데이터를 학습해서 언어를 생성하거나 이해할 수 있는 딥러닝 기반의 모델이다.GPT, Claude, Gemini, LLaMA 등의 모델이 있다.Transformer 기반수십억 개 이상의 파라미터Pretraining + Fine-tuningNLP, NLU, NLG를 하나의 모델 안에서 다 처리할 수 있음NLP (Natural Language Processing) 인간의 언어(텍스트/음성)를 컴퓨터가 처리하고 이해하게 만드는 기술 전체 분야를 통칭한다.NLU, NLG 모두 포함음성 인식, 번역, 요약, 문서 분류, 챗봇 등NLU (Natural Language Understanding)텍스트의 의미를 해석하고 구..

• format_list_bulleted Generative AI
• · 2025. 7. 8.

[LLM] Hugging Face

GPT, PaLM, Claude, Gemini 등 기존 (~2022) LLM은 폐쇄형 모델로, 학습 데이터나 구조, 파라미터 등이 비공개였다. 사용은 API를 통해 제한적으로 가능했다.2023년도에 Meta의 LLaMA 시리즈가 나오면서 성능 좋은 오픈소스 모델이 등장했고, 이후에 Mistral, Falcon, Mixtral, Gemma 등 다양한 오픈소스 모델들도 공개되기 시작되며 오픈소스 생태계가 등장하게 되었다. Hugging Face란?AI 스타트업으로, 지금은 영향력있는 오픈소스 AI 플랫폼 중 하나이며, 오픈소스 중심의 모델 저장소와 툴킷을 제공한다.처음엔 NLP 위주였지만 현재는 Computer Vision, Audio, Multimodal 영역까지 확장되고 있다. 또한 LangChain, ..

• format_list_bulleted Generative AI
• · 2025. 7. 8.

[LLM] LLM과 Transformer

요새 chatgpt, claude, gemini 와 같은 거대언어모델(LLM)은 단순한 기술을 넘어 일상과 업무 전반에 자리잡고 있다.이 LLM은 무엇이고, 어떻게 문장을 생성하고, 질문에 답하고, 추론까지 가능한걸까??LLM`Large Language Model`의 약자로 대형 언어 모델을 말한다.그럼 LM(언어모델)은 무엇일까?언어 모델은 언어라는 현상을 모델링 하고자 단어 시퀀스(=문장) 에 확률을 할당(assign) 하는 모델이다.언어 모델은 크게 아래의 방법으로 만들어질 수 있다.통계를 이용한 방법인공 신경망을 이용한 방법 확률에 할당한다는게 이해가 잘 안됐는데 이런 느낌이라고 한다. (참고)사람들이 I love you는 잘 말해도 I love me 는 잘 말하지 않는다.모델이 이 패턴을 학습하..

• format_list_bulleted Generative AI
• · 2025. 7. 8.