GenAI 제품 구축의 새로운 패턴

주요 내용

생성형 AI(GenAI) 기술을 활용한 소프트웨어 제품을 개념 증명 단계에서 실제 운영 시스템으로 전환하면서 여러 가지 공통된 패턴이 나타나고 있습니다. 이러한 시스템이 합리적인 범위 내에서 작동하도록 보장하기 위해 평가(Evals)가 중심적인 역할을 합니다. 대형 언어 모델(LLM)은 일반적이고 고정된 학습 세트를 넘어서는 정보를 제공하기 위해 보완이 필요합니다. 대부분의 경우, 검색 증강 생성(RAG, Retrieval Augmented Generation)을 통해 이를 수행할 수 있지만, 기본적인 RAG 접근 방식은 그 한계를 극복하기 위해 여러 패턴이 필요합니다. RAG만으로는 충분하지 않을 때는 파인 튜닝(Fine Tuning)이 가치가 있습니다.

핵심 패턴

• 평가(Evals): 비결정론적 시스템의 성능과 경계를 평가.
• 검색 증강 생성(RAG): 기존 학습 데이터를 보완하여 정보 제공.
• 파인 튜닝(Fine Tuning): RAG로도 충분하지 않을 때 모델을 세밀하게 조정.

추가 내용

• 임베딩(Embeddings): 이미지 임베딩 예시와 LLM에서의 활용.
• 하이브리드 리트리버(Hybrid Retriever): 다양한 검색 방법의 결합.
• 쿼리 재작성(Query Rewriting): 효과적인 정보 검색을 위한 쿼리 수정.
• 가드레일(Guardrails): LLM을 활용한 규칙 기반 및 임베딩 기반의 안전장치 설정.

함께 읽으면 좋은 참고 자료

• Refactoring
• Agile
• Architecture

[출처] Emerging Patterns in Building GenAI Products