증거가 필요할 때만 오른쪽으로 이동하세요
- 1 · 규칙
결정적 업무에는 결정적 로직
알려진 입력이 정해진 결과로 이어진다면 일반 검증, 템플릿과 업무 규칙이 모델보다 시험하고 운영하기 쉽습니다. AI를 쓰더라도 이 기준선을 유지하세요.
- 2 · RAG
현재 또는 비공개 지식을 검색
검색 증강 생성은 생성 모델과 검색된 문서를 결합해 모델 매개변수 밖의 지식을 답변에 사용할 수 있게 합니다. 올바른 근거를 찾아 제공하는지가 성능을 좌우합니다.[1][2]
- 3 · 파인튜닝
문서 보관함이 아니라 반복 행동을 학습
파인튜닝은 예시를 사용해 작업 행동, 형식이나 스타일을 조정합니다. 데이터셋과 평가 생명주기가 추가되므로 학습 전에 측정 가능한 격차를 정의하고 바뀌는 사실은 모델 가중치 밖에 둡니다.[3]
인수 조건부터 시작하세요
기법을 고르기 전에 대표 입력과 허용 가능한 결과를 작게 작성합니다. 애매한 사례, 누락 데이터와 업무에 중요한 실패를 포함하세요.[2][3]
최신 구조를 사용했을 때가 아니라 허용할 수 있는 비용, 지연과 검토 부담 안에서 이 시험을 통과할 때 준비된 해법입니다.[2][3]
규칙은 낡은 방식이 아니라 자산입니다
검증, 라우팅, 권한, 계산과 필수 문구는 보통 결정적이어야 합니다. 규칙은 결정을 드러내고 테스트가 정확한 결과를 요구할 수 있게 합니다.[2]
문의 분류나 답변 초안처럼 변형이 유용한 제한된 단계에만 모델을 사용합니다. 정책과 부작용 통제는 모델 밖에 둡니다.[2]
RAG는 답변 시스템 전에 검색 시스템입니다
검색 품질과 답변 품질을 분리해 측정하세요. 프롬프트나 모델을 바꾸기 전에 예상한 출처가 검색 결과에 포함되는지 확인합니다.[1][2]
색인과 검색 과정에서 출처 식별자와 접근 통제를 유지합니다. 설득력 있는 답변도 누락되거나 오래됐거나 권한 없는 근거를 고칠 수 없습니다.[1][2]
- 대표 질문으로 검색 재현율 측정
- 검토자에게 출처 표시
- 문서별 권한 유지
- 적절한 근거가 없을 때 행동 정의
격차가 반복될 때만 파인튜닝하세요
프롬프트와 검색으로 해결되지 않는 안정적인 행동 격차가 여러 예시에서 확인될 때 파인튜닝을 검토합니다. 학습에 사용하지 않은 평가 예시를 따로 보관하세요.[3]
데이터셋 소유권, 비식별화, 버전, 롤백과 재평가를 계획합니다. 필요한 것이 최신 사실이라면 반복 학습보다 검색을 사용합니다.[3]