커뮤니티Redditr/RagRag
1.5 years of RAG in fintech, what actually worked after screwups
핀테크 분야에서 1.5년간 RAG를 운영하며 얻은 실무적 교훈과 시행착오를 공유한 글입니다. 데이터 파싱의 중요성과 계산 업무를 LLM에 맡기지 않는 결정론적 방식의 필요성을 강조하며, 정교한 문장보다 근거에 기반한 정확한 답변이 우선되어야 한다는 점이 핵심입니다.
주요 내용
-
데이터 파싱 품질이 임베딩 모델 최적화보다 중요함: PDF 내 표, 헤더, 다중 열 구조가 깨지면 검색 결과가 정확해도 LLM이 잘못된 추론을 할 수 있음
-
계산 및 정형 데이터 처리는 LLM 대신 Python이나 DB를 활용: 수치 계산이나 규칙 적용은 결정론적 코드로 처리하고 LLM은 설명 역할만 수행하여 환각을 방지함
-
정교한 문장보다 근거 중심의 답변 지향: 세련된 문장 생성보다 원문 데이터를 그대로 전달하거나 코드 기반의 팩트 교체 방식을 사용하는 것이 신뢰도 확보에 유리함