커뮤니티Redditr/RagRag
I’ve got 200GB of files and want to do RAG (not sure if that is how you would say it)
200GB 규모의 다양한 로컬 파일을 대상으로 하는 RAG 시스템 구축 가능성과 방법론에 대한 질문입니다. 사용자는 데이터 정제 없이 폴더 지정만으로 질문에 답할 수 있는 도구를 원하며, 커뮤니티는 데이터 구조화와 계산 중심 작업의 한계를 지적하고 있습니다.
주요 내용
-
대규모 비정형 데이터(PDF, Excel, 이미지 등)를 다룰 때는 단순 RAG보다 데이터 정제 및 유형별 구조화가 선행되어야 합니다.
-
수치 계산이나 통계 질문(예: 특정 기간 구매 고객 수)은 단순 검색 기반의 RAG보다는 데이터베이스나 코드 실행 방식이 더 적합합니다.
-
사용자의 하드웨어 사양과 데이터 규모를 고려할 때, 단순 임베딩을 넘어 데이터 파이프라인 구축과 데이터 정제 작업이 핵심 과제입니다.