RAG 시스템의 핵심인 문서 전처리와 청킹 전략을 실무 관점에서 깊이 있게 다룹니다. 문서를 어떻게 분할하고, 메타데이터를 추출하며, 최적의 청크 크기를 결정하는지 단계별로 배워봅니다. # RAG 시스템 2편 - 문서 전처리와 청킹 완벽 가이드 RAG 시스템의 핵심인 문서 전처리와 청킹 전략을 실무 관점에서 깊이 있게 다룹니다. 문서를 어떻게 분할하고, 메타데이터를 추출하며, 최적의 청크 크기를 결정하는지 단계별로 배워봅니다. --- ## 목차 1. [문서 로더와 전처리 파이프라인 - 다양한 포맷의 문서를 통합 처리](#문서-로더와-전처리-파이프라인---다양한-포맷의-문서를-통합-처리) 2. [문자 기반 청킹 - 고정 길이로 문서 분할](#문자-기반-청킹---고정-길이로-문서-분할) 3. [재귀적 문자 분할 - 계층적 구분자로 똑똑한 청킹](#재귀적-문자-분할---계층적-구분자로-똑똑한-청킹) 4. [토큰 기반 청킹 - LLM 토큰 제한에 맞춘 정확한 분할](#토큰-기반-청킹---llm-토큰-제한에-맞춘-정확한-분할) 5. [의미 기반 청킹 - 임베딩 유사도로 지능적 분할](#의미-기반-청킹---임베딩-유사도로-지능적-분할) 6. [메타데이터 추출 및 필터링 - 검색 정확도를 높이는 컨텍스트 정보](#메타데이터-추출-및-필터링---검색-정확도를-높이는-컨텍스트-정보) 7. [문서 구조 인식 청킹 - 제목과 섹션을 고려한 계층적 분할](#문서-구조-인식-청킹---제목과-섹션을-고려한-계층적-분할) 8. [청크 크기 최적화 실험 - 성능 지표로 최적값 찾기](#청크-크기-최적화-실험---성능-지표로-최적값-찾기) 9. [청크 전후 문맥 확장 - 검색 후 주변 청크 병합](#청크-전후-문맥-확장---검색-후-주변-청크-병합) 10. [하이브리드 청킹 전략 - 문서 타입별 맞춤형 접근](#하이브리드-청킹-전략---문서-타입별-맞춤형-접근) --- ## 1. 문서 로더와 전처리 파이프라인 - 다양한 포맷의 문서를 통합 처리 ### 시작하며 여러분이 RAG 시스템을 구축