LangChain 문서 로더 요약

PDF 로더별 특징 및 장단점 비교

CSV/Excel 로더

Word & PowerPoint 로더

웹/텍스트/JSON 로더

고급 문서 로더

LangChain 분할기 요약

CharacterTextSplitter 파라미터

예비창업자패키지 교육

임베딩(Embedding) 기본 강의안

이 강의에서는 텍스트 임베딩의 기본 개념과 OpenAI API를 활용한 임베딩 구현 방법을 소개합니다.

1. 임베딩이란?

임베딩은 텍스트, 이미지, 오디오와 같은 자연어 데이터를 숫자 배열(벡터)로 변환하는 과정을 말합니다. 특히 텍스트 임베딩은 텍스트의 의미가 수치형 벡터에 기록되어, 의미적으로 유사한 텍스트는 벡터 공간에서도 가까운 위치에 매핑됩니다.

임베딩의 핵심 이점:

• 의미연관성 코딩: 비슷한 의미의 단어나 문장은 비슷한 임베딩 벡터를 가집니다.
• 수치 계산 가능: 임베딩은 텍스트 간 유사도 계산을 가능하게 합니다.
• 기계학습 모델 입력: 임베딩은 추천 시스템, 검색 엔진, 클러스터링 등에 사용됩니다.

2. OpenAI의 임베딩 모델