태그: 벡터검색

Faiss - 벡터검색엔진 # 개요 - Overview # Faiss(Facebook AI Similarity Search)는 Meta(구 Facebook)의 AI Research Lab에서 개발한 고성능 벡터 유사도 검색 라이브러리입니다. 대규모 벡터 데이터셋에서 효율적인 유사도 검색과 클러스터링을 수행할 수 있도록 설계되었습니다. 주요 특징 - Key Features # 1. 고성능 검색 # 빠른 검색 속도: 수십억 개의 벡터에서도 밀리초 단위의 검색 성능 메모리 효율성: 압축 기법을 통한 메모리 사용량 최적화 GPU 가속: CUDA를 활용한 GPU 병렬 처리 지원 2.

GPT (Generative Pretrained Transfoer) # GPT는 “Generative Pretrained Transformer"의 줄임말로, OpenAI에서 개발한 대규모 언어모델이다. 트랜스포머(Transformer) 아키텍처를 기반으로 하여 대량의 텍스트 데이터로 사전 훈련된 생성형 인공지능 모델이다. GPT의 발전 과정 # GPT-1 (2018) # 1억 1700만 개의 매개변수 트랜스포머 디코더 구조를 사용한 최초의 GPT 모델 비지도 사전 훈련과 지도 미세 조정의 두 단계 학습 방식 도입 GPT-2 (2019) # 15억 개의 매개변수 “무서울 정도로 좋다"는 평가를 받아 처음에는 전체 모델이 공개되지 않았음 Zero-shot 학습 능력을 보여주며 별도의 미세 조정 없이도 다양한 작업 수행 가능 GPT-3 (2020) # 1750억 개의 매개변수 Few-shot 학습 능력으로 몇 가지 예시만으로도 새로운 작업 수행 가능 API 형태로 서비스되어 다양한 응용 프로그램 개발의 기반이 됨 GPT-4 (2023) # 매개변수 수는 공개되지 않았으나 GPT-3보다 훨씬 큰 규모 멀티모달 기능으로 텍스트와 이미지를 함께 처리 가능 더욱 향상된 추론 능력과 안전성 GPT의 핵심 기술 # 트랜스포머 아키텍처 # GPT는 트랜스포머의 디코더 부분만을 사용하는 구조이다.