ABOUT ME

    -

    Today
    -
    Yesterday
    -
    Total
    -
    • AI Agent 개발 관련 Library
      AI 2026. 1. 14. 23:04

      1. 에이전트 오케스트레이션 (핵심 프레임워크)

      에이전트의 사고 흐름(Reasoning)과 작업 순서를 정의하는 중추 역할을 합니다.

      1. langchain: 가장 방대한 생태계를 가진 표준 프레임워크.
      2. langgraph: 그래프 기반의 상태 관리로 순환 구조와 정교한 제어 가능 (최근 대세).
      3. crewai: 역할 기반의 다중 에이전트 협업(Role-playing)에 특화.
      4. autogen: 에이전트 간의 대화를 통한 문제 해결에 최적화(Microsoft 개발).
      5. pydantic-ai: Pydantic을 활용한 엄격한 데이터 타입 검증 기반 에이전트 구축.
      6. agno (구 Phidata): 도구(Tools) 사용과 어시스턴트 구축이 매우 직관적임.
      7. meta-gpt: 소프트웨어 개발 회사처럼 역할을 나누어 대규모 작업 수행.
      8. smolagents: 허깅페이스(Hugging Face)에서 만든 초경량/코드 중심 에이전트 라이브러리.
      9. haystack: 검색 중심(RAG)의 에이전트 파이프라인 구축에 강점.
      10. semantic-kernel: 엔터프라이즈 환경에서 강력한 연동성을 제공(Microsoft 개발).

      2. LLM 엔진 및 추상화 (브레인)

      다양한 모델을 쉽게 교체하거나 호출할 수 있게 돕습니다.

      1. openai: GPT-4o, o1 등 OpenAI 모델 호출 표준 SDK.
      2. anthropic: Claude 3.5 Sonnet 등 앤스로픽 모델 전용 SDK.
      3. google-generativeai: Gemini 모델 연동을 위한 라이브러리.
      4. groq: 초고속 추론 인프라를 통해 LLM 반응 속도 극대화.
      5. ollama: 로컬 환경에서 오픈소스 LLM(Llama 3 등)을 구동하고 연동.
      6. litellm: 100개 이상의 LLM API를 동일한 규격(OpenAI 포맷)으로 통합 관리.
      7. mistralai: Mistral, Mixtral 계열 모델 사용을 위한 SDK.
      8. cohere: 기업용 검색 및 재순위 지정(Re-rank)에 특화된 모델 연동.

      3. 지식 및 메모리 (RAG & Vector DB)

      에이전트가 정보를 기억하고 외부 문서를 참고하게 합니다.

      1. llama-index: 데이터 연결 및 RAG(검색 증강 생성) 분야의 1인자.
      2. pinecone-client: 대규모 처리가 가능한 클라우드 벡터 데이터베이스.
      3. chromadb: 설치가 간편한 오픈소스 임베딩 데이터베이스 (로컬 개발용).
      4. qdrant-client: 고성능 벡터 검색 엔진 및 클라이언트.
      5. weaviate-client: 하이브리드 검색 기능을 갖춘 벡터 DB.
      6. lancedb: 서버리스 환경이나 로컬 환경에 적합한 초경량 DB.
      7. faiss-cpu: Meta에서 개발한 고속 벡터 유사도 검색 라이브러리.
      8. mem0ai: 에이전트에게 개인화된 장기 기억을 부여하는 라이브러리.

      4. 도구 및 실행 환경 (Tools & Actions)

      에이전트가 웹 서핑을 하거나 코드를 실행하고 데이터를 수집하게 합니다.

      1. tavily-python: AI 에이전트 전용 실시간 웹 검색 도구.
      2. duckduckgo-search: 무료로 사용 가능한 웹 검색 API.
      3. playwright: 웹사이트를 직접 브라우징하고 조작하는 도구 (스크린샷 가능).
      4. beautifulsoup4: 웹 페이지 텍스트 데이터 파싱 및 정제.
      5. unstructured: PDF, 워드 등 다양한 문서에서 텍스트를 정교하게 추출.
      6. yfinance: 실시간 금융 데이터 및 주가 정보 수집.

      5. 데이터 검증 및 신뢰성 (Utility)

      LLM의 출력을 제어하고 오류를 줄이는 역할을 합니다.

      1. pydantic: 데이터 구조 정의 및 유효성 검사 (필수).
      2. instructor: LLM 결과물을 Pydantic 모델로 강제 변환(Structured Output).
      3. tenacity: API 호출 실패 시 재시도(Retry) 로직 구현.
      4. json-repair: LLM이 잘못 생성한 깨진 JSON 코드를 자동으로 복구.
      5. python-dotenv: API Key 등 환경 변수 안전 관리.

      6. 관측성 및 인터페이스 (Observability & UI)

      에이전트의 사고 과정을 모니터링하고 사용자에게 보여줍니다.

      1. langsmith: LangChain에서 만든 에이전트 추적 및 디버깅 플랫폼.
      2. chainlit: 챗봇 형태의 UI를 단 몇 줄의 코드로 구축.
      3. ragas: 구축한 에이전트의 RAG 성능을 수치로 평가(Evaluation).

      6. 프롬프트 최적화 및 구조화 (Prompt Engineering)

      LLM이 더 정확하게 사고하고 정해진 규격대로 응답하도록 돕는 도구들입니다.

      1. dspy: 프롬프트를 수동으로 쓰는 대신 알고리즘으로 최적화하여 성능을 높입니다.
      2. guidance: 에이전트의 출력 구조를 제어하여 구문 오류를 방지하는 고수준 라이브러리.
      3. outlines: LLM 출력을 정규표현식이나 특정 스키마에 맞게 100% 보장하는 라이브러리.
      4. mirascope: Pydantic 기반으로 깔끔하고 확장 가능한 프롬프트 코드를 작성하게 해줍니다.
      5. lmql: 쿼리 언어 형식으로 프롬프트를 작성하여 복잡한 로직을 구현합니다.
      6. marvin: 자연어를 파이썬 데이터 타입이나 함수로 변환해 주는 초경량 도구.

      7. 웹 서핑 및 데이터 추출 (Web & Search)

      에이전트가 인터넷을 더 깊게 탐색하고 정보를 수집하게 합니다.

      1. trafilatura: 웹 페이지에서 광고와 불필요한 요소를 제거하고 본문 텍스트만 깨끗하게 추출.
      2. newspaper3k: 뉴스 기사 및 온라인 기사를 체계적으로 스크래핑하고 요약.
      3. firecrawl-py: 모든 웹사이트를 에이전트가 읽기 좋은 마크다운(Markdown) 형태로 변환.
      4. selenium: 자바스크립트가 복잡한 사이트를 직접 조작하며 데이터를 수집(Playwright 대안).
      5. scrapy: 대규모 웹 크롤링 및 데이터 수집 파이프라인 구축용 프레임워크.
      6. multi-on: 에이전트가 실제로 웹 브라우저에 들어가서 쇼핑이나 예약을 수행하게 돕는 API SDK.

      8. 멀티모달 & 미디어 처리 (Vision & Audio)

      텍스트를 넘어 이미지, 소리, 비디오를 다루는 에이전트를 위한 라이브러리입니다.

      1. openai-whisper: 음성을 텍스트로 고도로 정확하게 변환(STT).
      2. elevenlabs: 텍스트를 가장 사람 같은 목소리로 변환(TTS).
      3. opencv-python: 이미지 처리 및 컴퓨터 비전 기능 구현 (필수).
      4. pillow (PIL): 이미지 생성, 편집 및 포맷 변환용 라이브러리.
      5. moviepy: 비디오 편집 및 자동 생성 에이전트를 위한 도구.
      6. librosa: 오디오 분석 및 특징 추출을 위한 전문 라이브러리.
      7. ffmpeg-python: 비디오/오디오 파일의 인코딩 및 변환 제어.

      9. 에이전트 보안 및 가드레일 (Safety & Security)

      에이전트가 위험한 발언을 하거나 잘못된 코드를 실행하지 않도록 보호합니다.

      1. guardrails-ai: 출력 결과가 사전에 정의된 규칙(안전성, 형식 등)을 위반하는지 실시간 검증.
      2. nemo-guardrails: 대화의 주제를 제한하고 부적절한 요청을 차단하는 NVIDIA의 프레임워크.
      3. llm-guard: 프롬프트 주입(Injection) 공격을 탐지하고 민감한 정보를 마스킹.
      4. presidio-analyzer: 텍스트 내의 개인정보(PII)를 자동으로 찾아내고 삭제.
      5. giskard: AI 모델 및 에이전트의 취약점과 편향성을 테스트하는 프레임워크.
      6. lakera-ai: 실시간으로 프롬프트 주입 및 보안 위협을 방어하는 SDK.

      10. 관측성 및 성능 모니터링 (Observability)

      에이전트 내부에서 어떤 일이 일어나는지 추적하고 비용을 관리합니다.

      1. arize-phoenix: 에이전트의 RAG 성능과 트레이스를 시각화하여 분석.
      2. langfuse: 오픈소스 기반의 LLM 앱 추적 및 평가 플랫폼 SDK.
      3. helicone-python: LLM API 호출 비용과 성능을 모니터링하는 프록시 도구.
      4. traceloop-sdk: OpenTelemetry 기반으로 에이전트의 실행 흐름을 모니터링.
      5. wandb: 에이전트의 하이퍼파라미터 튜닝 및 성능 실험 기록용 도구.
      6. comet-ml: LLM 로그 기록 및 버전 관리 인터페이스.

      11. 인프라 및 배포 (Ops & Infrastructure)

      에이전트를 안정적인 서비스로 운영하기 위한 도구들입니다.

      1. fastapi: 에이전트를 고성능 API 서버로 서빙하기 위한 표준 프레임워크.
      2. modal: 클라우드 인프라 설정 없이 에이전트 코드를 즉시 배포하고 실행.
      3. bentoml: AI 모델과 에이전트를 패키징하고 운영 환경에 배포하는 도구.
      4. ray: 다중 에이전트 시스템을 여러 서버에서 병렬로 분산 처리하게 함.
      5. zenml: 에이전트 개발부터 배포까지의 모든 단계를 파이프라인으로 관리(MLOps).
      6. skypilot: 여러 클라우드(AWS, GCP, Azure 등)에서 에이전트 작업을 최저 비용으로 실행.

      12. 전문 도구 및 통합 (Specialized Tools)

      특정 전문 분야의 작업을 수행하는 에이전트용입니다.

      1. composio: 에이전트를 500개 이상의 타사 앱(GitHub, Slack, Notion 등)과 연결.
      2. open-interpreter: 에이전트가 사용자 컴퓨터에서 직접 코드를 실행하고 제어하게 해줌.
      3. voyageai: 검색 정확도를 비약적으로 높여주는 전문 임베딩 및 리랭커 모델 SDK.

       

      처음 시작하신다면 다음의 '스타터 팩' 구성을 추천드립니다:

      ·         프레임워크: langgraph (성장성 및 제어력 최고)

      ·         브레인: openai 또는 anthropic

      ·         지식: llama-index + chromadb

      ·         도구: tavily-python

       

       

      이 중 가장 시급하게 도입해야 할 라이브러리가 있다면 다음과 같습니다:

      ·         보안이 중요하다면: guardrails-ai

      ·         프롬프트 관리가 힘들다면: mirascope

      ·         비용과 성능 모니터링이 필요하다면: langfuse

       

    Designed by Tistory.

    티스토리툴바