애니씽LLM 의 설정과정 셋업

초기 셋업 마법사 (Initial Setup)

처음 접속하면 환영 인사와 함께 몇 가지 선택 창이 뜹니다.

    • Data Handling: "Just me" (개인용) 또는 "My team" 중 **"Just me"**를 선택하세요.

    • Appearance: 선호하는 테마(Dark/Light)를 고릅니다.

👉 AnythingLLM은 크게 두 곳에서 설정을 잡습니다.

시스템 전체 설정 (톱니바퀴 아이콘): 

       * 왼쪽 사이드바 최하단에 있는 톱니바퀴 모양입니다.

여기서는 아까 말씀드린 메인 PC(Ollama) 연결, 언어 설정, 다크모드 등 '프로그램 전체'에 적용되는 두뇌를 설정합니다.

워크스페이스 설정 (방별 설정):

사이드바 중간쯤에 MK님이 만드신 워크스페이스 이름(예: My_Knowledge) 옆에 작은 설정 아이콘이 있거나, 해당 워크스페이스를 선택했을 때 상단에 나타납니다.

여기서는 "이 방에서는 어떤 모델을 쓸지", "답변을 얼마나 길게 할지" 등 **'특정 방'**에만 적용되는 규칙을 정합니다.       

1. 핵심 설정: AI Providers (두뇌 연결)

가장 중요한 단계입니다. 여기서 우분투 서버가 메인 PC의 GPU(Ollama)를 바라보게 설정해야 합니다.

    • LM Provider 설정:  목록에서 Ollama를 선택합니다.

    • Ollama URL: 다른피시일경우 서버에서 아이피:11434를 칩니다. 피시설정필수

      연결 실패 시: 메인 PC의 OLLAMA_HOST 환경변수가 0.0.0.0으로 되어 있는지, 윈도우 방화벽에서 11434 포트가 열려 있는지 다시 확인하세요.

      

    • Model: 연결이 성공하면 메인 PC에 이미 받아놓은 모델 목록(Llama3, Mistral 등)이 뜹니다. 하나를 선택하세요.

      

    • Embedding Provider 설정: 이건 문서를 벡터로 변환할 때 필요합니다.

      가장 편한 방법은 AnythingLLM Default를 쓰는 것입니다. (우분투 CPU가 처리하며, 속도가 빠르고 설정이 불필요합니다.)

      Vector Database 설정: 기본값인 LanceDB를 그대로 두세요. (우분투 하드디스크 /app/server/storage에 저장됩니다.)

              

AnythingLLM은 구조가 **'전체 시스템 설정'**과 **'개별 워크스페이스 설정'**으로 나뉘어 있어서 처음에는 조금 헷갈릴 수 있습니다.

2. 워크스페이스 설정에서 꼭 확인해야 할 것

워크스페이스 설정(Workspace Settings)에 들어가시면 아래 항목들을 보실 수 있습니다.

    • Chat Settings: * LLM Provider: 기본적으로 시스템 설정을 따라가지만, 방마다 다른 모델을 쓰고 싶을 때 여기서 바꿉니다.

      

        ◦ System Prompt: AI에게 "너는 전문 프로그래머야" 또는 "너는 요약 전문가야" 같은 역할을 부여하는 곳입니다.

      

    • Vector Database Settings: * 문서를 검색할 때 얼마나 유사한 내용을 많이 가져올지(Top-K) 등을 정합니다. (처음에는 기본값 추천)

      

    • Appearance: * 워크스페이스의 아이콘이나 이름을 바꿀 수 있습니다.

      

3. 처음 시작할 때의 순서

    1. 먼저 **좌측 하단 톱니바퀴(System Settings)**에서 메인 PC의 Ollama와 잘 연결되었는지 확인하세요.

       

    2. 그다음 중앙의 워크스페이스로 가서 문서를 업로드(Upload & Embed) 하세요.

       

    3. 마지막으로 해당 워크스페이스 설정에서 AI의 말투(System Prompt)를 MK님 스타일로 다듬으시면 됩니다.

에이전트스킬에 대하여

AnythingLLM의 **'에이전트 스킬(Agent Skills)'**은 AI가 단순히 대화만 하는 수준을 넘어, 실제로 특정 작업(액션)을 수행할 수 있게 해주는 도구 상자라고 이해하시면 됩니다.

일반적인 채팅형 AI는 "무엇을 해라"라고 말하면 텍스트로만 답하지만, 에이전트 스킬이 설정된 AI는 직접 파일을 수정하거나 웹에서 정보를 검색하는 등의 행동을 할 수 있습니다.

1. 주요 에이전트 스킬의 종류

설정 화면에서 볼 수 있는 대표적인 스킬들은 다음과 같습니다.

    • Web Search: 구글이나 덕덕고(DuckDuckGo) 같은 검색 엔진을 통해 실시간 정보를 찾아옵니다. (기본 지식 외에 최신 뉴스가 필요할 때 유용합니다.)

      

    • Save File to Disk: AI가 작성한 코드나 텍스트를 MK님의 우분투 서버 하드디스크에 직접 파일로 저장합니다.

      

    • List Directory: 서버의 특정 폴더에 어떤 파일들이 있는지 목록을 읽어옵니다.

      

    • RAG Search: 워크스페이스에 올린 문서들 중에서 질문과 관련된 내용을 더 정교하게 찾아냅니다.

2. 에이전트(Agent) vs 일반 채팅(Chat)의 차이

    • 일반 채팅: 내가 준 문서와 본인의 지식 안에서만 대답합니다.

      

    • 에이전트 모드: 질문을 해결하기 위해 어떤 "기술(Skill)"을 쓸지 스스로 판단합니다.

예: "최신 엔비디아 드라이버 버전을 확인해서 메모장 파일로 저장해줘"라고 시키면, Web Search 스킬로 버전을 찾고 Save File 스킬로 파일을 만듭니다.

작업 공간인 **워크스페이스(Workspace)** 설정

워크스페이스 설정은 '프로그램 전체'가 아니라, **'이 방에만 적용되는 규칙'**을 정하는 곳입니다. 예를 들어 "A라는 방은 내 개인 문서를 공부하는 용도", "B라는 방은 웹 검색 전문 에이전트 용도"로 서로 다르게 꾸밀 수 있습니다.

워크스페이스 화면 우측 상단이나 사이드바 이름 옆의 **톱니바퀴(Workspace Settings)**를 누르면 나오는 핵심 설정 3가지를 설명해 드릴게요.

1. Chat Settings (대화 스타일)

AI가 이 방에서 어떻게 행동할지 결정합니다.

    • Workspace LLM Provider: 시스템 설정에서 잡은 'Ollama'가 기본으로 보일 겁니다. 만약 방마다 다른 모델(예: 하나는 Llama3, 하나는 Gemma2)을 쓰고 싶다면 여기서 바꿀 수 있습니다.

      

    • System Prompt: 가장 중요합니다! AI에게 "너는 내 개인 문서 전문 비서야. 답변은 항상 한글로 해주고, 문서에 없는 내용은 모른다고 솔직하게 말해줘" 같은 지침을 내리는 곳입니다.

      

    • Temperature (온도): 보통 0.7 정도가 적당합니다. 값이 낮을수록(0에 가까울수록) 딱딱하고 정확한 답변을 하고, 높을수록 창의적이고 다양한 답변을 합니다.

2. Vector Database Settings (검색 정교함)

내 문서에서 정보를 얼마나 많이, 정확하게 가져올지 정합니다.

    • Max Context Snippets (Top-K): 질문을 했을 때 내 문서에서 몇 조각의 정보를 가져올지 정합니다. 보통 4~6 정도면 적당합니다. 너무 많으면 AI가 혼란스러워할 수 있습니다.

      

    • Document Similarity Threshold: 질문과 문서가 얼마나 비슷해야 가져올지 정하는 '커트라인'입니다. 보통 No Restriction이나 Low로 두고 쓰시다가, 엉뚱한 답변이 많으면 높이시면 됩니다.

3. Agent Configuration (특수 능력 활성화)

아까 우리가 구경했던 '에이전트 스킬'을 이 방에서 쓸지 말지 결정합니다.

    • 에이전트 활성화: 이 방에서 웹 검색이나 파일 저장을 시키고 싶다면 여기서 필요한 스킬을 On으로 체크해야 합니다.

      

    • 주의: 시스템 설정에서 스킬을 등록했어도, 여기서 체크를 안 하면 이 방의 AI는 그 기능을 쓰지 못합니다.