내 PC 하나로 AI 천하를 정복했다 — 로컬 AI 구축기

로컬 AI 구축 가이드

인터넷 요금도, 구독료도 없이 — 오직 내 PC와 AI만

기초 가이드: 2026-03-20 | 최신 업데이트: 2026-07 기준 모델·도구 업데이트 포함

✦

왜 로컬 AI인가?

요즘 같은 시기에 ChatGPT 구독료, 인터넷 요금, 클라우드 비용까지 모두 합하면 매달 적잖은 돈이 나갑니다. 저는 그거 아깝다는 생각에 시작했습니다. 내 PC만 있으면 인터넷 요금도 안 들고, 구독료도 필요 없다는 게 너무 매력적이었어요.

특히 개인정보가 외부로 나가지 않는다는 점도 큰 장점입니다. 내가 쓴 메모, 읽은 문서, 대화 전부 내 PC 밖에 저장되지 않으니 마음이 편하죠.

✦

내 PC 사양

RTX 5060 Ti 16GB · DDR5 32GB

값비싼 RTX 5090을 사지 않아도 됩니다. RTX 5060 Ti 16GB로도 충분히 로컬 AI를 구축할 수 있어요. 더 나아가 LOCAL AI 모델들을 잘 선택한다면 이보다 더 낮은 사양으로도 충분히 구축할 수 있습니다.

✦

구축하면 할 수 있는 것

쉽게 말하면, 스마트폰 하나로 내 PC의 AI를 원격 조종할 수 있게 됩니다.

구체적으로 어떤 걸 할 수 있는지 정리해봤습니다.

💬 AI 채팅 (ChatGPT 없이)

내 PC에서 무료로 AI와 대화합니다. 인터넷 연결도 안 필요합니다. 오프라인에서도 ChatGPT 수준의 대화를 즐길 수 있어요.

📱 텔레그램으로 AI 비서 사용

밖에서도 폰으로 AI에게 일 시킬 수 있습니다. 텔레그램으로 "이거 확인해서 요약해줘"라고 하면 내 로컬 AI가 알아서 처리해줘요. 인터넷 연결도 필요 없어요.

🎨 AI 이미지 생성

"고양이 그림 그려줘" 하면 그려줍니다. 로컬에서 돌리니 데이터 전송 대기 시간도 없고, 용량 제한도 없습니다.

📧 이메일 관리

로컬 AI가 메일을 읽고 요약해줍니다. 매일 아침 이메일을 확인해서 "오늘 할 일 요약"을 알려줘요. 외부로 나가지 않고 다 내 PC에서 처리.

🎤 음성으로 AI와 대화

말로 물어보면 말로 대답합니다. 키보드로 치는 게 귀찮을 때 정말 유용해요. 음성 인식 → AI 응답 → 음성 합성까지 모두 내 PC에서 로컬로 처리.

📚 내 문서 학습 AI

내 파일을 학습해서 질문에 답변합니다. 내가 읽은 문서, 본 자료 전부 내 PC에 있으니 외부로 새나가지 않습니다.

📝 메모 자동 저장+검색

메모하면 AI가 기억하고 나중에 찾아줍니다. "그번에 얘기했던 프로젝트 이름 뭐였지?" 하면 알아서 찾아줘요.

⚡ 복합 명령

내 로컬 AI가 알아서 처리합니다. 여러 작업을 연결해서 한 번에 처리하는 거죠.

내 로컬 AI가 알아서 처리합니다. "이거 해줘" 한 마디면 AI가 알아서 도구 선택하고 실행.

🏥 자가 치유 시스템

문제 생기면 AI가 스스로 고칩니다. 서비스 꺼지면 자동으로 재시작하고, 에러가 생기면 로그를 분석해서 해결책을 시도합니다.

🎬 YouTube Shorts 자동 제작

주제 입력하면 영상 자동 생성 + 업로드까지 해줍니다. AI가 스크립트 쓰고, 자막 만들고, 영상 생성하고, 유튜브에 올리는 전 과정을 자동으로 진행시킵니다.

내 로컬 AI가 알아서 처리합니다. 사진 한 장으로 3~5초 영상 자동 생성합니다. "이 고양이가 춤추는 영상 만들어줘" 하면 됩니다.

🧠 AI 모델 파인튜닝

로컬 AI를 내 목적에 맞게 추가 훈련시킵니다. 내 말투, 내 업무 스타일에 맞춰서 AI를 커스터마이징할 수 있어요.

스마트폰 하나로 내 PC의 AI를 조종할 수 있다

✦

전체 시스템 구조

어떻게 돌아가는지 구조를 간단히 설명하면:

내 PC에 로컬 AI를 설치합니다. 이게 중앙 두뇌 역할을 하죠. 텔레그램, 이메일, 브라우저, 파일 시스템 등 다양한 도구와 연결되어 있어요. "이거 해줘"라고 명령하면 AI가 필요한 도구를 알아서 선택하고 실행합니다.

텔레그램 봇을 통해 원격에서도 지시를 줄 수 있고, 내 PC에 쌓인 데이터를 학습시켜서 개인 비서처럼 만들 수 있습니다.

좋은 점

• 인터넷 요금 안 든다
• 구독료 불필요
• 개인정보 외부 유출 없음
• 오프라인에서도 사용 가능
• 사용량 제한 없음
• 원격에서도 텔레그램으로 조작 가능

단점

• PC 사양이 어느 정도 되어야 한다
• 초기 설정이 약간 복잡함
• 모델 크기가 크다 (수십 GB)
• 전력 소모가 있음

내 데이터는 내 PC에 — 외부로 새나가지 않습니다

사용한 도구 모음

💻 사용한 주요 도구

• Ollama 0.30 — 로컬 AI 모델 관리 (데스크탑 앱 출시!)
• Docker — 환경 격리
• Qwen3.6 — 메인 LLM (현재 사용 중)
• BGE-M3 — 임베딩 모델
• Wan2.2 — 영상 생성 (MoE 아키텍처)
• LTX 2.3 — 영상 생성 (고속·효율적)
• 텔레그램 봇 — 원격 조종
• HuggingFace — 모델 다운로드

✦

Ollama, Docker, 로컬 AI가 중심 — 나머지는 연결된 도구들

누가 이런 걸 하면 좋은가?

이걸 하면 좋은 사람들:

• 매달 ChatGPT 구독료 아끼고 싶은 사람
• 개인정보를 외부로 내고 싶지 않은 사람
• 텔레그램으로 AI 비서 사용하고 싶은 사람
• 오프라인에서도 AI 사용하고 싶은 사람
• 내 데이터로 AI 학습시키고 싶은 사람
• AI 영상 생성에 관심이 있는 사람

인터넷 요금도, 구독료도 없이 — 오직 내 PC와 AI만

🔄 2026년 7월 — 로컬 AI 생태계 업데이트

기초 가이드를 만든 이후로 로컬 AI 생태계가 많이 변했습니다. 최신 정보로 정리해봤어요.

🔥 Qwen3.6 — 현재 제가 쓰는 최신 모델

Qwen 팀에서 계속 모델을 업데이트하고 있습니다. Qwen3에 이어 Qwen3.6가 나와서 성능이 대폭 향상되었습니다. 256K 컨텍스트를 지원해서 긴 문서도 한 번에 처리 가능하고, 추론 능력이 많이 좋아졌어요.

ollama pull qwen3.6로 바로 설치할 수 있습니다. 현재 제가 쓰는 모델이기도 합니다.

🔥 Ollama 0.30 — 데스크탑 앱 출시 + llama.cpp 통합

Ollama가 0.30 버전을 출시하면서 가장 큰 변화는 데스크탑 앱 출시입니다. 이제 터미널 없이 GUI로 모델을 관리할 수 있어요. macOS와 Windows 둘 다 지원합니다. 설치도 간단합니다:

ollama run qwen3.6 — 한 줄로 끝납니다.

또한 Ollama의 GGUF 엔진이 자체 구현에서 llama.cpp로 변경되면서 호환성과 성능이 크게 개선되었습니다. MLX 엔진도 Apple Silicon에서 개선되었고요.

🔥 Wan2.2 — 로컬 영상 생성의 새로운 기준

기존 Wan2.1에서 크게 업그레이드된 Wan2.2는 MoE 아키텍처를 채택해 용량 증가 없이 성능을 높였습니다. 이미지 한 장으로 3~5초 영상 생성이 가능하고, 720P 24fps 재생성도 단 한 개의 4090 GPU에서 돌릴 수 있어요. Apache 2.0 라이선스로 상업용 사용도 자유롭습니다.

🔥 LTX 2.3 — 빠른 영상 생성의 새로운 선택지

LTX 2.3은 Wan2.2와 함께 쓰는 영상 생성 도구로, 더 빠르고 효율적인 생성을 제공합니다. 생성 속도가 빠르고 품질도 뛰어나서 실시간에 가까운 생성이 가능해요. Wan2.2와 LTX 2.3을 병행하면 용도별로 최적의 모델을 선택할 수 있습니다.

✦

로컬 AI 생태계 — 2026년 상반기까지의 주요 업데이트

📦 현재 사용 중인 도구 목록 (2026-07 기준)

💻 현재 실제 사용 중인 도구

• Ollama 0.30 — 로컬 AI 모델 관리 (데스크탑 앱 출시!)
• Docker — 환경 격리
• Qwen3.6 — 메인 LLM (현재 사용 중, Qwen3.5보다 성능 향상)
• BGE-M3 — 임베딩 모델 (변경 없음, 멀티링구얼)
• Wan2.2 — 영상 생성 (MoE 아키텍처, 고품질)
• LTX 2.3 — 영상 생성 (고속·효율적, 실시간에 가까운 속도)
• 텔레그램 봇 — 원격 조종
• HuggingFace — 모델 다운로드

특히 Qwen3.6로 업데이트하는 걸 추천합니다. Qwen3.5보다 더 나아졌고, 14B 크기라도 충분히 실용적입니다. 다만 모델이 커져서 다운로드 크기가 수십 GB로 커지는 건 여전히 부담이죠.

영상 생성은 Wan2.2와 LTX 2.3을 용도별로 쓰는 게 가장 효율적입니다. Wan2.2는 고품질 생성에, LTX 2.3은 빠른 생성에 특화되어 있어요.

Qwen3.6, Ollama 0.30, Wan2.2, LTX 2.3 — 로컬 AI 생태계는 계속 발전 중

마치며

로컬 AI 구축은 처음에 약간 헷갈리지만, 한 번 setup하고 나면 정말 편합니다. 인터넷 연결 없이도 AI와 대화하고, 텔레그램으로 원격 조작하고, 이미지랑 영상도 생성하는 거 — 다 내 PC에서 돌아가죠.

사소하지만, 인터넷 요금도 안 들고 구독료도 필요없다는 게 가장 큰 매력입니다. 월 2만 원씩 아끼는 게 뭐가 크다고 생각할 수 있지만, 매년 24만 원이고, 영구적입니다.

궁금한 거 있으면 댓글로 물어보세요. 같이 도와드릴게요.

현재는 이 여러 기술을 종합해서 씨댄스2.0과 같은 영상을 제작할 수 있는 개인 프로젝트를 진행 중입니다. 로컬 AI로 만든 비서가 영상 스크립트부터 자막, 영상 생성, 업로드까지 전 과정을 자동으로 처리하니까 정말 놀라워요.

시간 날때 실제 설치 과정을 하나씩 따라가면서 설명글 포스팅 예정입니다.