ollama! mac환경에서 나만의 ai를 설치해보자

chatGpt를 쓰면서 일하고 있는 요즘,,

항상 한번씩 보안사고가 일어나지 않도록 공지를 받는다.

`절대 우리 회사의 자산을 gpt에게 제공하지마세요!`

 

그래서 실제 업무에서는 외부로 공개되어도 문제가 없는 정보만 직접적으로 질문하고,

내부 로직이나 민감한 내용은 표현을 돌려서 질문하는 방식을 사용하고 있다.

 

유료 버전의 경우 입력한 데이터가 모델 학습에 사용되지 않는다고 명시되어 있지만,

그와 별개로 질문과 답변 과정에서 데이터가 GPT 서버를 거쳐 처리되는 것은 사실이기 때문에

완전한 비노출이라고 단정하기는 어렵다고 판단한다.

 

결국 내가 질문을 하기 위해 제공한 정보와,

그에 대한 답변을 생성하기 위해 사용된 맥락 데이터는

어떤 형태로든 시스템 내부 처리 과정에 포함될 수 있다고 보는 것이 보다 보수적인 접근이라고 생각한다.

 

그러면 ,, 결국 보안적인 측면에서 바라봤을 때는 로컬환경에서 llm을 사용해보는것이 좋겠다고 판단했고, 

그중 로컬에서 llm을 사용해볼 수 있도록 지원해주는 오픈소스인 ollama를 통해 토이프로젝트를 진행하려고한다.

 

사실 별거 없습니다 ..

제가 까먹을 까봐 정리합니다

 

1. https://ollama.com/download

Download Ollama on macOS

macOs에서 ollama 다운로드 !

 

2. dmg 파일 설치

 

3. shell에 접근 후 

ollama run gemma3 

 

4. 짜잔 ~ 나만의 로컬 ai 완성!