로컬 AI를 사용하려면 모델을 고르는 것부터 시작해야 합니다. 어떤 작업에 적합한지, 내 컴퓨터에서 실행할 수 있는지, 내려받은 파일을 어떤 앱에서 사용할지 차례로 결정해야 합니다.

OMM은 이 과정에서 모델을 찾고 설치하고 관리하는 일을 돕습니다. GGUF 모델을 중앙 저장 위치에 두고, 지원하는 실행 앱과 연결하는 기능을 제공합니다.

모델을 받기 전에 확인할 것

모델 이름이나 다운로드 수만으로 내게 맞는 모델을 고르기는 어렵습니다. 같은 모델 계열에도 크기와 파일 형식, 양자화 방식이 다른 파일이 있을 수 있습니다.

먼저 하려는 작업을 정하고 모델의 용도와 조건을 살펴보세요. 그다음 컴퓨터의 메모리와 사용할 실행 앱을 확인하면 검토할 대상을 좁힐 수 있습니다.

OMM은 하드웨어 상태를 확인하고 모델의 메모리 적합성을 살피는 과정을 지원합니다. 이 결과는 선택을 돕는 추정이며, 실제 실행과 답변 품질은 별도로 확인해야 합니다.

모델이 늘어날수록 필요한 관리

여러 모델이나 실행 앱을 사용하면 파일의 저장 위치와 연결 상태를 파악하기 어려워집니다. 어떤 파일이 설치되어 있는지, 어느 앱에서 사용할 수 있는지 다시 확인하게 됩니다.

OMM은 모델을 한곳에서 관리하고 설치 목록과 연결 상태를 확인하는 방법을 제공합니다. 다만 모든 환경에서 저장 공간이 똑같이 줄어드는 것은 아닙니다. 운영체제와 파일 시스템, 실행 앱에 따라 연결 방식이 달라지며, 파일 복사가 필요한 경우에는 추가 공간을 사용합니다.

실행 앱과 OMM의 역할

Ollama와 LM Studio는 모델을 불러와 실행하고 질문에 대한 응답을 생성하는 앱입니다. OMM은 그 모델을 찾고 설치하고 관리하거나 실행 앱에 연결하는 과정을 돕습니다.

따라서 OMM을 설치했다는 사실만으로 모델 준비가 끝나는 것은 아닙니다. 사용할 실행 앱과 모델을 준비하고, 실제 질문에 응답하는지 확인해야 합니다.

이렇게 시작할 수 있습니다

글쓰기 보조용 로컬 AI를 준비하는 상황을 예로 들어보겠습니다.

  1. 어떤 글을 작성하거나 다듬을지 정합니다.
  2. 컴퓨터의 메모리와 설치된 실행 앱을 확인합니다.
  3. 한국어 사용 목적에 맞는 모델 후보를 검토합니다.
  4. 사용할 파일을 설치하고 실행 앱과의 연결 상태를 확인합니다.
  5. 실제로 다듬고 싶은 문장으로 답변 품질을 확인합니다.

이 순서는 설명용 예시이며 특정 모델의 성능을 측정한 결과는 아닙니다.