모델을 고를 때는 먼저 하려는 작업을 정하세요. 글을 다듬는 일, 코드를 작성하는 일, 이미지에 관해 질문하는 일은 필요한 능력이 서로 다릅니다.
그다음 컴퓨터 사양과 실행 환경을 확인하면 후보를 좁힐 수 있습니다. 큰 모델을 고르는 것보다 내 작업을 감당하고 안정적으로 실행할 수 있는 모델을 찾는 것이 우선입니다.
“성능이 좋은 모델”보다 “한국어 문장을 자연스럽게 다듬을 모델”처럼 목적을 구체적으로 적어보세요.
이미지를 입력하려면 이미지 입력을 지원하는 모델이 필요합니다. 코딩 도구와 연결하려면 코드 작성 능력뿐 아니라 필요한 도구 호출과 실행 환경의 호환성도 살펴봐야 합니다.
모델 설명에 적힌 강점은 후보를 찾는 자료로 사용하세요. 내 작업에서도 같은 품질이 나오는지는 직접 확인해야 합니다.
확인할 항목은 메모리, 저장 공간, GPU와 사용할 실행 앱입니다.
전체 메모리뿐 아니라 현재 다른 앱이 사용하는 양도 중요합니다. 같은 컴퓨터라도 동시에 실행한 프로그램에 따라 모델을 사용할 수 있는 여유가 달라집니다.
GPU가 별도 메모리를 사용하는지, CPU와 GPU가 통합 메모리를 공유하는지도 구분하세요. 통합 메모리를 RAM과 GPU 메모리로 각각 더해 계산하면 안 됩니다.
OMM에서는 다음 명령으로 하드웨어와 설치 상태를 확인할 수 있습니다.
omm scan
파라미터 규모는 모델의 크기를 이해하는 단서입니다. 하지만 숫자가 크다는 사실만으로 특정 작업의 품질을 판단할 수는 없습니다.
양자화는 모델의 수치 표현을 줄여 파일 크기와 메모리 사용을 낮추는 방법입니다. 선택한 방식에 따라 품질과 호환성이 달라질 수 있습니다.
파일 크기는 다운로드와 저장에 필요한 공간입니다. 실제 실행에는 모델 파일 외에도 작업용 메모리가 필요하므로, 파일 크기를 그대로 실행 메모리로 생각하면 안 됩니다.
컨텍스트 길이는 한 번에 다룰 수 있는 입력과 대화 범위를 이해하는 기준입니다. 긴 컨텍스트를 사용하면 메모리 요구량도 달라질 수 있습니다.
라이선스는 모델을 어떤 조건으로 사용할 수 있는지 정합니다. 파일을 내려받을 수 있다는 사실과 모든 용도의 사용이 허용된다는 것은 별개입니다.
모델의 공식 설명과 지원 입력, 파일 형식, 이용 조건을 확인하세요. 사용할 앱에서 해당 파일을 지원하는지도 살펴봐야 합니다.