oMLX로 맥북 프로에서 LLM 돌리기

oMLX?#

oMLX 는 Apple Silicon Mac에서 로컬 LLM을 쉽게 돌리기 위한 추론 서버 + 관리 앱입니다.

OpenAI / Anthropic 과 호환되는 API 서버를 제공해서 코드 에이전트에서 로컬 모델을 사용할수 있는 기능과, Hot RAM 캐시 + Cold SSD 캐시 조합으로 긴 컨텍스트에서의 반복적인 프롬포트를 빠르게 처리가 가능한게 특징입니다.

자잘하게는 모델의 성능을 측정할 수 있는 벤치마크 기능도 제공해서 '이 모델을 내 노트북에서 잘 돌릴 수 있을까?' 를 미리 테스트 할 수 있어서 만족하면서 사용하고 있습니다.

설치하기#

oMLX#

oMLX는 GitHub에서 .dmg 파일을 다운로드 받거나, HomeBrew를 통해 설치 하는 방법이 있습니다. 이 글에서는 HomeBrew를 통해 설치하는 방법을 알아보겠습니다.

먼저, brew tap 명령어를 사용해서 oMLX 레포지토리를 tap 하고, brew install 명령어를 사용하여 oMLX 를 설치합니다.

brew tap jundot/omlx https://github.com/jundot/omlx
brew install omlx

맥북이 켜지면 자동으로 켜지게 하기 위해서, oMLX를 서비스로 시작 해줍니다.

brew services start omlx

서비스가 실행되고, http://localhost:8000 으로 들어가서 초기 토큰을 설정하면 모든 준비는 끝납니다!

LLM 모델 다운로드 받기#

상단 사이드바에서 [모델] -> [다운로드] 메뉴를 차례대로 선택해줍니다.
아래 3가지 방법중 원하는 방법으로 모델을 다운로드 받습니다.
- "HuggingFace에서 다운로드" 섹션에서, 다운로드 받을 모델의 레포지토리 이름을 입력합니다.
- "HuggingFace에서 검색" 섹션에서, 다운로드 받고 싶은 모델을 검색하고, 다운로드 받습니다.
- "모델 탐색" 섹션에서 사양에 호환되는 모델을 골라서 다운로드 받습니다.

실행하기#

Claude Code 에서 실행하기#

[메인화면] -> [OMLX 에서 CLAUDE CODE 사용하기] 섹션에서... (1) 모드를 '클라우드' 에서 '로컬' 로 변경한 다음, (2) OPUS / SONNET / HAIKU 티어에서 사용할 모델을 지정해줍니다. (3) 명령어 섹션에 표시되는 명령어를 복사해서 실행합니다.

OpenCode 에서 실행하기#

[메인화면] -> [기타 통합] -> [OpenCode] 섹션에서... (1) 사용할 모델을 설정합니다. (2) 명령어 섹션에 표시되는 명령어를 복사해서 실행합니다.