ChatGPT와 Gemini 같은 거대 기업부터 Perplexity와 Grok 같은 저평가된 보석 같은 기업까지, 필요에 따라 선택할 수 있는 AI 챗봇이 다양합니다. 하지만 이러한 챗봇은 자체 서버에서 사용자의 질의를 처리합니다. 따라서 특히 질의에 개인 정보나 문서를 공유하는 경우 개인정보 유출 위험이 커질 수 있습니다.
개인 AI 경험을 위해서는 기기에서 로컬로 챗봇을 사용하는 것이 가장 좋습니다. 컴퓨터에서는 여러 가지 방법이 있지만, 스마트폰에서는 선택지가 제한적입니다. 그중에서도 PocketPal AI가 가장 사용하기 쉽습니다. PocketPal AI를 사용하여 스마트폰에서 로컬로 AI 모델을 실행하는 방법과 필요한 모든 정보를 소개합니다.
PocketPal AI란 무엇인가요?
PocketPal AI는 인터넷 연결 없이 스마트폰에서 로컬로 소규모 언어 모델(SLM)을 실행할 수 있는 무료 오픈 소스 앱입니다. 로컬에서 쿼리를 처리하므로 대화 내용과 데이터가 스마트폰 외부로 유출되지 않습니다.
Phi, Gemma, Qwen을 포함한 다양한 오픈소스 모델과 Hugging Face 와 같은 플랫폼에서 제공되는 모델 중에서 선택할 수 있으며, 필요에 따라 전환할 수 있습니다. 이 앱을 사용하면 Hugging Face의 게이트드 모델에도 접근할 수 있습니다. 설정에서 인증 토큰만 설정하면 됩니다.
PocketPal AI의 또 다른 장점은 바로 친구입니다. 친구는 다양한 성격과 설정을 갖춘 개인화된 AI 비서로, 특정 작업을 처리하도록 설정할 수 있습니다.
PocketPal AI는 Android와 iPhone에서 모두 사용할 수 있습니다.
관련: iPhone에 AI 모델을 로컬로 설치하고 실행하는 방법
PocketPal AI는 다른 앱과 어떻게 다른가요?
PocketPal AI는 스마트폰에서 SLM을 실행할 수 있는 유일한 앱은 아닙니다. 이 기능을 제공하는 다른 좋은 앱들도 몇 가지 있습니다. 하지만 PocketPal AI를 다른 앱들과 차별화하는 몇 가지 특징이 있습니다.
- 방대한 모델 라이브러리: PocketPal AI에서는 다양한 오픈 소스 모델을 사용할 수 있습니다. 즉, 앱에서 제공하는 모델에만 국한되지 않고 Hugging Face와 같은 소스에서 제공하는 모델을 다운로드하여 사용할 수 있습니다.
- 조정 가능한 추론 설정: 이 앱은 다운로드한 모델의 다양한 매개변수를 사용자 지정할 수 있는 옵션을 제공합니다. 여기에는 시스템 프롬프트, 온도, 시퀀스 시작(BOS) 토큰, 채팅 템플릿 등이 포함됩니다.
- AI 페르소나: PocketPal AI를 사용하면 친구를 만들 수 있습니다. 친구는 두 가지 종류가 있습니다. 보조 친구(일반 보조 업무용)와 롤플레잉 친구(롤플레잉 시나리오용)입니다. 예를 들어, 연구하거나 프로젝트를 진행할 때 학습 친구를 설정하면 모델이 상황을 인식하고 상황에 맞게 반응할 수 있습니다. 마찬가지로, 이메일 작성이나 보고서 요약 작업을 도울 관리자 친구를 만들 수 있습니다.
- 완전 무료 사용: 유사한 기능을 제공하는 많은 앱은 프리미엄(Freemium) 모델을 따르며, 특정 기능은 유료로 제공됩니다. 반면 PocketPal AI는 완전 무료이므로 모든 기능을 제한 없이 이용하고 호환되는 모든 언어 모델을 사용할 수 있습니다.
- 커뮤니티 기능: PocketPal AI를 사용하면 사용자가 자신의 휴대폰에서 벤치마크를 실행하고 결과를 커뮤니티 에 공유할 수 있습니다. 이를 통해 다른 사용자들은 자신의 기기에 어떤 모델이 더 적합한지 파악하고 그에 따라 선택할 수 있습니다.
PocketPal AI 설정 및 사용 방법
PocketPal AI의 설정은 매우 간단합니다.
먼저, 아래 링크를 사용하여 해당 앱 스토어에서 Android 또는 iPhone에 앱을 다운로드하세요.
앱을 실행하고 요청된 권한을 부여하세요.
다음으로, 앱에서 사용할 모델을 다운로드해야 합니다. 하지만 다운로드하기 전에 안정적인 Wi-Fi 연결을 사용하세요. 언어 모델은 일반적으로 용량이 크기 때문에 모바일 데이터로 다운로드할 경우 일일 데이터 한도가 소진될 수 있습니다.
완료되면 홈 화면에서 '모델 다운로드' 버튼을 탭하세요. 다음 화면에서 '다운로드 가능' 섹션이 아직 표시되지 않았다면 확장하세요. 호환 가능한 모델 목록이 표시됩니다. 각 모델에는 크기, 사용하는 매개변수, 그리고 해당 모델의 강점과 같은 세부 정보가 명시되어 있습니다. 모델을 탭하여 자세히 알아보세요. 사용하려는 모델을 찾으면 ' 다운로드'를 클릭하여 기기에 다운로드를 시작하세요.
다운로드가 완료되면 모델 카드의 ' 불러오기 ' 버튼을 눌러 메모리에 불러오세요. 화면에 채팅과 유사한 인터페이스가 나타납니다.
아래 텍스트 필드에 질문을 입력하세요. 사용 중인 모델에 따라 화면에 답변이 표시됩니다. 모델에게 추가 질문을 하거나 상단의 새 대화 버튼을 눌러 새 대화를 시작할 수 있습니다.
또한, 친구를 활성화할 수 있습니다. 텍스트 필드 왼쪽의 위쪽 화살표를 탭하고 ' 친구' 탭으로 이동하여 사용 가능한 친구를 탭하세요. 예를 들어, Gemma는 기기에서 로컬로 비디오를 분석할 수 있는 Lookie 친구를 제공합니다.
오른쪽 상단의 세 점 메뉴를 탭하고 ' 내보내기/가져오기' > '모든 세션 내보내기' 를 선택하면 이 세션을 추가로 내보낼 수 있습니다. 마찬가지로, 세션을 가져와서 다시 보고 중단했던 부분부터 이어서 진행할 수 있습니다.
SmolVLM2-500M-Instruct와 같은 특정 모델을 사용하면 이미지를 분석하고 콘텐츠에 대해 자세히 알아볼 수도 있습니다. 텍스트 필드 왼쪽의 + 버튼을 탭하고 사진을 찍어 분석할지, 아니면 이미 찍은 사진을 분석할지에 따라 '카메라 ' 또는 ' 갤러리'를 선택하세요. 그러면 모델이 응답을 반환합니다.
스마트폰에서 PocketPal AI를 사용하는 것
PocketPal AI는 정말 멋진 앱입니다. 가볍고, 인터페이스도 간결하며, 사용하기도 쉽습니다. 게다가 앱과 모델 모두에 다양한 구성 옵션이 있어 사용자 경험을 개인화할 수 있습니다.
성능 측면에서 PocketPal AI는 대부분의 최신 스마트폰(8GB RAM 이상)에서 효율적으로 실행되며 요청을 빠르게 처리합니다. 응답 시간의 상당 부분은 사용 중인 모델에 따라 다르지만, 구형 또는 하위 모델 스마트폰을 사용하지 않는 한 눈에 띄는 지연이나 최악의 경우 앱 충돌은 발생하지 않습니다.
저는 Gemma-2-2b-it, SmolVLM2-500M-Instruct, Phi-3.5 mini 4k instruct, Llama-3.2-3B-Instruct 등 여러 모델로 제 Galaxy S23 Ultra와 OnePlus 13에서 PocketPal AI를 사용해 왔는데, 전반적으로 순조로웠습니다. 앱이 갑자기 종료된 적은 한 번도 없었지만, 두어 번 중간에 제 질문에 응답하지 않았습니다.
마찬가지로, 특정 추론 쿼리에 대한 응답 시간이 조금 더 길었습니다. 하지만 이러한 문제는 앱 자체와 직접적인 관련이 없으므로 크게 신경 쓰지 않으셔도 됩니다.
그렇긴 하지만, 적절한 언어 모델을 선택하는 것이 질의에 대한 합리적인 답변을 얻는 핵심이라는 점을 강조하고 싶습니다. 예를 들어, SmolVLM2-500M-Instruct는 다양한 기계식 키보드 스위치를 나열하지 못했고, 어떤 스위치가 게임에 가장 적합한지 알려주지 못했습니다. 반면, Gemma-2-2b-it은 다양한 데이터셋을 학습하고, 더 큰 매개변수 크기를 제공하며, 고급 아키텍처를 사용하기 때문에 이러한 작업에 더 적합하기 때문에 쉽게 수행할 수 있었습니다.
PocketPal AI에만 의존할 필요는 없습니다
PocketPal AI의 오프라인 우선 접근 방식은 스마트폰에서 개인 맞춤형 AI 경험을 제공하여 기존 AI 챗봇에서는 불가능했던 질문들을 처리할 수 있도록 합니다. 하지만 몇 가지 제약이 있어 완전히 활용할 수는 없습니다.
우선, PocketPal AI는 소규모 모델에만 접근할 수 있습니다. 모델이 작기 때문에 매개변수가 적습니다. 따라서 섬세한 언어 이해 능력이 부족하고 사용 범위가 제한적입니다.
오프라인의 또 다른 단점은 최신 뉴스, 주식 시장 업데이트, 실시간 경기 결과 등 실시간 정보를 얻을 수 없다는 것입니다. 이 때문에 PocketPal AI를 사용하여 최신 데이터가 필요한 주제에 대한 쿼리를 실행할 수 없습니다.
마찬가지로, 작은 모델도 생성에는 문제가 없지만, 매개변수가 제한적이기 때문에 대규모 언어 모델(LLM)에서 제공하는 창의적인 폭이 부족합니다. 즉, 섬세한 어휘와 언어로 원하는 결과를 생성하지 못할 수 있습니다.
따라서 중간 지점을 찾는 것이 가장 좋습니다. 사소하거나 개인적인 질문에는 PocketPal AI를 사용하고, 심층 분석, 고급 문제 해결, 사실 확인 또는 미디어 생성과 같은 복잡하거나 창의적인 작업에 대해서는 LLM으로 전환하세요.
*참고한 원본 글 : https://techpp.com/2025/08/20/pocketpal-ai-run-ai-models-locally-on-android-iphone/
댓글