On Device AI 모델을 활용한
나만의 운세 앱 만들기

안녕하세요! GDG Korea Android Organizer 배필주입니다. 이번 DevFest Incheon 2025에서는 인터넷 연결 없이도 스마트폰 안에서 On-Device AI 운세 앱을 만드는 과정을 통해 현재 온디바이스 모델의 발전이 어디까지 왔는지 이야기 했습니다. 그 내용을 좀 더 자세히 이 블로그 포스트를 통해 공유하려 합니다.

Intro: 오늘 발표 잘할 수 있을까? 🔮

왜 굳이 '내 폰'인가? (Motivation)

클라우드 API가 훨씬 똑똑하고 강력한데, 왜 굳이 성능이 제한적인 폰 안(On-Device)에서 AI를 돌려야 할까요? 여기에는 두 가지 결정적인 이유가 있습니다.

1. 돈 (Cost) 💸

Generative AI API로 운세를 한 번 볼 때 약 7원 정도가 든다고 가정합니다. 싸게 느껴지시나요? 하지만 유저 1만 명이 하루에 3번씩만 물어봐도 월 서버비가 600만 원을 훌쩍 넘깁니다. 개인 개발자나 작은 스타트업이 감당하기엔 부담스러운 금액이죠.

2. 프라이버시 (Privacy) 🔒

운세 앱에는 생각보다 은밀한 질문들이 올라옵니다. "저 사실 사내 비밀 연애 중인데 들킬까요?" 같은 텍스트가 서버 로그에 남는다면 어떨까요? 온디바이스 AI는 폰 밖으로 데이터가 1비트도 나가지 않습니다. 완벽한 '대나무 숲'을 제공할 수 있죠.

Part 1. 재료 준비: 도구와 모델

도구 선택: MediaPipe 🛠️

모델을 구동하기 위한 엔진으로는 구글의 MediaPipe를 선택했습니다. 복잡한 TFLite 변환이나 C++ 코딩 없이, Gradle 라이브러리 추가만으로 GPU 가속까지 알아서 처리해주는 안드로이드 개발자의 마법 지팡이입니다.

특히 MediaPipe Studio 웹사이트를 강력 추천합니다. 코드를 짜기 전에 웹 브라우저에서 바로 모델을 다운로드하고 프롬프트를 테스트해볼 수 있어 빠른 검증이 가능합니다.

점술가 후보 라인업 (The Candidates)

우리 앱에 탑재될 '점술가' 모델 후보들을 소개합니다. 구글, 마이크로소프트, 메타 등 빅테크 기업들의 경량 모델들이 면접장에 모였습니다.

모델명	용량	특징
🏋️ Heavy (2GB+)
Phi-4 Mini	3.6GB	강력한 지능, 한국어 지원 but 매우 무거움, 모바일에서 돌아갈까?
Gemma 2 2B INT8	2.4GB	더 똑똑하지만 조금 무거움 (v2), 단점 : 용량 부담
⚖️ Standard (1GB ~ 2GB)
Gemma 2B INT4	1.2GB	성실한 신입, 높은 호환성, 보급형 기기 구동 가능
Llama 3.2 1B	1GB	가벼우나 변환(Conversion) 필요, bin 파일 미제공, 번들링 수고 필요
🪶 Lightweight (Under 1GB)
Gemma 3 1B	529MB	압도적인 용량 효율
Gemma 3 270M	290MB	초경량 (IoT/구형 폰에서도 돌아갈까?)
Gemini Nano	0MB*(앱 패키지 기준)	시스템 내장(AI Core), 최신 플래그십만 지원

⚡ 최종 면접: 실전 테스트 (The Arena)

공정한 비교를 위해 Google Pixel 9 (Tensor G4) 환경에서 똑같은 질문을 던졌습니다.
질문: "타로 태양 카드 설명해줘" .
(👇 각 카드를 클릭하면 상세 결과를 볼 수 있습니다)

Part 2. 봉인 해제: 구현 (Implementation)

1. 아키텍처 및 파일 포맷

On-Device AI 개발 시 가장 헷갈리는 것이 바로 파일 포맷입니다. 저도 관련 내용을 확인하면서 각 파일 포멧이 어떻게 다른지 비유로 Gemini 에게 물어봤던 내용을 추가해둡니다.

2. 모델 로딩 (ADB 활용)

530MB 모델을 앱에 포함(assets)시키면 앱 용량이 너무 커집니다. 실무에서는 다운로드 방식을 쓰지만, 개발 단계에서는 ADB로 기기에 밀어넣습니다.

/**
 * 파일 넣기
 * adb push gemma3-1B-it-int4.task /data/local/tmp/
 * 권한 설정
 * adb shell chmod 644 /data/local/tmp/gemma3-1B-it-int4.task
 * 잘 들어갔는지 확인
 * adb shell ls -lh /data/local/tmp/
 */

3. 추론 엔진 코드 (Kotlin)

LlmInference를 빌드할 때 중요한 건 옵션입니다. TopK와 Temperature 값을 높여 약간의 '광기'와 '창의성'을 허용해야 신비로운 점괘가 나옵니다.

val options = LlmInferenceOptions.builder()
    .setModelPath("/data/local/tmp/gemma3-1B-it-int4.task") // 모델 경로 (.bin 또는 .task)
    .setMaxTokens(1024)   // 생성할 최대 토큰 수 (답변 길이 제한)
    .setTopK(40)          // 확률이 높은 상위 K개의 토큰 중에서만 샘플링 (다양성 조절)
    .setTemperature(0.8f) // 생성의 무작위성 (높을수록 창의적/랜덤, 낮을수록 결정적/반복적)
    .setRandomSeed(101)   // 결과 재현을 위한 시드값 (테스트용)
    .setResultListener { partialResult, done ->
        // 부분 결과 수신 (스트리밍 UI 업데이트)
    }
    .build()

val llmInference = LlmInference.createFromOptions(context, options)

Part 3. 한국어 능력 검증과 '페르소나' (Prompt Engineering)

Gemma는 기본적으로 영어 원어민입니다. 한국어를 할 수는 있지만, 그냥 물어보면 번역기 같은 말투가 나옵니다. 특히 Gemma 2B, 9B 같은 소형 언어 모델(SLM)은 '눈치'가 적고 학습 데이터가 적기 때문에, "네가 누구이고, 어떻게 말해야 하는지"를 아주 구체적으로 정의해 주지 않으면 가장 확률이 높은(평범하고 재미없는) 답변을 내놓습니다.

🚀 소형 모델(SLM) 핸들링 가이드 (Practical Tips)

작은 모델의 성능을 200% 끌어올리기 위한 실전 팁 5가지를 공유합니다.

1. 강력한 페르소나(Persona) 주입: "빙의 시키기"

작은 모델은 모호한 지시를 힘들어합니다. 단순히 "친절하게 말해줘"보다는 구체적인 상황, 직업, 말투를 지정해야 합니다.

• Bad: "타로 점을 봐줘."

• Good: "너는 30년 경력의 신비로운 타로 마스터야. 고어(Archaic words)를 섞어서 신비감을 조성하고, 마지막엔 항상 희망적인 조언을 덧붙여야 해."

2. Cross-Lingual Prompting: "지시는 영어로, 답변은 한국어로"

대부분의 모델은 영어 데이터 비중이 압도적입니다. 논리적인 추론이나 복잡한 지시는 영어로 할 때 훨씬 잘 알아듣습니다.

3. 퓨샷 러닝(Few-Shot Learning): "예시 보여주기"

작은 모델에게 긴 설명보다 강력한 것은 '예시(Example)'입니다. 원하는 말투를 1~3개 보여주세요.

User: 안녕?
Assistant: 어서 오게, 운명을 엿보고 싶은가? (신비로운 톤)

User: 오늘 점심 뭐 먹지?
Assistant: 붉은 기운이 감도는 음식이 자네의 기운을 북돋아 줄 걸세. (제육볶음 추천)

User: (실제 질문 입력)

4. 복잡한 지시는 쪼개기 (Chain of Thought)

한 번에 여러 제약사항(말투 + 포맷 + 논리)을 주면 과부하가 걸려 일부를 무시합니다. 시스템 프롬프트 단계에서 1. 내용 요약 -> 2. 말투 변환 순서로 사고하도록 유도하세요.

5. 매개변수(Parameter) 조절

창의성을 높이려고 Temperature를 너무 높이면(1.0 이상) 횡설수설(Hallucination)할 수 있습니다.
추천: 0.7 ~ 0.8 (창의적 글쓰기), 0.2 ~ 0.5 (논리적 태스크)

마무리 🌌

📚 함께 해보기 (Codelabs)

• MediaPipe 활용하기 1: Face Stylizer
  2025 GDG Korea Android Build with AI 핸즈온 진행 자료 (참고 : 현재 MediaPipe 예제 관련된 연결된 링크 자료는 내려간 상태입니다.)
  👉 코드랩 바로가기
• MediaPipe 활용하기 2: Tarot App 직접 만들기
  본 세션 실습 자료 (위 코드랩 참고)
  👉 코드랩 바로가기