LLM API 사용법: 토큰, 비용, 키, 그리고 첫 AI 기능

LLM API는 앱이 대규모 언어 모델(예: OpenAI의 GPT 모델, Anthropic의 Claude, Google의 Gemini)에 텍스트를 보내고 그 응답을 코드 안에서 받을 수 있게 해 주는 웹 서비스입니다. 제공업체에 가입해 API 키를 만들고, 앱의 서버가 그 키로 요청을 보내면 됩니다. 요금은 요청마다, 들어가고 나오는 토큰(텍스트 조각) 수로 청구됩니다. 보통 "앱에 AI를 추가한다"는 말은 남의 모델에 잘 쓴 요청을 내 서버에서 안전하게 보내는 것을 뜻합니다.

AI로 앱을 만들 때 왜 중요한가

AI로 만든 앱에는 서로 다른 두 가지 AI가 있으며, 이 둘을 헷갈리기 쉽습니다.

1. 앱을 만드는 AI — 앱 빌더 자체의 에이전트로, 코드를 작성합니다.
2. 앱 안의 AI — 사용자가 쓰는 기능으로, 예를 들어 채팅 도우미, "요약하기" 버튼, 자동 태깅 등이 있습니다.

두 번째 AI는 내 키로 LLM API를 호출하고, 내 제공업체 계정에 요금을 청구합니다. 토큰, 컨텍스트, 요금 구조를 이해하면 제대로 작동하고, 키가 새지 않으며, 요금 때문에 놀라지 않는 기능을 설계할 수 있습니다.

일상의 비유: 실력 좋은 프리랜서, 단어당 보수 지급

LLM API는 이메일로 연락하고 단어 수로 보수를 주는 아주 유능한 프리랜서 작가와 같다고 생각하면 됩니다. 보내는 단어와 돌아오는 단어 모두에 돈을 내고, 돌아오는 단어가 더 비쌉니다.

• 이메일 사이에 기억이 없습니다. 대화를 이어 가게 하려면 매번 새 이메일에 앞선 메시지를 다시 붙여 넣어야 합니다.
• 한 번에 읽을 수 있는 양이 제한되어 있습니다. 그 한계가 컨텍스트 윈도우입니다.
• 지시가 명확할수록 답이 좋아지고 짧아집니다. 짧은 답은 비용도 줄입니다.

핵심 개념

토큰

모델은 텍스트를 토큰 단위로 읽고 씁니다. Anthropic의 요금 문서는 2026년 9월 기준으로 토큰 하나를 대략 4글자, 영어 단어 약 0.75개로 추정합니다. 모델과 언어마다 토큰화 방식이 다르므로 대략적인 기준으로만 보세요. 지시문, 사용자의 메시지, 포함한 문서, 앞선 대화, 그리고 응답까지 모두 계산에 들어갑니다.

입력과 출력

입력 토큰은 내가 보내는 것이고, 출력 토큰은 모델이 쓰는 것입니다. OpenAI, Anthropic, Google의 요금 페이지에 따르면 2026년 9월 기준으로 같은 모델이라도 출력 토큰은 입력 토큰보다 몇 배 비쌉니다. Google의 Gemini 요금 안내에는 모델 내부의 "사고(thinking)" 과정도 출력으로 계산된다고 적혀 있습니다.

컨텍스트 윈도우

모델이 한 번의 요청에서 받을 수 있는 최대 토큰 수로, 응답까지 포함합니다. 최신 모델은 매우 긴 입력을 받을 수 있습니다. 예를 들어 Anthropic의 최신 모델 중 일부는 최대 100만 토큰까지 받습니다. 하지만 긴 입력은 비용이 더 들고 시간도 더 걸리므로, 작업에 필요한 내용만 보내세요.

상태 없는 요청

대부분의 채팅형 API에서 각 요청은 기본적으로 독립적입니다. 채팅이 대화를 "기억"하게 하려면 앱이 새 메시지를 보낼 때마다 앞선 메시지를 다시 보내야 합니다. 그래서 긴 대화는 짧은 대화보다 메시지 하나당 비용이 더 듭니다.

시스템 프롬프트

모든 요청에 적용되는, 모델의 역할과 규칙을 정하는 지시문입니다. 예를 들면 "너는 고객 문의를 세 개의 글머리 기호로 요약한다. 고객 이메일 주소는 절대 포함하지 마." 같은 내용입니다. 사용자에게는 보이지 않지만 모든 응답의 형태를 결정합니다.

스트리밍

API는 전체 답을 기다리게 하지 않고, 생성되는 대로 텍스트를 보내 줄 수 있습니다. 사용자는 글자가 바로 나타나는 것을 볼 수 있어서 채팅 화면이 훨씬 빠르게 느껴집니다.

요금 구조

2026년 9월 기준이며, 각 제공업체의 요금 페이지에서 직접 확인한 내용입니다.

일부 제공업체는 결제 전에 써 볼 수 있는 방법도 제공합니다. Anthropic은 신규 사용자에게 소액의 무료 크레딧을 주고, Google의 Gemini API는 일부 모델에 무료 티어가 있습니다. 다만 무료 티어에서 보낸 콘텐츠는 Google 제품 개선에 쓰일 수 있다는 점에 유의하세요.

소형 고속 모델과 가장 큰 모델의 가격 차이는 매우 크고, 가격은 자주 바뀌기 때문에 여기에 구체적인 가격은 적지 않았습니다. 어떤 기능이든 간단한 추정은 (입력 토큰 × 입력 가격 + 출력 토큰 × 출력 가격) × 월간 요청 수로 할 수 있습니다. 여기에 여유분을 더하고, 제공업체 대시보드에서 월 사용 한도를 설정하세요.

실제 예시: "티켓 요약" 버튼

작은 고객지원 팀이 긴 고객 이메일 스레드를 세 개의 글머리 기호와 추천 답장으로 바꿔 주는 버튼을 원합니다.

1. 키 발급받기. 제공업체 하나에 계정을 만들고 API 키를 생성합니다. 월 사용 한도를 낮게 설정하세요.
2. 키를 비밀 값으로 저장하기. 서버에 ANTHROPIC_API_KEY 또는 OPENAI_API_KEY처럼 이름을 붙여 저장하고, 페이지 코드에는 절대 넣지 마세요. 환경 변수와 비밀 값을 참고하세요.
3. 서버 경로 추가하기. POST /api/summarise 경로를 만들고, 다음을 수행하게 합니다.
   • 요청한 사람이 로그인했고 지원팀 소속인지 확인합니다.
   • 데이터베이스에서 티켓을 불러옵니다.
   • 제공업체에 시스템 프롬프트("세 개의 글머리 기호로 요약한 뒤 정중한 답장 초안을 작성하라. 주문 번호를 지어내지 마라.")와 티켓 본문을 보냅니다.
   • 최대 출력 토큰 설정으로 응답 길이를 제한합니다.
   • 결과를 돌려주고, 사용한 토큰 수를 기록합니다.
4. 버튼은 제공업체가 아니라 내 경로를 호출합니다. 요약은 생성되는 대로 화면에 표시됩니다.
5. 실패 처리. 제공업체가 느리거나 오류를 반환하면 "지금은 요약할 수 없습니다"를 보여 주고, 티켓은 계속 쓸 수 있게 둡니다.
6. 측정하기. 일주일 뒤 토큰 기록을 보세요. 비용의 대부분이 긴 이메일 스레드에서 나온다면, 보내기 전에 인용된 이전 내용을 줄이세요.

여기에 없는 것을 눈여겨보세요. 모델 학습도, 특별한 인프라도 필요 없습니다. 키 하나, 서버 경로 하나, 잘 쓴 프롬프트 하나면 충분합니다.

핵심 용어

• API 키: 제공업체에 내 계정을 식별하는 비밀 값입니다. 이 키를 가진 사람은 내 돈을 쓸 수 있습니다.
• 모델: 호출하는 특정 LLM입니다. 제공업체는 가격과 속도가 다른 여러 크기의 모델을 제공합니다.
• Temperature: 응답이 얼마나 다양할지 정하는 설정입니다. 낮을수록 예측 가능합니다.
• Max tokens: 응답 길이의 상한으로, 비용의 상한이기도 합니다.
• Rate limit: 내 계정이 분당 사용할 수 있는 요청 또는 토큰의 양입니다.
• 임베딩: 텍스트의 의미를 나타내는 숫자로, 내 문서를 검색할 때 사용합니다.
• RAG(검색 증강 생성): 내 데이터에서 관련 구절을 찾아 프롬프트에 포함해서, 모델이 내 콘텐츠를 바탕으로 답하게 하는 방식입니다.
• 도구 사용 / 함수 호출: "주문 상태 조회"처럼 특정 함수를 실행해 달라고 모델이 앱에 요청하도록 하는 기능입니다.

흔한 실수와 오해

• 프런트엔드 코드에 키 넣기. 가장 비싼 실수입니다. 브라우저 코드는 공개됩니다. 항상 서버에서 호출하세요. AI로 만든 앱을 위한 보안 체크리스트에서 출시 전 다른 점검 항목과 함께 다룹니다.
• 사용 한도나 사용자별 제한이 없음. 버그, 무한 반복, 악의적인 사용자 때문에 비용이 순식간에 늘 수 있습니다. 제공업체 한도를 설정하고, 앱에서 사용자별 요청 수도 제한하세요.
• 매번 모든 내용 보내기. 문서 전체와 채팅 기록 전체는 입력 토큰을 불립니다. 줄이고, 오래된 메시지는 요약하거나, 관련 부분만 검색해서 보내세요.
• 출력을 무조건 믿기. 모델은 틀린 내용을 확신에 차서 말할 수 있습니다. 사실, 가격, 법적·의학적 내용은 내 데이터에 근거하고 출처를 보여 주거나, 사람이 확인하게 하세요.
• 사용자 입력이 내 규칙을 덮어쓰게 두기. 사용자는 "지시를 무시해"라고 입력할 수 있습니다. 권한과 민감한 동작은 프롬프트에만 맡기지 말고 서버 코드에서 처리하세요.
• 가장 큰 모델부터 시작하기. 더 작고 저렴한 모델로 먼저 시도하고, 품질이 꼭 필요할 때만 올리세요.
• 생각 없이 개인 정보 보내기. 특히 무료 티어에서는 제공업체의 데이터 사용 약관을 확인하고, 기능에 꼭 필요한 정보만 보내세요.

AI 빌더에 무엇을 요청할까

티켓 페이지에 "요약" 버튼을 추가해 줘. 이 버튼은 서버 경로를 호출하고, 그 경로는 비밀 값 OPENAI_API_KEY를 사용해(브라우저에는 절대 노출하지 않음) 로그인 여부를 확인한 뒤, 티켓 본문을 다음 시스템 프롬프트와 함께 보내야 해: […]. 응답은 300 토큰으로 제한하고, 답을 페이지에 스트리밍하고, 호출이 실패하면 친절한 오류를 보여 줘. 요청마다 사용한 토큰을 기록하고, 사용자당 시간당 30회로 제한해 줘.

채팅 경험을 전부 만들고 싶다면 AI 챗봇 앱을 만드는 법을, 다른 아이디어가 필요하다면 앱에 AI 기능을 추가하는 법을 보세요. API 자체가 낯설다면 API란 무엇인가부터 시작하세요.

Mythex로 만든 앱의 LLM API

Mythex로 앱을 만들면, 앱 안의 AI는 내 제공업체 키를 사용합니다. 프로젝트 비밀 값으로 키를 추가하거나, Mythex가 채팅에서 필요할 때 보여 주는 비밀 값 카드를 통해 추가하고, 서버에서 호출을 만들어 달라고 에이전트에게 요청하면 됩니다. 제공업체 사용분은 Mythex 빌드 크레딧이 아니라 내 제공업체 계정으로 청구됩니다. Mythex는 앱 사용자를 위한 토큰을 포함하지 않으며, 내장 지식 베이스 제품도 제공하지 않습니다. 사용 한도와 비용 통제는 직접 설계하고 테스트해야 합니다. 문서의 내 API 키로 앱에 AI 기능 추가하기 레시피에 시작 프롬프트가 있고, AI 앱 빌더 페이지에서 시작 지점을 확인할 수 있습니다.

자주 묻는 질문