1 프롬프트 질문 생성기 (FAQs Generator)
1.1 사용자 문제 분석
프롬프트 질문 생성기는 실제 서비스 운영 중 발견된 사용자 행동 패턴 문제를 해결하기 위한 프롬프트다.
발견된 문제점
- 서비스 이용 시간이 짧다
- 멀티턴 사용자의 비율이 적다
왜 이게 문제인가?
대부분의 AI 챗봇 서비스는 사용자가 한 번 질문하고 답변을 받은 후 바로 떠나는 패턴을 보인다. 이는 비즈니스적으로 두 가지 치명적 문제를 야기한다.
- 사용자 engagement가 낮아 서비스 가치를 충분히 전달하지 못한다.
- 광고 수익이나 구독 전환율이 낮아진다.
이 문제는 “사용자가 AI의 진짜 가치를 경험하기 전에 떠난다”는 관점에서 접근해야 한다.
귀납적 접근을 통한 해결 방법
멀티턴을 유도하는 방법을 고안하여 User Interface 개선으로 해결한다. 구체적으로는 사용자의 질문에 기반한 후속 질문을 제공하는 방식을 채택했다.
설계 철학
여기서 핵심은 “귀납적 접근”이다. 연역적으로 “사용자에게 이런 기능이 필요할 것이다”라고 가정하지 않고, 실제 데이터를 보고 “서비스 이용 시간이 짧다”는 현상을 발견한 후 이를 해결할 방법을 역으로 설계한다. 이는 실무 프롬프트 엔지니어링의 핵심 태도다. 프롬프트는 이론이 아니라 실제 사용자 행동 데이터에서 출발해야 한다.
프롬프트 구현 아이디어
- Static to Dynamic Question Generator
- FAQs with Prediction Probability
- 행동 경제학의 Nudge Theory 적용
각 아이디어의 의미
“Static to Dynamic”은 기존의 고정된 FAQ 리스트 방식에서 벗어나 사용자의 질문 맥락에 따라 동적으로 생성되는 질문으로 전환한다는 의미다. “Prediction Probability”는 단순히 무작위 질문을 던지는 게 아니라, 사용자가 실제로 궁금해할 확률이 높은 질문부터 우선순위를 매긴다는 전략이다. 이 설계는 행동경제학과 심리학 이론을 프롬프트에 직접 적용한 것이다.
1.2 Nudge Theory (넛지 이론)
넛지 이론은 행동 경제학의 핵심 개념으로, 사람들의 선택을 유도하되 강제하지 않는 방식이다.
핵심 원리
- 선택의 자유: 개인의 선택권을 제한하지 않는다
- 작은 개입: 사소하고 저렴한 변화로 큰 영향을 준다
- 예측 가능한 비합리성: 인간의 비합리적 행동 패턴을 이용한다
- 선택 설계: 환경을 조정하여 더 나은 선택을 유도한다
왜 프롬프트 엔지니어링에 넛지 이론이 필요한가?
사용자에게 “다음 질문을 하세요”라고 명령하면 저항감이 생긴다. 하지만 “혹시 이런 것도 궁금하지 않으세요?”라고 제안하면 자연스럽게 클릭한다. 이것이 바로 넛지다. 프롬프트가 생성하는 후속 질문은 사용자를 강제하는 것이 아니라, 부드럽게 다음 행동을 유도하는 장치다.
넛지 이론의 학술적 배경
넛지 이론은 Richard Thaler와 Cass Sunstein의 2008년 저서 “Nudge: Improving Decisions about Health, Wealth, and Happiness”에서 체계화되었다. Thaler는 이 업적으로 2017년 노벨 경제학상을 수상했다.
이 이론의 핵심은 인간의 의사결정 방식에 대한 현실적 이해에서 출발한다. 전통 경제학은 인간을 “homo economicus(경제적 인간)”로 가정했다. 이는 모든 정보를 완벽하게 분석하고, 항상 최선의 선택을 하며, 감정에 흔들리지 않는 이상적인 존재다.
하지만 실제 인간(“homo sapiens”)은 그렇지 않다. 우리는 복잡한 문제를 단순화하는 “휴리스틱(경험 법칙)”을 사용하고, 체계적인 “편향(bias, 인지적 왜곡)”을 보인다.
쉬운 예시로 이해하기
- 완벽한 의사결정자(homo economicus): “이 핸드폰을 살까?” → 시장의 모든 제품을 비교하고, 가격 대비 성능을 정확히 계산하여 최적의 제품을 선택한다. - 실제 인간(homo sapiens): “이 핸드폰을 살까?” → 친구가 쓰는 걸 보고 좋아보였고(휴리스틱), 오늘 세일한다고 해서(편향: 희소성 효과), 깊이 생각하지 않고 구매한다.
넛지 이론은 이런 인간의 실제 특성을 이해하고, 더 나은 선택을 하도록 환경을 조정하는 것이다.
Thaler와 Sunstein은 인간의 두 가지 사고 시스템을 구분한다.
* “자동 시스템(Automatic System)”은 빠르고 본능적이며 의식적 사고를 거의 필요로 하지 않는다.
* “숙고 시스템(Reflective System)”은 의도적이고 자의식적이다.
넛지는 자동 시스템에 작용하여 선택의 자유를 제한하지 않으면서도 더 나은 선택을 유도한다.
이 프롬프트 시스템에서 넛지 이론의 적용은 명확하다. 후속 질문은 사용자의 “선택 설계(Choice Architecture)”를 조정한다.
* High certainty 질문은 Anchoring 효과를 활용하여 사용자가 안전한 선택을 하도록 유도한다.
* Moderate certainty 질문은 Availability Heuristic을 활용하여 사용자가 생각하지 못했던 관점을 제시한다.
* Low certainty 질문은 Status Quo Bias를 깨뜨려 사용자가 새로운 관심사를 탐색하도록 유도한다.
이러한 3단계 구조는 사용자가 자연스럽게 대화를 이어가도록 설계된 “Libertarian Paternalism”의 실제 구현이다.
프롬프트 적용 방안
프롬프트 후속 질문 제작 시, 각 질문별로 넛지를 줄 수 있다. 이는 사용자가 자연스럽게 대화를 이어가도록 유도하면서도 선택의 자유를 보장한다.
실제 적용 예시로 이해하기
예를 들어 사용자가 “개발자로 살아남으려면?”이라고 물었을 때, 다음 세 가지 질문을 제시한다고 가정하자.
- “어떤 언어 배워야 해?” (High certainty - 거의 모든 개발 초보자가 궁금해하는 질문)
- “주니어 때 뭐 준비해?” (Moderate certainty - 흥미롭지만 모든 사람이 생각하진 않음)
- “비전공자도 가능해?” (Low certainty - 특정 상황의 사람만 궁금해하지만, 해당되면 매우 중요)
첫 번째 질문은 “안전한 선택”이다. 대부분 사용자가 클릭할 것이다. 두 번째는 “새로운 관점”을 제시한다. 세 번째는 “개인화된 니즈”를 공략한다.
이 3단계 구조 자체가 넛지 설계다.
1.3 Theory of Mind (마음 이론)
마음 이론은 다른 사람의 정신 상태를 이해하고 추론하는 능력을 의미한다.
정의 및 핵심 개념
- 타인이 자신과 다른 생각, 믿음, 욕구, 의도를 가질 수 있음을 인식한다
- 타인의 행동을 예측하고 설명하는 데 이론을 사용한다
왜 AI에게 “마음”을 부여하는가?
- LLM은 본질적으로 통계적 패턴 매칭 기계다. 하지만 “You have a mind”라고 명시적으로 지시
- 모델이 단순히 키워드 매칭이 아니라 사용자의 의도, 맥락, 숨겨진 니즈를 추론하려 시도한다.
- 이는 프롬프트 엔지니어링의 핵심 기법 중 하나다. 모델에게 “역할”과 “능력”을 부여하면, 실제로 그런 방식으로 작동하는 경향이 있다.
주요 연구
* David Premack & Guy Woodruff (1978): “Does the chimpanzee have a theory of mind?”라는 질문으로 동물의 마음 이론 연구를 시작했다.
* Heinz Wimmer & Josef Perner (1983): ’틀린 믿음 과제(False-Belief Task)’를 개발하여 아동의 마음 이론 발달을 연구했다.
* Simon Baron-Cohen, Alan Leslie, Uta Frith (1985): 자폐증과 마음 이론의 결핍 사이의 연관성을 제안했다.
마음 이론 연구의 의미
이 연구들의 핵심은 “타인의 마음을 읽는 능력은 학습 가능하다”는 점이다. 아동도 발달 과정에서 마음 이론을 습득한다. 정황 및 문맥을 고려해 상대방의 반응을 예상해 행동하는 과정도 마음 이론에 기초한다. 마찬가지로 LLM도 적절한 프롬프트 설계를 통해 “사용자의 마음을 읽는” 행동을 학습할 수 있다. 이것이 “You have a mind”라는 지시가 작동하는 이론적 배경이다.
마음 이론의 학술적 배경
David Premack과 Guy Woodruff의 1978년 연구 “Does the chimpanzee have a theory of mind?”는 마음 이론 연구의 시작점이다. 이들은 침팬지가 다른 개체의 의도와 지식을 추론할 수 있는지 실험했다. 이 연구는 마음 이론이 인간 고유의 능력인지, 아니면 다른 종과 공유하는 능력인지에 대한 논쟁을 촉발했다.
Heinz Wimmer와 Josef Perner(1983)는 “틀린 믿음 과제(False-Belief Task)”를 개발했다. 가장 유명한 버전은 Sally-Anne 테스트다. Sally가 구슬을 바구니에 넣고 방을 나간다. Sally가 없는 동안 Anne이 구슬을 상자로 옮긴다. 아이에게 “Sally가 돌아오면 어디를 찾을까?”를 묻는다. 4세 이하 아동은 대부분 “상자”라고 답한다(자신의 지식을 투영). 4세 이상은 “바구니”라고 답한다(Sally의 믿음을 추론). 이는 마음 이론이 발달 과정에서 특정 시기에 획득됨을 보여준다.
Simon Baron-Cohen, Alan Leslie, Uta Frith(1985)는 자폐 아동이 틀린 믿음 과제에서 실패한다는 연구를 발표했다. 이들은 자폐증이 “마음맹(mindblindness)”, 즉 타인의 마음을 추론하는 능력의 결핍과 관련 있다고 제안했다. 이 연구는 마음 이론이 사회적 의사소통에 필수적임을 보여주었다.
이 연구들이 프롬프트 질문 생성기와 연결되는 지점은 명확하다. 마음 이론은 “타인이 무엇을 알고, 무엇을 모르며, 무엇에 관심 있는지”를 추론하는 능력이다. 이 프롬프트는 LLM에게 “You have a mind”라고 지시함으로써, 모델이 단순히 키워드 기반 연관 질문이 아니라 사용자의 잠재적 관심사, 지식 상태, 감정 상태를 추론하도록 유도한다. “개발자로 살아남으려면?”이라는 질문에서 “살아남으려면”이라는 표현에 담긴 불안감을 읽고, “주니어 때 뭐 준비해?”같은 맥락적 질문을 생성하는 것이 마음 이론의 실제 적용이다.
프롬프트 적용
프롬프트가 사용자의 마음 상태를 이해하고 다음 질문을 예측하도록 설계됨으로써, 더 자연스러운 대화 흐름을 만들 수 있다.
1.4 실습: 프롬프트 질문 생성기 FAQs
실습 목표
기획한 내용을 토대로 다음 조건에 해당하는 프롬프트를 제작한다. 프롬프트 테스트는 Playground에서 진행한다.
필수 조건
- 모바일 앱 사용환경에 맞는 출력물 길이
- 사용자의 Multi Turn 대화를 자연스럽게 유도해야 함
- 사용자의 질문에 기반한 FAQs 세 개가 만들어져야 함
조건 설정의 의도
“모바일 앱 사용환경”이라는 제약은 단순히 화면 크기 문제가 아니다. 모바일 사용자는 PC 사용자보다 주의력이 분산되기 쉽고, 빠른 스크롤에 익숙하며, 긴 텍스트를 읽지 않는다. 따라서 “5단어 이하”라는 제약이 나중에 등장한다. 실제 서비스 환경의 제약을 프롬프트 설계에 반드시 반영해야 한다.
1.5 프롬프트 제작: 전체 구조
System Prompt 전체
# Introduction
You have a mind and your role is to generate possible three
questions a user may want to ask next based on
User input: 개발자로 살아남으려면??
The questions must be from the perspective of me, the user
asking you a question.
## Response template
Predicted user question as followed:
High certainty
Moderate certainty, yet intriguing
Low certainty, but strong potential for user engagement
### Ending
Answer in half speech form of Korean 반말.
Don't be over five words. Only provide three questions.프롬프트 구조화 전략의 핵심
마크다운 헤더(#, ##, ###)를 사용한 것은 단순한 가독성 때문이 아니다. LLM은 계층적 구조를 명확히 인식할 때 각 섹션의 우선순위를 더 잘 이해한다. #은 최상위 맥락 설정, ##는 중간 단계 지시, ###는 최종 제약이라는 암묵적 위계를 만든다. 이는 프롬프트 엔지니어링의 고급 기법이다.
이 프롬프트는 명확한 구조화를 통해 일관된 출력을 보장한다.
1.6 프롬프트 구조 분석
1.6.1 Introduction (역할 설정)
# Introduction
You have a mind and your role is to generate
possible three questions a user may want to
ask next based on User input: 개발자로 살아남으려면??
The questions must be from the perspective
of me, the user asking you a question.핵심 요소
- “You have a mind”: Theory of Mind를 명시적으로 부여
- 역할 명확화: 사용자가 다음에 물어볼 가능성이 높은 질문 3개 생성
- 관점 설정: 사용자 본인의 관점에서 질문이 생성되어야 함
“from the perspective of me, the user”의 의미
- 이 지시가 없으면 AI는 종종 3인칭 관찰자 시점으로 질문을 생성한다. 예를 들어 “개발자들은 어떤 언어를 배우나요?”처럼 객관적 질문을 만든다.
- 하지만 “from the perspective of me”를 명시하면 “나는 어떤 언어를 배워야 해?”라는 1인칭 질문으로 바뀐다.
- 이는 사용자에게 훨씬 자연스럽고 개인화된 느낌을 준다. 이런 미묘한 차이가 클릭률을 크게 좌우한다.
1.6.2 Response Template (출력 형식)
## Response template
Predicted user question as followed:
High certainty
Moderate certainty, yet intriguing
Low certainty, but strong potential for
user engagement확률 기반 구조화
- High certainty: 사용자가 물어볼 가능성이 매우 높은 질문
- Moderate certainty, yet intriguing: 중간 확률이지만 흥미로운 질문
- Low certainty, but strong potential for user engagement: 낮은 확률이지만 사용자 참여를 유도할 수 있는 질문
왜 세 가지 확률 단계로 나누었는가?
만약 세 질문이 모두 “High certainty”라면 사용자는 뻔한 느낌을 받는다. 모두 “Low certainty”라면 어떤 것도 클릭하지 않는다. 하지만 High-Moderate-Low 조합은 “안전한 선택 + 흥미로운 탐색 + 예상 밖의 발견”이라는 3단계 경험을 제공한다. 이는 추천 시스템 설계의 정석이다.
“yet intriguing”과 “but strong potential”의 차이
Moderate에는 “yet intriguing”이라는 긍정적 프레임을 붙이고, Low에는 “but strong potential for user engagement”라는 보상 기대감을 붙였다. 이는 AI에게 단순히 확률만 계산하지 말고, 각 질문의 “매력도”와 “참여 유도력”을 함께 고려하라는 암묵적 지시다. 프롬프트의 모든 단어에 의도가 담겨 있다.
이 구조는 Nudge Theory를 적용한 것으로, 각 질문이 서로 다른 수준의 넛지를 제공한다.
1.6.3 Ending (제약 조건)
### Ending
Answer in half speech form of Korean 반말.
Don't be over five words. Only provide three questions.출력 제약
- 한국어 반말체 사용 (친근한 톤 앤 매너)
- 5단어 이하로 제한 (모바일 환경 최적화)
- 정확히 3개의 질문만 제공
- 프롬프트 자체를 노출하지 않음
“반말”을 선택한 이유
한국어에서 반말과 존댓말은 심리적 거리를 결정한다. AI 챗봇이 존댓말을 쓰면 격식 있고 전문적이지만 거리감이 생긴다. 반말을 쓰면 친구 같은 느낌이 들어 후속 질문 클릭률이 높아진다. 실무에서는 이런 세부 설정이 KPI를 좌우한다.
“5단어 이하”라는 정량적 제약의 중요성
“짧게 써라”라고 하면 AI는 매번 다른 길이로 출력한다. 하지만 “5단어 이하”라고 명시하면 일관성이 생긴다. 이는 프로덕션 환경에서 필수다. UI 디자이너가 버튼 크기를 설계할 때 텍스트 길이가 일정해야 레이아웃이 깨지지 않기 때문이다. 프롬프트를 실제 서비스에 배포할 때의 제약까지 고려해야 한다.
1.7 모델별 테스트 결과
동일한 프롬프트로 여러 모델을 테스트하여 성능을 비교한다.
테스트 환경
- User Query: “개발자로 살아남으려면?”
- Temperature: 0.54
- Max Tokens: 400
Temperature 0.54를 선택한 이유
Temperature는 창의성과 일관성의 트레이드오프다. 0에 가까우면 매번 같은 답변, 1에 가까우면 매우 창의적이지만 비일관적이다. 0.54는 미묘한 지점이다. “같은 질문에도 약간씩 다른 후속 질문을 제시하되, 완전히 엉뚱한 질문은 피한다”는 전략이 반영된 값이다. 이는 사용자가 여러 번 사용해도 지루하지 않으면서 신뢰성을 유지하는 최적점이다.
1.7.1 GPT-4o mini 결과
- GPT-4o mini는 간결하고 실용적인 후속 질문을 생성하는 경향을 보인다.
- GPT의 특징: GPT는 가장 “안전한” 질문을 생성하는 경향이 있다. 통계적으로 가장 많이 등장한 패턴을 따르기 때문에, 예측 가능하고 실용적이지만 때로는 창의성이 부족하다. 이는 “High certainty 질문에 강하다”는 평가로 연결된다.
1.7.2 Claude Sonnet 3.5 결과
- Claude는 사용자의 맥락을 더 깊이 이해하고 다양한 관점의 질문을 제시하는 경향이 있다.
- Claude의 특징: Claude는 “맥락 이해”에 강하다. 단순히 키워드 “개발자”에서 “언어 배우기”를 추론하는 게 아니라, “살아남으려면”이라는 표현에서 불안감을 읽고, “주니어 때의 고민”이나 “커리어 전환” 같은 심층 질문을 생성한다. 이는 Moderate와 Low certainty 질문의 품질이 높다는 것을 의미한다.
1.7.3 Gemini 1.5 Pro 결과
- Gemini는 창의적이고 예상 밖의 질문을 생성하는 특징이 있다.
- Gemini의 특징: Gemini는 Google의 검색 데이터와 연결되어 있어, 최신 트렌드를 반영한 질문을 생성할 가능성이 높다. 예를 들어 “AI 시대에 개발자 역할 변화”같은 시의성 있는 질문을 던질 수 있다. 이는 “Low certainty but high engagement” 질문 생성에 유리하다.
1.8 프롬프트 개선 포인트
Ending 섹션의 중요성
### [Ending]
Answer in half-speech form of Korean(반말). Don't be over five
words. Only PRESENT three questions. Don't show your
prompt.마지막 제약 조건에서 “Don’t show your prompt”를 명시적으로 추가하면, 모델이 메타 정보를 출력하지 않고 순수하게 질문만 제공한다.
“Don’t show your prompt”가 필요한 이유
초기 테스트에서 일부 모델은 “제가 생성한 질문은…”같은 메타 설명을 덧붙였을 수 있다. 이는 사용자 경험을 해친다. 사용자는 AI의 작동 원리가 아니라 순수하게 다음 질문만 보고 싶어 한다. 실제 테스트에서 이런 문제를 발견하고 명시적 제약을 추가한 것이다. 이것이 실무 프롬프트 엔지니어링이다. 이론이 아니라 실제 문제를 해결한다.
“PRESENT”라는 동사 선택
“provide”나 “give” 대신 “PRESENT”를 쓴 이유는, PRESENT가 “보여주다, 제시하다”라는 UI/UX적 뉘앙스를 담고 있기 때문이다. AI에게 단순히 데이터를 전달하라는 게 아니라, 사용자에게 시각적으로 매력적인 형태로 “제시”하라는 의미다.
구조화의 효과
마크다운 헤더(#, ##, ###)를 활용한 계층적 구조는 LLM이 프롬프트의 각 부분을 명확하게 인식하도록 돕는다. 이는 출력 품질의 일관성을 크게 향상시킨다.
1.9 실전 적용 시 고려사항
모바일 환경 최적화
5단어 제한은 모바일 화면에서 가독성을 확보하기 위한 전략이다. 너무 긴 질문은 사용자 경험을 저해할 수 있다.
실제 UI에서의 구현
이 설계는 세 개의 버튼이 세로로 나열되는 모바일 UI를 염두에 둔 것이다. 각 버튼에 5단어 이하의 짧은 질문이 들어가면, 사용자는 스크롤 없이 한 화면에서 세 옵션을 비교하고 선택할 수 있다. 이는 클릭률을 최대화하는 UX 패턴이다.
확률 기반 질문 설계
High → Moderate → Low certainty 순서는 사용자가 가장 궁금해할 것부터 점진적으로 탐색 범위를 넓혀가는 구조다. 이는 사용자의 인지 부담을 줄이면서도 대화의 폭을 넓힌다.
심리학적 근거
이 순서는 “익숙함에서 낯섦으로”라는 학습 심리학의 원칙을 따른다. 사용자는 먼저 익숙한 질문(High certainty)을 보고 안심한다. “아, 이 AI는 내 상황을 이해하고 있구나.” 그다음 중간 단계 질문(Moderate)에서 “오, 이런 관점도 있네?”라고 흥미를 느낀다. 마지막으로 Low certainty 질문에서 “이건 생각 못했는데 중요할 수도 있겠다”라는 깨달음을 얻는다. 이 3단계 심리적 여정이 멀티턴을 유도한다.
Theory of Mind의 실제 구현
“You have a mind”라는 명시적 지시는 단순한 수사가 아니다. 이는 모델이 사용자의 의도, 맥락, 잠재적 관심사를 추론하도록 유도하는 핵심 메커니즘이다.
실험적 발견
“You have a mind”가 있을 때와 없을 때를 비교하면 명확한 차이가 나타난다. 없으면 AI는 단순히 키워드 기반 연관 질문을 생성한다. “개발자” → “프로그래밍 언어”, “개발 도구”, “취업 팁” 같은 일반적 질문이다. 하지만 “You have a mind”를 부여하면, AI는 “살아남으려면”이라는 표현에서 불안감을 읽고, “경력 전환”, “번아웃 대처”, “지속 가능한 학습” 같은 감정적 맥락을 반영한 질문을 생성한다. 이 차이가 사용자 만족도를 결정한다.
왜 이 프롬프트가 “고급 기술”인가?
이 프롬프트는 세 가지 고급 요소를 결합한다.
- 심리학 이론 통합: Nudge Theory와 Theory of Mind를 단순한 개념이 아니라 실제 프롬프트 구조에 구현했다.
- 비즈니스 목표와 직결: “멀티턴 증가”라는 명확한 KPI를 달성하기 위해 설계되었다.
- 실전 제약 반영: 모바일 UI, 5단어 제한, 반말체 등 실제 서비스 환경의 제약을 모두 고려했다.
대부분의 프롬프트는 이 중 하나만 갖춘다. 세 가지를 모두 통합한 것이 이 프롬프트의 가치다.