ChatGPT 사용자 불만족 분석: 데이터로 보는 프롬프트 실패의 원인과 해결책

효과적인 프롬프트 작성 유형과 실무 활용 전략

AI 상호작용 실패 패턴을 규명하고, 기술적·실무적 개선 방향을 제시한다

Prompt Engineering
LLM
AI
저자

Kwangmin Kim

공개

2025년 01월 21일

1 Intro

2025년, AI 도구 사용은 더 이상 선택이 아닌 필수가 되었다. 하지만 질문을 던지면 항상 원하는 답변이 돌아오는 것은 아니다. 왜 같은 AI를 써도 어떤 사람은 훌륭한 결과를 얻고, 어떤 사람은 반복해서 실패할까?

이 문제의 답은 프롬프트 작성 방식에만 있지 않다.
- AI 모델 자체의 한계,
- 사용자의 기대와 현실의 괴리, 그리고
- 양자 간의 상호작용 구조에 있다.

이 포스트는 실제 ChatGPT 사용자 511건의 불만족 사례를 분석한 연구 결과를 토대로, AI와의 대화가 실패하는 이유와 그 해결 방법을 정보 중심으로 정리한 내용이다.
* 참고 논문: Kim, J., Lee, S., & Park, J. (2023). Understanding Users’ Dissatisfaction with ChatGPT Responses: Types, Resolving Tactics, and the Effect of Knowledge Level.
> arXiv:2311.07434

2 왜 AI와의 대화는 실패하는가

2.1 AI 상호작용의 시대적 변화

  • 마크 앤드리센이 2011년 제시한 “소프트웨어가 세상을 먹는다”는 명제는 2025년 새로운 형태로 재현되고 있다.
  • AI가 소프트웨어를 대체하면서, 프롬프트가 새로운 인터페이스 언어가 된 것이다.

전통적 소프트웨어 인터페이스는 명확했다. 버튼을 누르면 정해진 결과가 나온다. 하지만 생성형 AI는 다르다. 동일한 질문도 맥락, 모델 버전, 매개변수 설정에 따라 전혀 다른 답변을 생성한다. 이는 상호작용의 예측 가능성을 급격히 낮춘다.

2.2 사용자의 기대와 현실의 괴리

연구에 참여한 107명의 ChatGPT 사용자가 보고한 불만족 원인은 다음과 같다.

불만족 유형 비율 의미
질문 의도를 잘못 이해 33% AI가 사용자의 숨은 의도를 파악하지 못함
일반적이고 피상적 답변 21.7% 원하는 깊이나 구체성에 미달
정보 오류 36.5% 사실 오류, 환각(hallucination) 발생

흥미로운 점은 이 세 가지가 서로 연쇄적으로 발생한다는 것이다.
* 투명성이 낮으면 의도 파악이 의심되고,
* 의도가 잘못 파악되면 깊이가 부족해 보인다.

3 데이터로 보는 불만족의 구조

3.1 연구 방법론

  • 데이터: 107명 사용자의 307개 대화 세션에서 511건의 불만족 사례 추출
  • 분석: 정성적 코딩으로 7개 범주 정의 후, 공출현 행렬(co-occurrence matrix) 계산
    • 공출현 행렬(Co-occurrence Matrix): 두 개 이상의 항목이 함께 나타나는 빈도를 수치화한 matrix
    • 행(Row): 불만족 유형 A (예: 투명성 불만족)
    • 열(Column): 불만족 유형 B (예: 의도 불만족)
    • 셀 값: A와 B가 동시에 발생한 횟수 또는 확률
    • 예시,
                의도불만족  깊이불만족  정확도불만족  
    투명성불만족    0.59      0.42       0.31  
    윤리불만족      0.75      0.50       0.20  
    형식불만족      0.12      0.08       0.05  
    • 연쇄 관계 파악: 어떤 문제가 다른 문제를 유발하는지 발견
    • 투명성 개선하면 → 의도 불만족도 함께 줄어듦 (59% 연관)
    • 윤리 문제 발생 시 → 의도+깊이 문제 동시 점검 필요
    • 형식 오류는 → 독립적으로 처리 가능 (다른 문제와 무관)
  • 목표: 단순히 “어떤 종류의 불만족이 있는가”가 아니라, “어떤 불만족들이 함께 나타나는가”를 규명

3.2 7가지 불만족 범주

불만족을 7개 범주로 분류했을 때, 각 범주는 다음과 같은 특성을 가진다.

1. 의도 불만족 (Intent Dissatisfaction)
- 발생 빈도: 225건 (가장 높음)
- 정의: AI가 사용자의 요청과 다른 방향으로 답변
- 예시: “마케팅 전략을 물었는데 마케팅 이론 설명을 함”
- 근본 원인: 명시적 조건이 부족하거나, AI가 맥락을 오독

2. 깊이 불만족 (Depth Dissatisfaction)
- 발생 빈도: 186건 (두 번째)
- 정의: 답변이 너무 일반적이고 피상적
- 예시: “기계학습이 뭐냐고 물었는데 한두 문장 설명으로 끝남”
- 근본 원인: 사용자의 배경 지식 수준을 AI가 파악하지 못함

3. 정확도 불만족 (Accuracy Dissatisfaction)
- 발생 빈도: 상당수
- 정의: 사실 오류, 구식 정보, 환각(hallucination) 포함
- 예시: “존재하지 않는 논문을 인용”
- 근본 원인: 학습 데이터의 한계, 모델의 확률적 특성

4. 투명성 불만족 (Transparency Dissatisfaction)
- 발생 빈도: 중간 수준
- 정의: 답변 근거가 명확하지 않고, 추론 과정이 설명되지 않음
- 예시: “왜 이렇게 답했는지 이유가 없음”
- 근본 원인: AI가 의도적으로 근거를 숨기는 것이 아니라, 설명 생성에 최적화되지 않음

5. 거절 불만족 (Refusal Dissatisfaction)
- 발생 빈도: 낮음
- 정의: 정당한 요청임에도 AI가 응답 거부
- 예시: “코딩 도움을 청했는데 ’도와드릴 수 없다’고 거부”
- 근본 원인: 안전 필터가 과도하게 작동

6. 윤리 불만족 (Ethics Dissatisfaction)
- 발생 빈도: 낮음
- 정의: 편향, 차별, 부적절한 내용 포함
- 예시: “특정 집단에 대한 고정관념이 담긴 답변”
- 근본 원인: 학습 데이터에 내재된 편향

7. 형식 불만족 (Format Dissatisfaction)
- 발생 빈도: 낮음
- 정의: 요청한 형식(표, 코드, 리스트 등) 미준수
- 예시: “표 형식으로 달라고 했는데 문단 형식으로 답함”
- 근본 원인: 형식 지정 명령어가 충분히 명확하지 않음

3.3 불만족 간 연쇄 관계: 공출현 분석

단순히 불만족이 존재하는 것이 아니라, 특정 불만족이 다른 불만족을 동반할 확률이 높다는 것이 중요한 발견이다.

투명성 부족 → 의도 파악 의심

투명성 불만족이 발생했을 때, 59% 확률로 의도 불만족도 함께 발생한다.

\[P(D_{intent} | D_{trans}) = 0.59\]

해석: AI가 “왜 이렇게 답했는지” 설명하지 않으면, 사용자는 “혹시 내 질문을 잘못 이해한 건 아닐까?”라는 의심을 갖는다. 근거 없는 답변은 신뢰 저하로 이어지고, 이것이 의도 파악 실패의 신호로 해석된다.

윤리 문제의 다중 파급

윤리 불만족 발생 시:
- 의도 불만족 동반 확률: 75%
- 깊이 불만족 동반 확률: 50%

\[\begin{aligned}P(D_{intent} | D_{ethic}) &= 0.75 \\P(D_{depth} | D_{ethic}) &= 0.50\end{aligned}\]

해석: 편향되거나 부적절한 답변은 단순히 윤리 문제를 넘어, 사용자의 요청과 완전히 다른 방향으로 흐르게 한다. 또한 AI가 윤리적 이유로 직접 답하지 않고 회피하면, 답변이 표면적이고 일반적으로 느껴진다.

형식 불만족의 독립성

형식 불만족은 다른 불만족과의 공출현 값이 0.02~0.26으로 매우 낮다.

해석: 표 생성, 코드 포맷팅 등의 형식 문제는 내용 품질과 무관하게 독립적으로 발생한다. 즉, 좋은 답변도 형식이 잘못되면 불만족이 되고, 형식 오류는 다른 불만족을 유발하지 않는다.

4 사용자의 대응 패턴

4.1 불만족에 직면했을 때 사용자는 무엇을 하는가

불만족한 답변을 받은 사용자가 보이는 행동 패턴을 분석하면, 흥미로운 결과가 나온다.

대응 전략 비율 의미
질문을 구체화해 재질문 61% 적극적 개선 시도
틀린 부분 지적 및 수정 요청 22% 피드백 제공
같은 질문 반복 또는 약간 변형 14% 소극적 재시도
무시하고 다음으로 진행 3% 포기
  • 표면적 읽기: 사용자의 61%가 구체화 전략을 사용하므로, 대부분 개선을 시도한다.
  • 심층적 읽기: 질문 구체화 시도에도 불구하고 여전히 높은 불만족률이 유지된다는 것은, 단순한 프롬프트 개선만으로는 해결되지 않는 구조적 문제가 존재함을 의미한다.

4.2 사용자가 사용하는 4가지 해결 전술

4.2.1 프롬프트 재사용 (Repeat Tactic)

동일하거나 유사한 프롬프트를 반복 시도하는 경우다. 효과가 낮지만, 사용자가 가장 간단하다고 생각하는 방식이다.

4.2.2 의도 구체화 (Specify Tactic)

  • 가장 자주 사용
  • 요청 사항을 더 자세히 명시하는 방식이다. “5단계로 나눠서”, “예시 3개 포함해서” 같은 조건을 추가한다.

4.2.3 오류 식별 및 수정 (Error Correction Tactic)

AI의 잘못된 부분을 명시적으로 지적하고 수정을 요청한다. 정확도 불만족 해결에 가장 효과적이다.

4.2.4 작업 적응 (Task Adaptation Tactic)

명시적으로 새로운 작업을 추가하거나 형태를 변경한다. 예를 들어 “이걸 파이썬 코드로 변환해줘”라는 식이다.

4.3 전술 사용의 분포와 의미

사용자 행동 데이터를 분석하면:

  • 의도 구체화 (Specify): 43%
  • 전술 없음 (No Tactic): 35%
  • 프롬프트 재사용 (Repeat): 13%
  • 오류 수정 (Error): 6%
  • 작업 적응 (Adapt): 3%

핵심 발견 1: 의도 구체화의 역설

사용자의 43%가 구체화 전술을 시도하지만, 35%는 여전히 아무 조치도 취하지 않은 채 다음으로 넘어간다. 이는 다음을 의미한다:

  • 구체화만으로는 불만족이 완전히 해결되지 않는다
  • 개선 시도가 상당한 인지 부하를 요구한다
  • 사용자가 “이렇게 해도 안 될 것 같다”는 기대를 갖는다

핵심 발견 2: 높은 포기율

전체 불만족의 35%에서 사용자가 개선 시도를 포기한다는 것은, AI와의 상호작용이 일방적 신뢰 관계를 기반으로 한다는 의미다. 텍스트 편집기나 엑셀처럼 “내가 해결할 수 있다”는 자신감이 없으면, 사용자는 쉽게 포기한다.

5 기술적 원인 분석

5.1 의도 파악 실패의 근본 원인

AI의 관점: 언어 모델은 주어진 토큰 시퀀스에서 통계적으로 가장 가능성 높은 다음 토큰을 예측한다. 사용자의 “숨은 의도”는 학습 데이터에 충분히 표현되지 않거나, 더 그럴듯한 다른 해석이 존재할 수 있다.

사용자의 관점: 자신의 배경, 목표, 제약 조건을 AI가 당연히 알 것으로 가정하고 질문한다. 하지만 AI는 오직 현재 대화 맥락만 본다.

결과: 두 관점의 불일치 → 의도 불만족

5.2 깊이 부족의 이유

다층적 원인:

  1. 모델 설계: ChatGPT 등은 안전성을 위해 “안전한 일반화”를 선호하도록 학습된다. 특정 도메인에 깊이 있게 들어가는 것보다, 광범위한 주제에 적당한 수준으로 답하도록 최적화되어 있다.

  2. 토큰 제한: 일반적으로 응답 길이에 제약이 있으므로, AI는 다양한 주제를 다루기보다는 핵심만 간결하게 제시하는 방식을 학습했다.

  3. 사용자 모델링 부재: AI가 사용자의 배경 지식 수준을 동적으로 파악하지 못한다.

5.3 정확도 문제 (Hallucination)

언어 모델의 확률적 특성상, 학습 데이터에서 본 적 없거나 불확실한 정보도 “있을 법한” 형태로 생성한다. 이를 hallucination이라 부른다.

  • 존재하지 않는 논문 인용
  • 상황에 맞지 않는 통계 수치
  • 일부 사실을 왜곡하여 그럴듯하게 조합

기술적 한계: 현재 LLM은 “확실하지 않다”고 말하는 것을 학습하기 어렵다. 왜냐하면 학습 과정에서 항상 “뭔가를 답하도록” 강화되었기 때문이다.

5.4 투명성 부족의 원인

AI가 의도적으로 근거를 숨기는 것이 아니라, 근거 생성이 주요 최적화 목표가 아니기 때문이다.

표준 프롬프트로는 AI가 최종 답변만 생성한다. 추론 과정을 포함하도록 하려면 “Chain-of-Thought”같은 특별한 프롬프트 전략이 필요하다.

6 불만족을 줄이기 위한 실무 전략

6.1 시스템 측면 (AI 서비스 제공자)

6.1.1 투명성 강화 - Chain-of-Thought 기반 답변

문제: 답변만 제시하면 사용자는 AI의 판단 근거를 모른다.

해결책: 답변 생성 시 추론 과정을 함께 제시한다.

기술적 구현:

시스템 프롬프트에 추가:  
"당신의 답변이 왜 그런지 설명하세요.   
사용자의 질문에서 어떤 키포인트를 파악했는지,   
왜 이런 방향으로 답했는지를 먼저 설명한 후 답변을 제시하세요."  

예시:

기존 답변:

머신러닝은 데이터로부터 패턴을 학습하는 기술이다.  

개선된 답변:

[내 이해]  
당신의 질문 "머신러닝이 뭐야?"에서 '기초 개념'을 원한다고 판단했습니다.  
따라서 수식보다는 직관적 설명을 우선합니다.  

[답변]  
머신러닝은 데이터로부터 패턴을 학습하는 기술입니다.  
예를 들어 과거 이메일 데이터를 보고 '스팸'과 '정상'의 특징을 학습하면,  
새로운 이메일이 스팸일 확률을 자동으로 예측할 수 있습니다.  

[다음 단계]  
더 깊이 있는 내용(알고리즘, 수학 공식)이 필요하면 알려주세요.  

6.1.2 깊이 레벨 제어 메커니즘

문제: 같은 질문을 받아도 사용자마다 원하는 깊이가 다르다.

해결책: 서비스 UI 차원에서 깊이를 명시적으로 선택하게 한다.

구현 방식:

사용자가 질문 제출 후, AI가 응답하기 전에:  

"이 주제를 어느 수준으로 설명할까요?"  

[ ] 초등학생 수준 (일상 비유, 어려운 용어 없음)  
[ ] 고등학생 수준 (개념과 기초 원리)  
[ ] 대학 전공자 수준 (수식 포함, 이론 중심)  
[ ] 전문가 수준 (최신 논문, 고급 기법)  

이를 시스템 프롬프트에 반영하여 답변 수준을 조절한다.

6.1.3 다층적 답변 구조

문제: 한 번의 답변으로 모든 사용자의 기대를 충족하기 어렵다.

해결책: 핵심→상세→예제→참고자료 형태로 계층화된 구조를 제공한다.

구현 예시:

### [핵심 설명 - 15초 읽을 수 있는 분량]  
머신러닝은 데이터로 패턴을 배우는 기술입니다.  

### [상세 설명 - 토글 또는 접기/펼치기]  
더 깊이 알고 싶으시면 클릭하세요.  
[머신러닝의 역사 → 주요 개념 → 알고리즘 분류]  

### [실습 예제 - 선택적]  
Python 코드로 간단한 머신러닝 모델 작성하기  

### [참고 자료]  
관련 논문, 온라인 강좌 추천  

이 구조를 통해 사용자는 필요한 깊이만큼만 진행할 수 있다.

6.1.4 윤리 거절의 투명성

문제: “이 요청에는 도움을 드릴 수 없습니다”라는 거절만 하면 사용자 불만족이 높다.

해결책: 거절 이유를 명확히 하고, 가능한 대안을 제시한다.

예시:

기존:

죄송하지만 이 요청은 도와드릴 수 없습니다.  

개선:

직접적인 해킹 방법은 법적 문제가 있어 제시할 수 없습니다.  

대신 다음 방향으로 도움을 드릴 수 있습니다:  
1. 보안 원리 학습 (암호화, 인증 체계)  
2. 윤리적 해킹 자격증 취득 경로  
3. 합법적 보안 테스트 환경 구축 방법  

6.2 사용자 측면 (프롬프트 작성 최적화)

6.2.1 의도를 먼저 명시하라

나쁜 예:

머신러닝 설명해줘  

좋은 예:

비전공자도 이해할 수 있게 머신러닝을 설명해줘.  
- 일상 생활 비유 포함  
- 2~3개 구체적 예시  
- 전문 용어는 괄호로 보충 설명  

why: AI가 당신의 배경 지식을 모르므로, “누구를 위한 설명인가”를 명확히 해야 한다.

6.2.2 제약과 형식을 구체화하라

나쁜 예:

마케팅 전략을 제시해줘  

좋은 예:

우리 회사(B2B SaaS, 직원 20명)의 2025년 마케팅 전략을 제시해줘.  

형식: 분기별 액션플랜 (목표 → 실행 방법 → KPI)  
제약: 마케팅 예산은 월 5000달러 이내  
참고: 경쟁사는 A, B, C  

why: 제약이 명확할수록 AI의 “탐색 공간”이 좁혀져, 더 정확한 답변이 나온다.

6.2.3 단계적 질문을 활용하라

대신:

좋은 논문을 추천해줘  

이렇게:

Step 1 (기초 설정):

머신러닝의 [주제 선택]에 관한 기초 논문 5개를 추천해줘.  
한국 대학원 수준의 입문용으로 추천해줄 거야.  

Step 2 (피드백 반영):

정리해주신 논문 중 [선택한 논문]을 읽을 예정이야.  
이 논문을 이해하기 위한 사전 지식으로는 뭐가 필요해?  

Step 3 (심화):

좋아, 이 논문의 핵심 아이디어를 [당신의 연구주제]에 적용하려고 해.  
어떤 부분을 수정하거나 보완해야 할까?  

why: 한 번에 완벽한 질문을 만들기 어렵다. 대화 과정에서 AI가 당신의 맥락을 점진적으로 이해하도록 유도한다.

6.2.4 AI의 한계를 미리 보정하라

예시 1 - 정확도 검증 요청:

다음 내용이 사실인지 확인해줄 수 있어?  
[당신이 얻은 답변]  

특히 수치, 인용문, 날짜를 검증해 줄 때   
"확실하지 않은 부분은 명시해 줄 수 있어?"라고 덧붙인다.  

예시 2 - 깊이 조절 명시:

내 배경: [당신의 기술 수준, 경험]  
원하는 깊이: [개념 설명 / 구현 방법 / 이론적 증명]  
결과 형식: [단순 요약 / 단계별 가이드 / 코드 예제]  

6.2.5 “생각하고 하라” 지시

프롬프트 시작 부분에 다음을 추가한다:

다음 작업을 수행하기 전에, 먼저 [당신의 요구사항]을 분석하고,  
내가 원하는 것이 뭔지 역으로 질문한 후 답변해 줄 수 있을까?  

효과: AI가 표면적 질문만 처리하지 않고, 당신의 실제 의도를 파악하려는 노력을 하게 한다.


7 불만족 유형별 대응 전략

7.1 의도 불만족 해결하기

진단: 받은 답변이 질문과 다른 방향

AI 관점 개선:
- 사용자가 언급한 “키워드”에만 반응하지 않도록, 맥락 이해 능력 개선 필요
- 다양한 해석 가능성이 있을 때, AI가 “이렇게 이해했는데 맞나요?”라고 확인하는 메커니즘

사용자 관점 개선:

Before: "마케팅 전략 알려줘"  

After: "우리 회사는 B2B SaaS인데,   
이번 분기에 새로운 기능을 출시하려고 해.   
이 기능을 알릴 마케팅 전략이 필요해.   
경쟁사 A, B와 차별화되는 포인트는?"  

7.2 깊이 불만족 해결하기

진단: 답변이 너무 일반적이고 피상적

AI 관점 개선:
- 사용자의 배경 지식을 대화 맥락에서 추론
- “이 정도 수준으로 설명할까요?”라고 자동으로 제안

사용자 관점 개선:

질문 제시 시 배경 정보 포함:  
"나는 통계 박사인데, 머신러닝의 [주제]를 기술 수준에서 설명해줄 수 있어?"  

또는:  

깊이 명시:  
"초급자(입문자)가 아니라   
[구체적 역할: 데이터 과학자, 개발자]를 위해 설명해줄 수 있어?"  

7.3 정확도 불만족 해결하기

진단: 정보 오류, 환각 발생

AI 관점 개선:
- Hallucination을 완전히 제거하기는 불가능하므로, 답변에 신뢰도 표시 추가
- “이 부분은 확실합니다” vs “이 부분은 확인이 필요합니다” 구분

사용자 관점 개선:

Critical한 정보의 경우:  

"다음 정보는 최신인가? 확인 가능한 출처를 제시해 줄 수 있어?"  

또는:  

직접 검증:  
"위 내용에서 다음 항목들을 재검증해줄 수 있어?  
- 제시된 통계 수치  
- 인용한 논문/저자  
- 특정 제품의 기능/가격"  

7.4 투명성 불만족 해결하기

진단: 왜 이렇게 답했는지 이유가 없음

AI 관점 개선:
- 기본 답변 생성 시 자동으로 근거 포함
- Chain-of-Thought 방식을 표준화

사용자 관점 개선:

질문 형식 자체에 투명성 요청:  

"[질문]에 대해 답변해 줄 때:  
1. 내 질문에서 핵심 포인트가 뭐라고 이해했는지  
2. 왜 그렇게 이해했는지  
3. 그 이해를 바탕으로 어떻게 답할 건지  
를 단계별로 설명해 준 후 최종 답변해줄 수 있어?"  

7.5 형식 불만족 해결하기

진단: 요청한 형식을 따르지 않음

해결책: 형식은 가장 명확하게 지정할 수 있는 부분이다.

명확한 형식 지정:  

❌ "표로 정리해줘"  

✅ "  
마크다운 테이블로 정리해줘:  
| 항목 | 설명 | 예시 |  
로 시작하고,  
각 행은 3줄 이상 작성하지 말아 줄래?  
"  

또는:  

✅ "  
Python 리스트 형식:  
products = [  
  {'name': '상품1', 'price': 1000, 'description': '...'},  
  ...  
]  
형태로 제시해줄 수 있어?"  

why: 형식 불만족은 기술적 문제에 가깝고, 명확한 지정이 대부분 해결한다.

8 장기적 방향성

8.1 사용자 경험의 진화

8.1.1 현재 (2025년)

  • 사용자가 명시적으로 요청하지 않으면 AI는 “안전한 일반화”로 답한다
  • 프롬프트 작성 스킬이 결과의 품질을 크게 좌우한다
  • 사용자가 피드백 루프를 주도해야 한다

8.1.2 미래 (2~3년)

AI 시스템이 발전하면서 다음이 예상된다:

1. 개인 맞춤화의 자동화 (Hyper-Personalization)

사용자가 “이 정도 깊이로”, “이 형식으로” 같은 지시를 반복하지 않아도, AI가 사용자의 선호도를 학습하여 자동으로 적용한다.

현재: 매번 질문할 때마다 형식/깊이 지정  
미래: AI가 "당신은 항상 기술적 깊이를 원하고, 코드 예제를 선호한다"는 걸 학습  
      → 자동으로 최적 수준의 답변 제시  

2. 멀티모달 맥락 이해

텍스트뿐 아니라, 사용자의 직업, 프로젝트 상황, 과거 대화 이력을 종합적으로 고려한다.

현재: "이 코드에 버그가 있어?"  
      → 일반적인 버그 분석  

미래: "이 코드에 버그가 있어?"  
      + AI가 당신의 직업(백엔드 엔지니어), 프로젝트(마이크로서비스),   
        기술 스택(Python, FastAPI)을 고려  
      → 해당 맥락에 최적화된 분석  

3. 신뢰도 명시 (Confidence Levels)

AI가 자신의 답변에 대한 확신도를 명시한다.

"이 부분은 95% 확실합니다"  
"이 통계는 확인이 필요합니다 (50% 신뢰도)"  

8.2 프롬프트 엔지니어링의 진화

현재: 정확한 프롬프트 작성은 전문 스킬이다.

미래:
- AI가 “당신의 모호한 질문을 명확히 하는 질문”을 먼저 할 것이다
- 사용자는 “좋은 프롬프트 작성”보다는 “피드백 제공 능력”이 더 중요해진다
- 자동 프롬프트 최적화 도구가 일반화된다

9 참고 자료

  • 원본 연구: “Understanding Users’ Dissatisfaction with ChatGPT Responses: Types, Resolving Tactics, and the Effect of Knowledge Level” (2024)
    • 데이터: 107명, 307개 대화 세션, 511건 불만족 사례
    • 방법: 정성 코딩 + 정량 공출현 분석
  • 관련 개념:
    • Chain-of-Thought Prompting (Wei et al., 2022)
    • Hallucination in LLMs (Zhang et al., 2023)
    • Prompt Engineering Best Practices (OpenAI, Anthropic documentation)

Subscribe

Enjoy this blog? Get notified of new posts by email: