Kwangmin Kim - 기술 연구의 활용·장단점·데이터 초월 위험

1 활용의 세 축

비교군이 없는 설계가 21 세기에도 살아남는 이유는 세 가지 명확한 use case 가 있기 때문이다. Schulz & Grimes (2019, Ch.2.3) 는 이를 Trend Analysis · Planning · Clues About Cause 로 정리한다.

기술 연구의 활용 세 축
│
├── Trend Analysis     : 인구 건강 추세 모니터링 (시간 차원)
├── Planning           : 의료 자원·정책 계획 (행정 차원)
└── Clues About Cause  : 가설 생성 (과학 차원, "가장 재미있는" 활용)

이 세 축은 각각 다른 의사결정자(정책 입안자·자원 관리자·연구자) 를 향한다. 어느 축이든 결과는 다음 분석 연구의 입력이지, 인과의 최종 답이 아니다.

2 Trend Analysis — 추세 분석

2.1 정의와 위치

추세 분석은 인구 건강 지표를 시간 축에서 추적한다. 대개 surveillance 인프라가 산출물을 제공한다 (Schulz & Grimes, 2019, Ch.2.3.1).

2.2 사례

추세 사례	출처	시사점
러시아의 매독·HIV 유행	Shakarishvili et al., 2005	사회 격변기의 공중보건 위기
보조생식술의 다태아 출산	Luke, 2017	의료 기술 도입의 의도치 않은 결과
미국 비만 추세	Flegal et al., 2016	식이·생활습관 변화의 누적 효과

각 사례는 단순히 “숫자가 늘었다”가 아니라 시간 축에서의 변화율 자체가 사회적 의제 가 된다는 점에서 가치가 있다. 추세가 가속되면 정책 개입 압력이 생기고, 정체되면 기존 정책의 한계 검증 압력이 생긴다.

2.3 IT 대응

DAU/WAU 추이, 결제 전환율 시계열, 오류율 모니터링 — 모두 trend analysis 의 IT 판이다. 단, 추세가 가속되었다 ≠ 가속의 원인을 안다. 추세는 가설 생성 단계에 머문다.

3 Planning — 자원·정책 계획

3.1 정의

미래 자원 수요를 예측하고 의료·행정 인프라를 조정한다 (Schulz & Grimes, 2019, Ch.2.3.2).

3.2 사례 — 미국 난관 결찰의 외래 전환

1970 년대 복강경(laparoscopy) 도입 + 경구피임약·자궁내 장치에 대한 부정적 보도가 결합되어 미국 난관 결찰술 비율이 3 배로 늘었다 (Peterson et al., 1981). 외래 시술센터 수요는 급증한 반면, 입원 병상 수요는 감소했다. 1981~1995 년에 입원 결찰술이 외래로 완전 이행했다 (Chan & Westhoff, 2010). 이후 장기 작용 가역적 피임법(LARC) 사용 증가가 결찰술 자체에 대한 수요를 다시 줄였다 (Finer et al., 2012).

3.3 의의

기술 연구는 미래 자원 수요의 신호 검출기 역할을 한다. 인과를 묻지 않더라도, 추세가 곧 수요로 이어진다는 가정 하에 행정 계획이 가능하다.

3.4 IT 대응

캐파시티 산정, 콜센터 인력 배치, 클라우드 인스턴스 스케일링 계획 — 모두 planning 의 IT 판이다.

4 Clues About Cause — 가설 생성 (가장 재미있는 활용)

4.1 위치

Schulz 가 “the most fun” 으로 부르는 활용이다 (Ch.2.3.3). Panel 2.1 의 사례들은 모두 임상 관찰 → 후속 분석 연구 → 인과 확인의 패턴을 따른다.

임상 관찰	가설	후속 검증
인큐베이터 신생아의 실명	고농도 산소 노출	분석 연구 → RCT 로 확인 (Silverman, 1991)
가수 Stevie Wonder (1950 년 조산아)	인큐베이터 산소로 실명	동시대 RCT 결과와 일치 (Fanaroff, 2013)
자궁 내 탈리도마이드 노출	사지 결손	The Lancet 의 case report 가 시초 (Riley, 2013)
동종요법(homoeopathy)의 부작용	안전성 문제	Case report·case-series 의 체계적 리뷰 (Posadzki et al., 2012)
비스포스포네이트 골괴사	약물 관련성	19 세기 “phossy jaw” 와 유사 — 황린 노출 (Marx, 2008)

4.2 핵심 메커니즘

관찰력 있는 임상의의 hunch
        ↓
case report / case-series
        ↓
case-control / cohort  ← 비교군 도입 (인과 추론의 출발선)
        ↓
RCT
        ↓
가이드라인·정책

이 흐름은 기술 연구가 자기 자리(가설 생성)에 머물 때 가장 잘 작동한다. 자기 자리를 넘어 인과 결론으로 도약하면, 다음 절의 “Overstepping the Data” 가 된다.

직관: Clues 가 잘 작동하는 조건

가설 생성이 후속 검증으로 이어지려면 두 가지 조건이 필요하다.

관찰의 명확성 — case definition (B2 의 What) 이 후속 연구가 같은 사례를 정의할 수 있을 만큼 구체적.
단서의 매력 — 임상의·연구자가 “이건 검증해 볼 가치가 있다” 라고 판단할 정도의 신선함·심각성·규모 (B2 의 So what).

두 조건 중 하나가 약하면 case report 는 자료실에서 잠든다.

5 장점과 단점

기술 연구의 강점·약점은 모두 “비교 없는 관찰” 이라는 정체성에서 파생된다 (Schulz & Grimes, 2019, Ch.2.4).

5.1 장점

장점	의미
데이터 가용성	종종 이미 수집된 자료(행정 통계·진료 기록) 활용 가능
저비용	추가 데이터 수집 부담 없음 또는 작음
빠른 발표 주기	RCT 의 수년 단위 일정 대비 수개월
윤리 부담 없음	새로운 개입(intervention) 이 없으므로 IRB 부담 작음

5.2 단점

단점	의미
시간 선후 모호	노출이 결과에 선행한다는 증거가 약함
인과 추론 위험	비교군 없는 보고에서 인과 결론을 도출하는 것은 불가능
분모 미상	“얼마나 흔한가” 추정이 어렵거나 불가
자기선택 보고 편향	이상한·인상적인 사례만 출판

5.3 강점-약점의 교차

장점인 “저비용·빠른 발표” 가 단점인 “인과 추론 위험” 과 결합되면 잘못된 결론이 빠르게 확산되는 위험이 만들어진다. 다음 절의 두 사례가 이 위험의 비용을 보여준다.

6 Overstepping the Data — 데이터를 넘는 추론

6.1 정의

기술 연구의 가장 빈번한 오류. 비교군 없는 자료에서 인과적 결론을 끌어내는 행위다. 형식 논리에서는 post hoc ergo propter hoc (이후 따라서 그것 때문에) 의 false cause 오류에 해당한다 (Schulz & Grimes, 2019, Ch.2.5).

핵심 가정과 그 위반

기술 연구가 인과 결론을 정당화하려면 다음 가정이 필요하다 — 다른 모든 가능한 원인이 동일하다(ceteris paribus). 비교군이 없는 한, 이 가정은 검증되지 않는다. 따라서 “관찰된 시간 일치 = 인과” 라는 추론은 가정의 미검증을 가정의 성립으로 오역하는 것이다.

6.2 사례 1 — 1980 년대 다상성 경구피임약 패닉

캘리포니아 Pasadena 의 한 의사가 다상성(multiphasic) 경구피임약을 복용하던 7 명의 여성에게서 기능성 난소낭종을 관찰하고 case-series 로 보고했다 (Caillouette & Koehler, 1987). 비교군은 없었다. 보고는 “다상성 약이 환자 건강과 안전을 위협할 수 있다” 고 경고했다.

6.2.1 결과의 연쇄

case-series 보고 (비교군 X)
   ↓
미디어 보도 (전 세계)
   ↓
미상의 수많은 여성이 약 중단
   ↓ (오해: 기능성 낭종 ≠ 난소암)
   ↓
비계획 임신 + 예방 가능했던 낙태
   ↓
2 년 후: 다상성 약 시판과 양성 난소낭종 입원율 무관 (Grimes & Hughes, 1989)
   ↓
5 년 후: cohort 연구로 무관 확인 (Lanes et al., 1992)
   ↓
5 년 후: case-control 로 무관 확인 (Holt et al., 1992)

비용: 5 년의 시간 동안 공중보건 피해가 누적되었다. 잘못된 인과 추론은 단순한 학술적 실수가 아니라 인구 단위의 실해를 일으켰다. Altman (1994) 은 이를 “scandal of poor medical research” 로 명명했다.

6.3 사례 2 — 1990 년대 전자 태아 모니터링 도입

연속 태아 심박 모니터링(EFM) 도입 시점과 주산기 사망률 감소가 시간적으로 일치하자, 저명한 산과 의사들이 모니터링이 신생아에게 이롭다 고 결론냈다.

Schulz 의 풍자

Schulz 는 이 추론에 대해 다음과 같이 응수한다.

“One could make an equally robust claim for hand-held calculators and pet rocks.” (휴대용 계산기와 펫 락(pet rock)에 대해서도 똑같이 견고한 주장을 할 수 있다.)

펫 락과 휴대용 계산기 보급도 같은 시기에 일어났다. 시간 일치는 인과 단서가 아니라 동시대 사건의 우연일 수 있다. 이 풍자가 가리키는 것은 시간 일치를 인과로 옮기는 추론의 본질적 취약함이다.

6.3.1 후속 RCT 의 진실

후속 RCT 들은 routine intermittent auscultation (간헐 청진) 과 비교하여 EFM 이 다음 결과를 보였다 (Alfirevic et al., 2017).

결과	EFM 효과
신생아의 지속 이익	없음
수술 분만	유의 증가
산모에 대한 해	있음 (수술 분만 증가로 인한)

6.3.2 비용

증거에도 불구하고 미국 분만의 대다수가 여전히 EFM 을 사용한다. 수십억 달러 의료 비용 + 산모 해. Schulz 는 이를 “lasting harm and squandered billions of dollars, a massive and ongoing public-health blunder” 로 표현한다.

6.3.3 동시대의 유사 위험

Schulz 는 현대 여성 건강 분야의 로봇 보조 수술(robotic surgery) 도입을 같은 패턴의 잠재 사례로 지목한다 — “산부인과에서 그 시점에 확립된 적응증이 없는데 폭발적으로 도입” (Liu et al., 2014). Relman (1980) 의 “medical-industrial complex” 가 환자 건강을 위협한다는 경고가 여전히 유효하다.

6.4 두 사례의 공통 패턴

단계	다상성 약 사례	EFM 사례
1. 관찰	7 명 case-series	도입 시점-사망률 시간 일치
2. 비교군	없음	없음 (시계열만)
3. 추론 도약	“약이 위험하다”	“EFM 이 이롭다”
4. 미디어·임상 확산	전 세계 약 중단	미국 표준 진료
5. 후속 검증 결과	무관	이익 없음·해 있음
6. 비용	비계획 임신·낙태	수십억 달러·산모 해

두 사례 모두 2 단계와 3 단계 사이에 비교군 도입을 건너뛴 것 이 결정적이다. 비교군이 있었다면 결론이 달라졌거나 보류되었을 것이다.

반사실: 비교군이 있었다면

다상성 약 사례가 case-control 로 설계되었다면 — 다상성 미사용 여성의 양성 난소낭종 발생률 과 비교했다면 — 발생률 차이가 작다는 사실이 즉시 드러났을 것이다.

EFM 사례가 RCT 로 시작되었다면 — 간헐 청진군과의 동시 비교 — 신생아 이익이 없다는 결론이 같은 시점에 도출되었을 것이다.

기술 연구의 한계는 데이터의 한계가 아니라 설계의 한계다. 같은 시점·같은 자원으로 비교군을 추가하는 것이 곧 분석 연구로의 도약이다.

7 IT 대응 — Overstep 의 일상 사례

의학적 overstep	IT/실험 overstep
약 도입 후 사망률 감소 → 약이 효과적	기능 출시 후 매출 증가 → 기능이 효과적
새 의료기기 도입 + 좋은 결과	새 추천 알고리즘 + DAU 증가
코호트의 유병률 차이 → 인과	세그먼트의 KPI 차이 → 인과

세 경우 모두 계절성·외부 이벤트·자연 회복·자기선택을 통제하지 않은 시간 비교를 인과로 옮기는 동일 패턴이다. Cross-link: 전후 비교(Before-and-After)가 위험한 이유 가 IT 맥락의 본격 분석.

8 결론

기술 연구는 세 가지 명확한 활용(Trend · Planning · Clues)에서 강력하다. 그러나 이 강점이 활용 영역을 벗어나 인과 결론으로 확장되면, 다상성 약·EFM 사례 같이 인구 단위의 실해를 일으킨다. 다음과 같은 자기 절제가 필요하다.

비교군이 없으면 인과를 결론내지 않는다.
시간 일치(post hoc) 만으로 원인을 단정하지 않는다.
가설 생성으로 절제하고, 검증을 분석 연구에 위임한다.

이 세 가지 절제가 곧 좋은 기술 연구의 표지다. SCH Ch.2 시리즈는 여기서 마무리되며, Phase B 다음 묶음(SCH Ch.4 cohort) 부터는 비교군이 있는 분석 연구의 영역으로 들어간다.

9 관련 주제

선행

후속 (Phase B 다음 묶음 — Cohort 시리즈)

1111-11-11, SCH Ch.4 코호트 연구 개관

다른 카테고리 연결

전후 비교(Before-and-After)가 위험한 이유 — IT 맥락의 overstep
관찰 연구 설계: 코호트, 케이스-컨트롤, 단면 연구 — 비교군이 추가된 분석 연구
타당성, 편향, 인과 추론, 효과 지표 — 인과 추론 프레임워크