Kwangmin Kim kk3225.netlify.app/docs/blog/ blog quarto-1.4.543 Tue, 31 Dec 2109 15:00:00 GMT Data Governance Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Governance/

Governance

1 Data Governance

1.1 Data Governance Basic Concept

1.2 Data Modeling

1.2.1 Data Standardization

1.2.2 Data Quality

  • 0000-00-00, [Data Quality Control Process, 데이터 품질 절차]
  • 0000-00-00, [Data Quality Measurement, 데이터 품질 측정]
  • 0000-00-00, [Data Validation, 데이터 품질 검증]

1.2.3 etc.

1.3 DAMA Framework

]]> Data Governance kk3225.netlify.app/docs/blog/posts/Governance/ Tue, 31 Dec 2109 15:00:00 GMT Epidemiology Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Experimentation/Epidemiology/

1 Contents

1.1 Learning Path for Experimentation

Priority Topics for Experimentation: 1. Experimental Studies → RCT (A/B Testing 직접 원형) 2. Causal Inference (전체 섹션 - 실험의 이론적 기초) 3. Effect Modification (Heterogeneous Treatment Effects) 4. Sample Size and Power (실험 설계 필수) 5. Propensity Score Methods (Observational causal inference)

Recommended Study Order:

Phase 1 (1-2주): Foundations + Study Designs → Focus on RCT and experimental principles

Phase 2 (1주): Measures of Association and Impact → Effect measures calculation practice

Phase 3 (2주): Causal Inference ⭐ → DAG practice, Counterfactual framework → Most critical for experimentation

Phase 4 (1주): Bias and Confounding + Study Fundamentals → Sample size calculations → Validity considerations

Phase 5 (선택): Advanced Topics → As needed for specific applications

1.2 Foundations

1.3 Study Designs

1.4 Measures of Association and Impact

1.5 Causal Inference ⭐

1.6 Bias and Confounding

1.7 Study Design Fundamentals

1.8 Screening and Diagnostic Tests

1.9 Survival Analysis

1.10 Advanced Topics

1.11 Causal Survival Analysis

1.12 Variable Selection for Causal Inference

]]> Epidemiology kk3225.netlify.app/docs/blog/posts/Experimentation/Epidemiology/ Sun, 28 Feb 2100 15:00:00 GMT Mathematics Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Math/
  • 2026-03-24, 그래프 이론 기초
  • 1111-11-11, 그래프 알고리즘 심화 (SCC, 위상 정렬, 최소 신장 트리)
  • 1111-11-11, 그래프 임베딩 (Node2Vec, GNN)
  • 2023-03-23, Minimizer & Minimum
  • 1111-11-11, Convex Set
  • 1111-11-11, Convex Function
  • 1111-11-11, Unconstrained Optimization
  • 1111-11-11, Non-linear Least Square
  • 1111-11-11, Largrange Multiplier Method
    • 1111-11-11, Largrange Primal Function
    • 1111-11-11, Largrange Dual Function
    • 1111-11-11, KKT conditions
  • 1111-11-11, Gradient Descent Optimizers
  • 1111-11-11,
  • 1111-11-11,
  • 1111-11-11,
  • 1111-11-11,
  • 1111-11-11,
  • 1111-11-11,
]]> Mathematics kk3225.netlify.app/docs/blog/posts/Math/ Sun, 28 Feb 2100 15:00:00 GMT Azure AI Search Multimodal Search Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Engineering/Infra/Cloud/Azure/31-az-ai-search-classic-multimodal-search.html

1 개요

Multimodal Search는 텍스트, 이미지, 비디오, 오디오 등 여러 콘텐츠 형식에서 정보를 수집, 이해, 검색하는 기능이다. Azure AI Search는 텍스트와 이미지가 포함된 문서를 처리하여 두 형식을 결합한 검색을 지원한다.

1.1 왜 Multimodal Search인가?

전통적으로 멀티모달 검색은 텍스트와 이미지 처리를 위한 별도의 시스템이 필요하며, 사용자 지정 코드와 복잡한 구성이 요구된다. 이는 높은 비용, 복잡성, 유지보수 부담을 야기한다.

Azure AI Search의 해결책: 이미지를 텍스트와 동일한 검색 파이프라인에 통합하여 단일 멀티모달 파이프라인으로 처리한다.

1.1.1 주요 장점

  • 통합 파이프라인: 차트, 스크린샷, 인포그래픽, 스캔 양식 등의 시각적 데이터를 텍스트와 함께 처리
  • RAG 시나리오 최적화: 이미지의 구조적 논리를 해석하여 RAG 애플리케이션과 AI 에이전트가 중요한 시각적 세부 정보를 활용 가능
  • 정확한 인용: 원본 형식(텍스트/이미지)에 관계없이 원래 소스로 추적 가능한 답변 제공

실제 사례: “HR 양식 승인 프로세스는 무엇인가요?”라는 질문에 대해, 프로세스 설명이 PDF의 다이어그램에만 있어도 답변 가능

2 Multimodal Search 작동 원리

2.1 5단계 파이프라인

Azure AI Search는 Azure Portal의 “데이터 가져오기” 마법사를 통해 멀티모달 파이프라인 구축을 간소화한다.

2.1.1 단계별 처리 흐름

```mermaid graph TD A[1. 콘텐츠 추출] –> B[2. 텍스트 청킹] A –> C[3. 이미지 설명 생성] B –> D[4. 임베딩 생성] C –> D A –> E[5. 이미지 저장] D –> F[검색 인덱스] E –> G[지식 저장소] ```

2.1.2 각 단계 상세

2.1.2.1 콘텐츠 추출

3가지 기본 제공 기술 중 선택: - Document Extraction Skill: 기본 추출 - Document Layout Skill: 위치 메타데이터 포함 (페이지 번호, 경계 영역) - Azure Content Understanding Skill: 의미 기반 청킹, 페이지 간 테이블 처리

2.1.2.2 텍스트 청킹

Text Split Skill이 추출된 텍스트를 관리 가능한 청크로 분할하여 임베딩 기술이 처리할 수 있게 준비한다.

2.1.2.3 이미지 설명 생성 (선택)

GenAI Prompt Skill이 LLM을 호출하여 각 이미지에 대한 간결한 자연어 설명을 생성한다. - 예: “관리자 승인으로 시작하는 5단계 HR 액세스 워크플로”

2.1.2.4 임베딩 생성

텍스트와 이미지의 벡터 표현을 생성하여 유사성 검색 및 하이브리드 검색 지원: - Azure OpenAI Embedding Skill - Microsoft Foundry Embedding Model - Azure Vision Multimodal Embedding Skill

2.1.2.5 이미지 저장

지식 저장소(Knowledge Store)에 추출된 이미지를 저장하여 클라이언트 애플리케이션이 직접 반환할 수 있게 한다. 이미지 위치는 인덱스에 저장되어 쿼리 시 편리하게 검색 가능하다.

2.2 Azure Portal 마법사

빠른 시작: Azure Portal에서 멀티모달 검색

마법사를 통해 다음을 구성: - 데이터 원본 - 추출 및 보강 설정 - 텍스트, 이미지 참조, 벡터 임베딩이 포함된 멀티모달 인덱스

3 콘텐츠 추출 옵션 비교

Azure AI Search는 3가지 기본 제공 추출 기술을 제공한다.

3.1 기술별 기능 비교

기능 Document Extraction Document Layout Azure Content Understanding
텍스트 위치 메타데이터 ❌ ✅ (페이지, 경계 다각형) ✅ (페이지, 경계 다각형)
이미지 위치 메타데이터 ✅ ✅ ✅
테이블 추출 ❌ ❌ ✅ (페이지 간 포함)
교차 페이지 의미 단위 N/A ❌ (단일 페이지만) ✅
기본 제공 청킹 ❌ (Text Split 사용) ✅ (단락 경계) ✅ (의미 기반)
지원 파일 형식 PDF만 다중 형식 (DI Layout) PDF, DOCX, XLSX, PPTX
과금 기준 Azure AI Search 가격 Document Layout 가격 Content Understanding 가격

3.2 권장 시나리오

3.2.1 Document Extraction

  • 사용 사례: 빠른 프로토타이핑, 위치 정보가 불필요한 프로덕션 파이프라인
  • 장점: 구성 간단, 비용 효율적
  • 제약: 위치 메타데이터 없음, PDF만 지원

3.2.2 Document Layout

  • 사용 사례: 정확한 페이지 번호, 페이지 강조 표시, 다이어그램 오버레이가 필요한 RAG 파이프라인
  • 장점: 위치 메타데이터 포함, 다중 파일 형식
  • 제약: 단일 페이지 단위 처리

3.2.3 Azure Content Understanding

  • 사용 사례: 페이지 간 테이블, 의미 기반 청킹, 일관된 다중 형식 처리
  • 장점: 가장 포괄적, 의미 기반 청킹, 교차 페이지 처리
  • 제약: 높은 비용

4 임베딩 옵션

Azure AI Search는 이미지 처리를 위한 2가지 보완적 접근법을 제공한다.

4.1 이미지 언어화 + 텍스트 임베딩

4.1.1 처리 흐름

``` 이미지 → GenAI Prompt Skill → 자연어 설명 → 텍스트 임베딩 ```

4.1.2 특징

  • LLM 기반: 각 이미지에 대해 LLM 호출 (인덱싱 시)
  • 의미 풍부: 다이어그램의 관계와 엔터티 해석
  • 인용 가능: LLM이 응답에서 그대로 인용 가능한 캡션 제공
  • RAG 최적화: 접지된 데이터로 관련 스니펫 반환

4.1.3 장점

  • 다이어그램, 흐름도 등 설명적 시각 자료에 최적
  • AI 에이전트와 RAG 애플리케이션에 풍부한 컨텍스트 제공

4.1.4 단점

  • 모든 이미지마다 LLM 호출 필요
  • 인덱싱 시간 증가
  • 비용 상승

4.2 직접 멀티모달 임베딩

4.2.1 처리 흐름

``` 이미지/텍스트 → Multimodal Embedding Model → 공유 벡터 공간 ```

4.2.2 특징

  • 직접 벡터화: 이미지와 텍스트를 동일한 벡터 공간에 직접 매핑
  • LLM 불필요: 인덱싱 시 LLM 호출 없음
  • 시각적 유사성: “이것과 비슷한 것 찾기” 시나리오에 적합

4.2.3 장점

  • 구성 간단
  • 빠른 인덱싱
  • 비용 효율적
  • 시각적 유사성 검색에 최적

4.2.4 단점

  • 순수 수학적 표현 (의미 설명 없음)
  • 인용이나 상세 설명용 컨텍스트 부족

4.3 두 방법의 결합

많은 솔루션은 두 인코딩 경로를 병행한다:

콘텐츠 유형 추천 방식
다이어그램, 흐름도, 설명적 시각 자료 이미지 언어화 + 텍스트 임베딩
스크린샷, 제품 사진, 아트워크 직접 멀티모달 임베딩

Azure AI Search 인덱스와 스킬셋 파이프라인을 커스터마이징하여 두 벡터 집합을 저장하고 나란히 검색 가능하다.

5 쿼리 옵션

5.1 텍스트 쿼리 (GenAI Prompt 기반)

GenAI Prompt Skill로 구동되는 파이프라인에서는 하이브리드 쿼리 실행 가능: - 일반 텍스트와 언어화된 이미지 모두 검색 - 필터로 특정 콘텐츠 유형(텍스트만/이미지만) 범위 지정 - 전체 텍스트 검색 + 벡터 검색 + 의미 순위 결합

5.1.1 제약사항

이미지-벡터 쿼리 미지원: GenAI Prompt는 텍스트-벡터 쿼리만 지원

5.2 이미지 쿼리 (멀티모달 임베딩)

이미지를 쿼리 입력으로 사용하려면 멀티모달 임베딩 모델 필수: - AML Skill 또는 - Azure Vision Multimodal Embedding Skill

이들 기술만 쿼리 시 이미지를 벡터로 변환하는 벡터라이저를 제공한다.

5.2.1 구성

검색 인덱스에서 벡터라이저 구성 참조

6 실습 리소스

6.1 빠른 시작

6.2 튜토리얼

6.2.1 이미지 언어화 기반

  1. 생성 AI로 이미지 설명하기 (Document Extraction)
    • Document Extraction Skill로 텍스트/이미지 추출
    • 다이어그램 언어화
    • 설명과 텍스트를 검색 인덱스에 임베딩
  2. 구조화된 문서 레이아웃에서 이미지 언어화 (Document Layout)
    • 레이아웃 기반 블록 및 다이어그램 언어화
    • 위치 메타데이터 캡처
    • 정확한 인용 및 페이지 강조 표시

6.2.2 직접 멀티모달 임베딩

  1. 이미지 및 텍스트 벡터화 (Document Extraction)
    • Vision 멀티모달 모델로 텍스트/이미지 직접 임베딩
    • 스캔 PDF의 시각적 유사성 검색
  2. 구조화된 문서 레이아웃에서 벡터화 (Document Layout)
    • 레이아웃 기반 청킹 + 통합 임베딩
    • 하이브리드 의미/키워드 검색
    • 정확한 적중 위치 반환

7 튜토리얼 상세: Document Extraction + Multimodal Embeddings

이 섹션은 Azure Vision 4.0 Multimodal Embedding을 사용한 구현 방법을 단계별로 설명한다.

7.1 필수 구성 요소

7.1.1 Azure 리소스

  1. Azure AI Search (Basic 이상)
    • 역할 기반 액세스 제어 및 관리 ID 구성
    • 무료 계층 미지원
  2. Microsoft Foundry 리소스
    • Azure Vision Multimodal 4.0 API 액세스
    • 지역 제약: Multimodal 4.0 지원 지역 확인 필요
  3. Azure Storage
    • 샘플 데이터 저장
    • 지식 저장소 (추출된 이미지)
    • 검색 서비스에 Storage Blob Data Reader 역할 할당

7.1.2 도구

  • Visual Studio Code + REST 클라이언트

7.2 데이터 준비

7.2.1 샘플 데이터

36페이지 PDF 문서: Accelerating Sustainability with AI - 차트, 인포그래픽, 스캔 페이지 포함

7.2.2 스토리지 구성

# 1. Blob Container 생성
Container Name: sustainable-ai-pdf

# 2. PDF 업로드

# 3. 역할 할당 (관리 ID 사용)
- Storage Blob Data Reader (인덱서용)
- Storage Blob Data Contributor (지식 저장소용)
- Storage Table Data Contributor (지식 저장소용)

7.2.3 연결 문자열 (관리 ID)

{
  "credentials": {
    "connectionString": "ResourceId=/subscriptions/{subscription-id}/resourceGroups/{resource-group}/providers/Microsoft.Storage/storageAccounts/{storage-account}/;"
  }
}

7.3 모델 준비

7.3.1 Foundry 역할 할당

# Azure Portal > Foundry 리소스 > 액세스 제어(IAM)
역할: Cognitive Services 사용자
할당 대상: 검색 서비스 관리 ID

중요: Foundry 리소스는 Multimodal 4.0 API 지원 지역에 있어야 함

7.4 인덱스 스키마

7.4.1 필드 정의

{
  "name": "doc-extraction-multimodal-embedding-index",
  "fields": [
    {
      "name": "content_id",
      "type": "Edm.String",
      "key": true,
      "analyzer": "keyword"
    },
    {
      "name": "text_document_id",
      "type": "Edm.String",
      "filterable": true
    },
    {
      "name": "image_document_id",
      "type": "Edm.String",
      "filterable": true
    },
    {
      "name": "document_title",
      "type": "Edm.String",
      "searchable": true
    },
    {
      "name": "content_text",
      "type": "Edm.String",
      "searchable": true
    },
    {
      "name": "content_embedding",
      "type": "Collection(Edm.Single)",
      "dimensions": 1024,
      "vectorSearchProfile": "hnsw"
    },
    {
      "name": "content_path",
      "type": "Edm.String",
      "retrievable": true
    },
    {
      "name": "location_metadata",
      "type": "Edm.ComplexType",
      "fields": [
        {
          "name": "page_number",
          "type": "Edm.Int32"
        },
        {
          "name": "bounding_polygons",
          "type": "Edm.String"
        }
      ]
    }
  ]
}

7.4.2 벡터 검색 구성

{
  "vectorSearch": {
    "profiles": [
      {
        "name": "hnsw",
        "algorithm": "defaulthnsw",
        "vectorizer": "demo-vectorizer"
      }
    ],
    "algorithms": [
      {
        "name": "defaulthnsw",
        "kind": "hnsw",
        "hnswParameters": {
          "m": 4,
          "efConstruction": 400,
          "metric": "cosine"
        }
      }
    ],
    "vectorizers": [
      {
        "name": "demo-vectorizer",
        "kind": "aiServicesVision",
        "aiServicesVisionParameters": {
          "resourceUri": "{{cognitiveServicesUrl}}",
          "authIdentity": null,
          "modelVersion": "2023-04-15"
        }
      }
    ]
  }
}

핵심 포인트: - dimensions: 1024 - Azure Vision Multimodal 4.0의 벡터 차원 - vectorizer: aiServicesVision - 쿼리 시 이미지 벡터화 지원

7.5 스킬셋 구성

7.5.1 전체 파이프라인

graph LR
    A[Document Extraction] --> B[Text Split]
    A --> C[Vision Vectorize Text]
    A --> D[Vision Vectorize Image]
    B --> C
    C --> E[Index Projection]
    D --> E
    A --> F[Shaper]
    F --> G[Knowledge Store]

7.5.2 주요 스킬

7.5.2.1 1. Document Extraction Skill

{
  "@odata.type": "#Microsoft.Skills.Util.DocumentExtractionSkill",
  "parsingMode": "default",
  "dataToExtract": "contentAndMetadata",
  "configuration": {
    "imageAction": "generateNormalizedImages",
    "normalizedImageMaxWidth": 2000,
    "normalizedImageMaxHeight": 2000
  },
  "context": "/document",
  "inputs": [
    {
      "name": "file_data",
      "source": "/document/file_data"
    }
  ],
  "outputs": [
    {
      "name": "content",
      "targetName": "extracted_content"
    },
    {
      "name": "normalized_images",
      "targetName": "normalized_images"
    }
  ]
}

출력: - extracted_content: 문서의 모든 텍스트 - normalized_images: 정규화된 이미지 배열 (최대 2000x2000)

7.5.2.2 2. Text Split Skill

{
  "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
  "context": "/document",
  "defaultLanguageCode": "en",
  "textSplitMode": "pages",
  "maximumPageLength": 2000,
  "pageOverlapLength": 200,
  "unit": "characters",
  "inputs": [
    {
      "name": "text",
      "source": "/document/extracted_content"
    }
  ],
  "outputs": [
    {
      "name": "textItems",
      "targetName": "pages"
    }
  ]
}

청킹 전략: - 2000자 청크 - 200자 오버랩 (문맥 유지)

7.5.2.3 3. Azure Vision Vectorize Skill (Text)

{
  "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
  "name": "text-embedding-skill",
  "context": "/document/pages/*",
  "modelVersion": "2023-04-15",
  "inputs": [
    {
      "name": "text",
      "source": "/document/pages/*"
    }
  ],
  "outputs": [
    {
      "name": "vector",
      "targetName": "text_vector"
    }
  ]
}

7.5.2.4 4. Azure Vision Vectorize Skill (Image)

{
  "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
  "name": "image-embedding-skill",
  "context": "/document/normalized_images/*",
  "modelVersion": "2023-04-15",
  "inputs": [
    {
      "name": "image",
      "source": "/document/normalized_images/*"
    }
  ],
  "outputs": [
    {
      "name": "vector",
      "targetName": "image_vector"
    }
  ]
}

Azure Vision Multimodal Embedding: - 동일한 스킬, 입력만 다름 (text vs image) - 1024차원 벡터 생성 - 공유 벡터 공간 (텍스트-이미지 간 코사인 유사도 계산 가능)

7.5.2.5 5. Shaper Skill

{
  "@odata.type": "#Microsoft.Skills.Util.ShaperSkill",
  "context": "/document/normalized_images/*",
  "inputs": [
    {
      "name": "imagePath",
      "source": "='{{imageProjectionContainer}}/'+$(/document/normalized_images/*/imagePath)"
    },
    {
      "name": "location_metadata",
      "sourceContext": "/document/normalized_images/*",
      "inputs": [
        {
          "name": "page_number",
          "source": "/document/normalized_images/*/pageNumber"
        },
        {
          "name": "bounding_polygons",
          "source": "/document/normalized_images/*/boundingPolygon"
        }
      ]
    }
  ],
  "outputs": [
    {
      "name": "output",
      "targetName": "new_normalized_images"
    }
  ]
}

7.5.3 Index Projections

{
  "indexProjections": {
    "selectors": [
      {
        "targetIndexName": "doc-extraction-multimodal-embedding-index",
        "parentKeyFieldName": "text_document_id",
        "sourceContext": "/document/pages/*",
        "mappings": [
          {
            "name": "content_embedding",
            "source": "/document/pages/*/text_vector"
          },
          {
            "name": "content_text",
            "source": "/document/pages/*"
          },
          {
            "name": "document_title",
            "source": "/document/document_title"
          }
        ]
      },
      {
        "targetIndexName": "doc-extraction-multimodal-embedding-index",
        "parentKeyFieldName": "image_document_id",
        "sourceContext": "/document/normalized_images/*",
        "mappings": [
          {
            "name": "content_embedding",
            "source": "/document/normalized_images/*/image_vector"
          },
          {
            "name": "content_path",
            "source": "/document/normalized_images/*/new_normalized_images/imagePath"
          },
          {
            "name": "location_metadata",
            "source": "/document/normalized_images/*/new_normalized_images/location_metadata"
          },
          {
            "name": "document_title",
            "source": "/document/document_title"
          }
        ]
      }
    ],
    "parameters": {
      "projectionMode": "skipIndexingParentDocuments"
    }
  }
}

동작 원리: - 텍스트 청크당 1개 문서 생성 (text_document_id) - 이미지당 1개 문서 생성 (image_document_id) - 부모 문서(원본 PDF)는 인덱싱 건너뛰기

7.5.4 Knowledge Store

{
  "knowledgeStore": {
    "storageConnectionString": "{{storageConnection}}",
    "projections": [
      {
        "files": [
          {
            "storageContainer": "{{imageProjectionContainer}}",
            "source": "/document/normalized_images/*"
          }
        ]
      }
    ]
  }
}

저장 내용: - 정규화된 이미지 파일 (JPEG) - 파일명: {document-id}_{image-index}.jpg

7.6 인덱서 실행

7.6.1 구성

{
  "name": "doc-extraction-multimodal-embedding-indexer",
  "dataSourceName": "doc-extraction-multimodal-embedding-ds",
  "targetIndexName": "doc-extraction-multimodal-embedding-index",
  "skillsetName": "doc-extraction-multimodal-embedding-skillset",
  "parameters": {
    "batchSize": 1,
    "configuration": {
      "allowSkillsetToReadFileData": true
    }
  }
}

7.6.2 처리 시간 예상 (36페이지 PDF)

단계 시간
문서 추출 2-3초
텍스트 분할 <1초
텍스트 임베딩 (18 청크) 1-2초
이미지 임베딩 (25 이미지) 4-8초
인덱싱 1-2초
총계 8-16초

7.7 쿼리 예제

7.7.1 1. 텍스트 쿼리 (하이브리드)

POST /indexes/doc-extraction-multimodal-embedding-index/docs/search?api-version=2025-11-01-preview
Content-Type: application/json

{
  "search": "energy sustainability",
  "vectorQueries": [
    {
      "kind": "text",
      "text": "energy sustainability",
      "k": 10,
      "fields": "content_embedding"
    }
  ],
  "select": "content_id, document_title, content_text, content_path"
}

결과: 텍스트와 이미지 모두 반환 (공유 벡터 공간)

7.7.2 2. 이미지만 필터링

POST /indexes/doc-extraction-multimodal-embedding-index/docs/search?api-version=2025-11-01-preview
Content-Type: application/json

{
  "search": "*",
  "filter": "image_document_id ne null",
  "select": "content_id, document_title, content_path, location_metadata"
}

7.7.3 3. 이미지 쿼리 (이미지로 검색)

POST /indexes/doc-extraction-multimodal-embedding-index/docs/search?api-version=2025-11-01-preview
Content-Type: application/json

{
  "vectorQueries": [
    {
      "kind": "image",
      "image": "{base64-encoded-image}",
      "k": 5,
      "fields": "content_embedding"
    }
  ]
}

작동 원리: 1. 쿼리 이미지 → Azure Vision 벡터라이저 → 1024차원 벡터 2. 인덱스의 모든 벡터(텍스트+이미지)와 코사인 유사도 계산 3. 상위 k개 결과 반환

7.8 주요 특징 정리

7.8.1 Content_text 필드

  • 텍스트 문서: 추출된 텍스트 청크
  • 이미지 문서: null (이미지는 벡터로만 표현)

7.8.2 Content_embedding 필드

  • 차원: 1024
  • 텍스트와 이미지 공유: 동일한 벡터 공간
  • 유사도 계산: 텍스트-텍스트, 이미지-이미지, 텍스트-이미지 모두 가능

7.8.3 Content_path 필드

  • 텍스트 문서: null
  • 이미지 문서: Knowledge Store 이미지 경로
  • 형식: {container}/{document-id}_{image-index}.jpg

7.8.4 Location_metadata 필드

  • 이미지만 해당: 페이지 번호, 경계 다각형
  • 활용: RAG 응답에서 이미지 위치 표시, 페이지 강조

7.9 제약사항

7.9.1 Document Extraction 제약

  • 텍스트 위치 메타데이터 없음: 텍스트 청크의 페이지 번호 미제공
  • PDF만 지원: DOCX, XLSX 등 미지원
  • 해결: Document Layout Skill 사용 권장

7.9.2 Azure Vision Multimodal 제약

7.10 비용 분석 (36페이지 PDF 예제)

항목 단가 수량 비용
이미지 추출 $0.001/image 25 $0.025
텍스트 임베딩 $0.0001/1K char 36K $0.004
이미지 임베딩 $0.002/image 25 $0.050
인덱싱 포함 - -
총계 $0.079

확장 예측 (1000개 문서): - 1000 × $0.079 = $79 - 재인덱싱 불필요 (증분 업데이트)

7.11 샘플 애플리케이션

Multimodal RAG GitHub Repository - 텍스트 조각과 이미지 주석을 모두 표시하는 엔드투엔드 RAG 애플리케이션 - 엔터프라이즈 비즈니스 도구 빠른 시작에 이상적 - 데이터 수집 및 인덱싱의 코드 기반 프로세스 예시

8 핵심 구성 요소 정리

8.1 파이프라인 선택 가이드

요구사항 추천 구성
빠른 프로토타이핑, 기본 기능 Document Extraction + 이미지 언어화
정확한 페이지 참조, 위치 정보 필요 Document Layout + 이미지 언어화
시각적 유사성 검색 Document Extraction + 멀티모달 임베딩
정확한 위치 + 시각적 검색 Document Layout + 멀티모달 임베딩
페이지 간 테이블, 의미 청킹 Content Understanding + 적절한 임베딩
설명적 다이어그램 + 시각 자료 혼합 두 임베딩 방식 병행

8.2 비용 고려사항

  • Document Extraction: 이미지 추출 시 Azure AI Search 요금 부과
  • Document Layout: Document Intelligence Layout 가격 적용
  • Content Understanding: Azure Content Understanding 가격 (가장 높음)
  • GenAI Prompt: 이미지당 LLM 호출 비용
  • Azure Vision Multimodal: 이미지/텍스트 임베딩 API 호출 비용

8.3 성능 특성

단계 평균 처리 시간
이미지 추출 문서당 1-3초
이미지 언어화 (LLM) 이미지당 2-5초
텍스트 임베딩 청크당 50-150ms
멀티모달 임베딩 이미지당 150-300ms

9 참고 문서

]]> Engineering Infra Cloud Azure RAG kk3225.netlify.app/docs/blog/posts/Engineering/Infra/Cloud/Azure/31-az-ai-search-classic-multimodal-search.html Thu, 24 Dec 2026 15:00:00 GMT Hedeker § 7.2 — MRM with Autocorrelated Errors Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Statistics/LDA/07-1-mrm-autocorrelated-errors.html

1 도입 — Ch.7 의 위치

Hedeker 책 Ch.4-5 에서 다룬 표준 혼합효과 회귀 모형 (MRM) 은 다음 두 가정을 깔고 있다:

  1. 랜덤 효과: — 피험자 간 이질성.
  2. 조건부 독립 오차: — random effect 가 주어지면 같은 피험자의 오차들이 독립.

Ch.6 의 공분산 패턴 모형 (CPM) 은 다른 길로 — random effect 를 안 두고 를 직접 ( = AR(1), Toeplitz 등) 모형화. 시간적 상관을 명시.

직관 — Ch.7 = MRM + CPM 의 결합

MRM (Ch.4-5): “피험자별 위치/기울기가 다르다.” Random effect 가 그 이질성을 잡는다.

CPM (Ch.6): “같은 피험자의 시간 점들이 상관 있다.” 공분산 구조가 그 상관을 잡는다.

Ch.7: 두 시점의 결합 — 피험자별 random effect (이질성) + 시간적 자기상관 (조건부 독립 위반). 가장 유연한 분산-공분산 모형.

식으로:

가 단위 행렬이면 표준 MRM (Ch.4-5), 이면 CPM (Ch.6), 둘 다 일반이면 Ch.7.

본 포스트는 § 7.2 의 일반 framework + 다섯 자기상관 구조 (AR(1), MA(1), ARMA(1,1), Toeplitz, NS-AR(1)) 를 차례로 다룬다.

2 § 7.2 일반 Framework — 식 (7.1)-(7.6)

2.1 모형 정의 — 식 (7.1)

번째 피험자의 반응 벡터:

각 항:

  • : 반응 벡터
  • : 고정 효과 설계 행렬
  • : 고정 회귀 모수
  • : 랜덤 효과 설계 행렬
  • : 랜덤 효과 ()
  • : 오차 벡터

2.2 표준 MRM 의 V — 식 (7.2)

오차가 conditional independent () 이면:

직관 — 표준 MRM 의 분산 분해

의 두 부분:

  1. : 피험자 간 차이가 만드는 분산. 같은 피험자의 다른 시점은 같은 를 공유하므로 양의 공분산 발생. 이게 피험자 간 이질성.

  2. : 조건부 잔차 분산. 단위 행렬이라 다른 시점의 가 독립.

표준 MRM 은 같은 피험자의 시점들이 연관되는 유일한 통로가 random effect . 이게 너무 강한 가정.

2.3 AC 오차 추가 — 식 (7.3)

로 일반화 ( 는 자기상관 행렬):

식 (7.3) 의 두 성분 — 본질적 대비

: 피험자별 다른 위치/기울기. 같은 피험자 내에서 시점들이 연관되는 통로 1.

: 모든 피험자에서 공통인 시간적 자기상관 패턴. 같은 피험자 내 통로 2 — random effect 외에 추가로.

핵심 관찰: 첫 항은 개체 차이 (heterogeneity), 둘째 항은 시간 구조 (temporal structure). 두 종류의 의존성이 분리되어 있다.

예시: 우울증 점수의 시간 변화. - : 환자별로 baseline 우울 정도 + 회복 속도가 다름 (개인차). - : 한 환자 내에서 어제 우울했으면 오늘도 우울할 가능성 (단기 momentum) — 모든 환자에 공통.

표준 MRM 은 둘째 효과를 무시. Ch.7 은 둘 다 동시 모형화.

2.4 EB Estimator + Posterior Covariance — 식 (7.4)-(7.6)

와 의 결합 분포:

랜덤 효과의 사후 (posterior) 평균 — Empirical Bayes (EB) 추정량:

사후 공분산:

Ch.4 의 식과 비교 — 만 변경

Ch.4 의 EB estimator (표준 MRM):

식 (7.5) 와 비교하면 단위 행렬 가 자기상관 행렬 로 바뀐 것뿐. 식의 골격이 동일.

이는 자기상관 모형이 표준 MRM 의 자연스러운 일반화 임을 보여준다 — 모든 식이 로 일관되게 확장. 따라서 표준 MRM 의 추정 알고리즘 (EM, Fisher Scoring) 도 거의 그대로 적용 가능.

이제 다섯 자기상관 구조를 차례로 본다.

3 § 7.2.1 AR(1) — 1차 자기회귀 오차

3.1 정의 — 식 (7.7)

i.i.d., (정상성).

직관 — “어제의 오차가 오늘의 오차에 일부 들어옴”

식 (7.7) 은 단순한 회귀 형식 — 를 에 1차 회귀.

  • : 어제 양의 오차 → 오늘도 양의 오차 경향. 시간적 momentum.
  • : 어제 양 → 오늘 음. 진동 (oscillation).
  • : 독립 (표준 MRM).

가 1 에 가까울수록 인접 시점 간 상관 강함. 정상성 조건은 분산이 폭발하지 않도록 강제.

임상 예: 우울증 점수 — 어제 우울했으면 오늘도 우울할 가능성 (). 하루 사이의 short-term carryover.

3.2 분산과 공분산 — 식 (7.9)-(7.12)

식 (7.7) 에서 양변의 분산:

정상성 () 가정 하에:

직관 — 정상성이 필요한 이유

식 (7.9) 를 무한 과거로 풀면:

이 무한 합이 수렴하려면 필요 — 그렇지 않으면 분산이 발산. 수렴 합 = , 정상성 분산.

의 극한에서 분산 폭발 → AR(1) 모형이 비현실적이 됨. 따라서 가 1 에 너무 가까우면 모형 진단 필요 (랜덤 워크 또는 비정상성 의심).

공분산은:

상관:

lag- 상관이 — 시차에 따라 지수 감쇠.

3.3 분산-공분산 행렬 — 식 (7.13)

5 시점의 예 ():

행렬의 직관 — Toeplitz 구조 + 지수 감쇠

식 (7.13) 의 행렬은 두 특성을 가진다:

  1. Toeplitz: 같은 시차의 원소가 같음. 대각선과 평행한 띠가 모두 동일 값.
  2. 지수 감쇠: 시차 의 상관이 — 멀어질수록 빠르게 감소.

Toeplitz 는 시간적 일관성 (정상성), 지수 감쇠는 단기 momentum 의 두 가정을 한꺼번에 표현. AR(1) 의 우아함이 이 두 성질의 결합.

자유 모수: + = 2 모수. 행렬 ( 자유) 을 단 2 개로 압축. 매우 절약적.

3.4 Parameterization 차이 — 식 (7.14), (7.15)

CPM 의 식 (6.4) 에서 사용한 AR(1) parameterization:

식 (7.13) 의 parameterization:

관계:

둘 중 무엇을 쓰나

식 (7.13) parameterization (시계열·계량경제학 표준): 는 innovation 의 분산.

식 (6.4) parameterization (생물통계 표준): 는 직접 관측 분산 (대각).

같은 모형의 다른 표기. 추정 결과 (분산 등) 는 다르지만 fitted values, predictions, 검정 통계량은 같다. 소프트웨어가 어느 쪽을 쓰는지 매뉴얼 확인 필수.

R nlme::corAR1 은 식 (6.4) 형태, SAS PROC MIXED 의 TYPE=AR(1) 도 비슷. Stata 의 xtreg, ar(1) 은 식 (7.13) 형태.

4 § 7.2.2 MA(1) — 1차 이동평균 오차

4.1 정의 — 식 (7.16)

i.i.d.

직관 — “이번 disturbance + 어제 disturbance 의 일부”

식 (7.16) 은 AR(1) 과 다른 메커니즘:

  • AR(1): 어제 오차 가 오늘 오차에 영향.
  • MA(1): 어제 disturbance 의 일부가 오늘 오차에 들어옴.

차이는 미묘 — disturbance () 는 latent shock, error () 는 observable quantity.

실용적 차이: AR(1) 은 무한 lag 까지 상관 (, 작아지지만 0 안 됨). MA(1) 은 lag-1 까지만 상관 — lag-2 이상은 정확히 0.

임상 예: 식이 일기 — 어제 무엇을 먹었나가 오늘에 약간 영향 (남은 음식 처리 등) 이지만 그저께는 영향 X. AR(1) 보다 짧은 memory.

4.2 분산-공분산 행렬

정상성 가정 하:

대각: , 첫째 off-diagonal: , 그 외: 0.

왜 lag-1 만 상관 인가

, .

( 가 양쪽에 등장).

와 : 공통 disturbance 없음 → 공분산 0.

따라서 lag-2 이상 정확히 0. AR(1) 의 지수 감쇠와 다른 hard cutoff.

자유 모수: = 2 모수 (AR(1) 과 같음).

CPM 으로는 부적합, MRM-AC 로는 합리적

MA(1) 형태는 CPM (Ch.6) 의 직접 분산-공분산 모형에서는 거의 안 쓰임 — 이유: 관측 데이터의 marginal 분산-공분산 매트릭스에서 lag-1 만 상관 인 패턴은 비현실적 (긴 시간에도 약하지만 상관 잔존).

그러나 MRM 의 conditional 오차 (random effect 제거 후 잔차) 에서는 합리적 — random effect 가 장기 패턴을 잡고, MA(1) 가 단기 momentum 만 추가.

이 점이 § 7.2 가 Ch.6 와 다른 이유 — MRM 과 결합한 AC 모형이 단독 CPM 보다 더 다양한 자기상관 구조를 자연스럽게 수용.

5 § 7.2.3 ARMA(1,1) — AR + MA 결합

5.1 정의 — 식 (7.17)

AR(1) 과 MA(1) 를 모두 포함. 자유 모수: = 3 모수.

직관 — “lag-1 은 강하게, 그 후는 지수 감쇠”

ARMA(1,1) 의 분산-공분산 행렬에서:

  • 대각:
  • 첫 lag 공분산:
  • 그 후 lag : 에 비례 (지수 감쇠)

lag-1 의 상관이 다른 lag 보다 더 강한 hump 패턴 을 모형화.

언제 적합한가: - AR(1) 만으로는 lag-1 상관이 충분히 안 잡힐 때. - 즉 인접 시점 간 매우 강한 상관 + 그 이후 일반 AR(1) 감쇠. - 임상에서 약물 약효의 carryover 와 같은 패턴.

6 § 7.2.4 Toeplitz — 일반 띠 구조

6.1 정의

각 시차 에 별도의 모수:

자유 모수: 개 = 모수.

직관 — “모든 lag 가 자기 자신의 상관을 가짐”

AR(1) 은 lag- 상관이 로 강제. Toeplitz 는 각 lag 가 독립적으로 추정 — 자유도 높지만 모수도 많음.

언제 적합한가: - 시차에 따라 상관이 비단조 (예: lag-1 상관 강 → lag-2 약 → lag-3 다시 강) 일 때. - 주기적 패턴 (week 단위, monthly 등).

자유 모수: AR(1) 의 2 개 → Toeplitz 의 개. 면 5 모수, 이면 10 모수. 시점 수가 많아질수록 모수 폭발.

-차 Toeplitz: 처음 개 lag 만 비zero, 나머지는 0. 모수 절약.

CPM Toeplitz 와의 동치 — 두 절약 형식의 만남

3 시점의 경우, MRM 의 random intercept + Toeplitz(1) 오차 와 CPM 의 full Toeplitz(3) 가 동치이다.

CPM:        [θ₁ θ₂ θ₃]      Random Intercept + Toeplitz(1):
            [θ₂ θ₁ θ₂]   =  σ²_v · J + σ²[1   ρ₁  0]
            [θ₃ θ₂ θ₁]                  [ρ₁  1   ρ₁]
                                         [0   ρ₁  1]

여기서 는 모두 1 인 행렬.

관계: - (대각: 랜덤 절편 분산 + 오차 분산) - (lag-1: 랜덤 절편 + AR 첫 항) - (lag-2: 랜덤 절편만)

두 모형은 재모수화 (reparameterization) 일 뿐. 동일 fitted values + likelihood. 따라서 CPM 과 MRM-AC 가 같은 데이터 적합도를 줄 수 있고, 어느 쪽 표현이 자연스러운지가 선택 기준.

7 § 7.2.5 비정상 (Nonstationary) AR(1)

7.1 정의 — 식 (7.18)-(7.19)

식 (7.9) 와 같지만 정상성 가정 풀고 :

이로부터:

직관 — 시간이 갈수록 분산 증가

정상 AR(1) 은 모든 시점의 분산이 로 같음. NS-AR(1) 은:

  • 시점 1: (작음)
  • 시점 : (증가)
  • : 로 수렴 (정상 AR(1) 의 분산)

즉 NS-AR(1) 은 시작 시점의 분산이 작고 시간에 따라 정상 AR(1) 의 분산으로 수렴하는 transition.

언제 적합한가: - 임상 시험의 baseline 측정 직후 (분산이 점차 증가). - 학습 효과 (시간이 지날수록 개인 차이가 누적). - 처치 시작 후 효과 누적의 분산이 점차 커지는 패턴.

7.2 Cholesky 인수분해 — 식 (7.19)

로 분해:

Cholesky 의 실용적 가치

직접 계산 대신 lower triangular 만 다루면 됨:

  • 역수 , 의 역수가 또 lower triangular 라 빠름.
  • 우도 계산에서 ( 의 대각이 모두 1 이므로!).

따라서 NS-AR(1) 은 계산상 매우 효율적. MIXREG 등의 소프트웨어 (Hedeker & Gibbons, 1996b) 가 Cholesky 형태로 직접 구현.

자유 모수: = 2 모수 (정상 AR(1) 과 같음).

8 다섯 구조 비교 — 자유 모수와 적합 시점

구조 자유 모수 핵심 가정 적합한 패턴
AR(1) 2 () 정상성, 지수 감쇠 인접 시점 강한 상관, 그 이후 빠른 감쇠
MA(1) 2 () 정상성, lag-1 만 상관 Hard cutoff, 단기 momentum 만
ARMA(1,1) 3 () 정상성, lag-1 강 + 후속 지수 복약 carryover 등
Toeplitz () 정상성, lag 별 독립 추정 비단조·주기적 상관
NS-AR(1) 2 () 비정상, 시간 따라 분산 증가 Baseline → 효과 누적
모형 선택 가이드

1. AR(1) 가 default: 시계열 분석에서 검증된 표준. 자유 모수 절약 (2개), 해석 직관적.

2. lag-1 매우 강 + 빠른 감쇠 → ARMA(1,1): lag-1 의 hump 가 보일 때.

3. lag-1 만 상관, 그 외 0 → MA(1): 거의 드물지만 short-memory 가 명확할 때.

4. 비단조 패턴 → Toeplitz: 데이터 탐색 후 자유 모수가 충분할 때 (큰 표본).

5. 분산 증가 → NS-AR(1): 학습/누적 효과가 명확.

진단 절차: 1. 표준 MRM 적합 → 잔차 시계열 검토. 2. 잔차의 ACF/PACF 도표로 패턴 확인. 3. 후보 구조 1-2개 적합 → AIC/BIC 또는 LRT 비교. 4. fixed effects 추정의 변화 검토 (구조에 강건한지).

9 자기상관 모수 검정 — LRT

의 LRT

표준 MRM (without AC) 와 MRM + AC 의 LRT:

자유도 = AC 모수 수 (AR(1) 은 1, ARMA(1,1) 은 2).

경계 문제 주의: 이 모수공간 경계 () 와 멀어 일반적으로 standard 적용 OK. 그러나 같은 경계 문제는 별도 (mixture ).

10 코드 예시

10.1 Step 1 — R: nlme 의 corAR1 / corARMA / corCompSymm

library(nlme)

# 데이터: depression 점수 longitudinal
# subject, time, score, treatment

# 1. 표준 MRM (random intercept + slope, 조건부 독립 오차)
fit_mrm <- lme(score ~ time * treatment,
               random = ~ time | subject,
               data = dep)

# 2. MRM + AR(1) 오차
fit_ar1 <- lme(score ~ time * treatment,
               random = ~ time | subject,
               correlation = corAR1(form = ~ time | subject),
               data = dep)

# 3. MRM + ARMA(1,1)
fit_arma <- lme(score ~ time * treatment,
                random = ~ time | subject,
                correlation = corARMA(form = ~ time | subject,
                                      p = 1, q = 1),
                data = dep)

# 4. MRM + Toeplitz (lag s=2)
# nlme 는 Toeplitz 직접 안 지원, gls 의 corSymm 또는 SAS 사용 권장

# 5. LRT 비교
anova(fit_mrm, fit_ar1)
anova(fit_ar1, fit_arma)

# AIC 비교
AIC(fit_mrm, fit_ar1, fit_arma)

# AR(1) 모수 추출
fit_ar1$modelStruct$corStruct
# rho 값 출력

10.2 Step 2 — Python: statsmodels MixedLM (제한적)

import statsmodels.api as sm
import statsmodels.formula.api as smf

# statsmodels 의 MixedLM 은 random effect + 표준 오차만 지원.
# AR(1) 등 자기상관 오차는 직접 지원 안 함.

# 표준 MRM
model_mrm = smf.mixedlm("score ~ time * treatment", data=df,
                         groups=df["subject"], re_formula="~time")
fit_mrm = model_mrm.fit(method="lbfgs")
print(fit_mrm.summary())

# AC 오차를 원하면 R 의 nlme 또는 lme4 + lmerTest 추천.
# 또는 statsmodels 의 GLSAR (단순 AR(1) 회귀, random effects 없음).

10.3 Step 3 — SAS PROC MIXED (참고)

PROC MIXED DATA=dep METHOD=REML;
  CLASS subject treatment;
  MODEL score = time treatment time*treatment / SOLUTION;
  RANDOM intercept time / SUBJECT=subject TYPE=UN;
  REPEATED / SUBJECT=subject TYPE=AR(1);
RUN;

* TYPE=AR(1) → AR(1) 오차;
* TYPE=ARMA(1,1) → ARMA(1,1);
* TYPE=TOEP(s) → s-차 Toeplitz;
* TYPE=AR(1)(NS) → 비정상 AR(1) (Hedeker MIXREG);

11 핵심 요약

§ 7.2 한 줄 요약

표준 MRM 의 조건부 독립 가정 () 을 풀어 로 일반화하면 (식 7.3) — 피험자 간 이질성 (random effect) 과 시간적 자기상관 (Ω) 의 두 성분이 결합된다. 다섯 자기상관 구조 — AR(1) (식 7.7, 지수 감쇠, 2 모수), MA(1) (식 7.16, lag-1만, 2 모수), ARMA(1,1) (식 7.17, lag-1 강+후속 감쇠, 3 모수), Toeplitz (lag 별 독립, 모수), NS-AR(1) (식 7.18-7.19, 비정상 분산 증가, 2 모수) — 가 자유 모수와 패턴의 trade-off 를 제공한다. EB estimator (식 7.5) 와 posterior covariance (식 7.6) 는 표준 MRM 의 식에서 단위 행렬 를 로 바꾼 형태 로 깔끔히 일반화된다.

구조 식 자유 모수 적합 시점
AR(1) (7.7) 2 인접 강한 상관 + 지수 감쇠
MA(1) (7.16) 2 lag-1 만 상관
ARMA(1,1) (7.17) 3 lag-1 강 + 후속 감쇠
Toeplitz — 비단조·주기적
NS-AR(1) (7.18-7.19) 2 분산 시간 따라 증가
5 가지 실무 권고

1. AR(1) 가 default: 자유 모수 2 개, 해석 명확. 시계열·계량경제 표준.

2. 잔차 ACF/PACF 로 후보 선정: 표준 MRM 적합 후 잔차의 자기상관 패턴 검토 → AR / MA / ARMA / Toeplitz 중 선택.

3. AIC vs BIC 차이 인식: BIC 가 Toeplitz 같은 모수 많은 모형을 더 강하게 페널라이즈. 보고 시 둘 다 제시.

4. Fixed effects 의 강건성 점검: 자기상관 구조 변경 시 도 변하는지 확인. 큰 변화 → 자기상관 모형이 추정에 결정적 → 신중한 선택.

5. CPM 과의 동치 인식: Toeplitz, AR(1) 등은 CPM 으로도 표현 가능. MRM-AC 표현이 random effect 분리 해석 유리, CPM 표현이 분산 직접 모형화 명확. 같은 모형의 두 시각.

12 관련 주제

Hedeker 시리즈 (Ch.4-7)

관련 개념

시계열 / 계량경제 응용

13 참고 문헌

  • Hedeker, D., & Gibbons, R. D. (2006). Longitudinal Data Analysis. Wiley. § 7.2.
  • Chi, E. M., & Reinsel, G. C. (1989). Models for longitudinal data with random effects and AR(1) errors. JASA, 84(406), 452-459. (MRM + AR(1) 의 핵심 reference)
  • Mansour, H., Nordheim, E. V., & Rutledge, J. J. (1985). Maximum likelihood estimation of variance components in repeated measures designs assuming autoregressive errors. Biometrics, 41(1), 287-294. (NS-AR(1) 의 원전)
  • Hedeker, D., & Gibbons, R. D. (1996b). MIXREG: A computer program for mixed-effects regression analysis with autocorrelated errors. Computer Methods and Programs in Biomedicine, 49(3), 229-252. (NS-AR(1) Cholesky 구현)
  • Jones, R. H., & Boadi-Boateng, F. (1991). Unequally spaced longitudinal data with AR(1) serial correlation. Biometrics, 47(1), 161-175. (불균등 시점 확장)
  • Verbeke, G., & Molenberghs, G. (2000). Linear Mixed Models for Longitudinal Data. Springer. (대안 reference)
]]> Statistics Longitudinal Data Analysis kk3225.netlify.app/docs/blog/posts/Statistics/LDA/07-1-mrm-autocorrelated-errors.html Thu, 14 May 2026 15:00:00 GMT Ch.7 Overview — MRM with Autocorrelated Errors Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Statistics/LDA/07-0-mrm-autocorrelated-overview.html

1 들어가며 — Ch.7 의 위치

Hedeker 책의 Ch.4 부터 Ch.7 까지의 흐름:

Chapter 내용 형태 핵심 가정
Ch.4 MRM (랜덤 절편) 조건부 독립
Ch.5 MRM (랜덤 절편 + 추세) 조건부 독립
Ch.6 CPM (공분산 패턴) 직접 명세 랜덤 효과 없음
Ch.7 MRM + AC 오차 조건부 독립 가정 완화

Ch.7 은 Ch.4-5 의 MRM 과 Ch.6 의 CPM 을 결합한다. 두 chapter 의 핵심 도구를 하나의 모형으로 통합:

  • Ch.4-5 의 도구: 랜덤 효과 — 피험자별 절편·기울기 차이 모형화.
  • Ch.6 의 도구: 자기상관 오차 행렬 — 시간적 의존 모형화.
  • Ch.7 의 통합: 두 도구가 같은 모형 안에서 동시 작동.
두 종류의 의존성 — 왜 둘 다 필요한가

종단 임상 데이터는 두 가지 통로로 시점들이 의존한다.

  1. 피험자 차이 — 환자 A 의 baseline WPSS 가 5, 환자 B 가 2 라면, A 의 모든 시점이 B 보다 일관되게 높음. 이 의존성은 피험자별 랜덤 효과 () 로 자연스럽게 잡힌다.

  2. 시간 momentum — 같은 환자에서 어제 우울했으면 오늘도 우울할 경향. 이 의존성은 자기상관 오차 () 로 잡힌다.

표준 MRM (Ch.4-5) 만으로는 시간 momentum 을 못 잡고, CPM (Ch.6) 만으로는 피험자 차이를 분리 못한다. Ch.7 의 결합 모형이 두 종류 의존성을 동시 표현하는 가장 자연스러운 길.

본 overview 는 Ch.7 의 4 개 절을 차례로 정리한다.

  • § 7.1 Introduction — 자기상관 오차의 도입 동기
  • § 7.2 MRMs with AC Errors — 일반 framework + 5 자기상관 구조 (상세는 § 7.2 sub-post)
  • § 7.3 Model Selection — LR 검정·AIC·BIC + CPM vs MRM vs MRM-AC 비교
  • § 7.4 Example — Bock 항우울제 데이터의 적합 패턴

2 § 7.1 — Introduction: 왜 자기상관 오차인가

2.1 표준 MRM 의 가정 점검

Ch.4-5 에서 정의한 MRM (식 7.1):

마진 분산-공분산:

식 (7.2) 가 가정하는 것 — 조건부 독립

오차 분산-공분산 가 단위 행렬이라는 것이 의미하는 두 가지:

  1. 시점 간 동일 분산: — 모든 시점에서 같은 분산.
  2. 시점 간 독립: ().

즉 랜덤 효과 가 주어지면 같은 피험자의 시점들이 서로 독립 이라는 강한 가정.

이 가정이 자주 위반되는 임상 시나리오:

  • 우울증 점수: 어제 우울 → 오늘도 우울 (단기 momentum).
  • 혈압 측정: 어제 높음 → 오늘도 높음 (생리적 안정성).
  • 학습 곡선: 어제 잘함 → 오늘도 잘함 (skill carryover).

→ 이 시간적 의존이 랜덤 효과만으로는 잡히지 않는 부분.

2.2 Figure 7.1 vs Figure 7.2 — 시각적 비교

Hedeker 책의 두 그림이 핵심 차이를 직관적으로 보여준다.

ASCII 재현 — 두 그림의 의미

Figure 7.1 (조건부 독립 오차) — 환자 2 명, 50 시점:

관측: ●  ●●  ●  ●●●  ●  ●●  ●  ●●●  ●●  ●  ●  ●●  ●●● ...
trend line ─────────────────────────────────────────

관측이 trend line 주위에 무작위로 흩어짐. 한 시점이 위에 있다고 다음 시점도 위에 있을 이유 없음.

Figure 7.2 (AR(1) 오차, ):

관측: ●●●●●▲▲▲▲▲●●●●●▼▼▼▼▼●●●●●▲▲▲▲▲●●●●●▼▼▼▼▼ ...
trend line ─────────────────────────────────────────

관측이 연속된 위/아래 streaks 로 그룹화. 한 시점이 위에 있으면 다음 몇 시점도 위에 있을 가능성이 높음.

→ Streaks 가 자기상관의 시각적 시그너처. AR(1) 모수 가 강해 streaks 가 명확하지만, 실제 데이터에서는 보통 범위로 더 미묘.

진단 도구: 표준 MRM 적합 후 잔차의 ACF/PACF 도표. lag-1 이상의 상관이 있으면 자기상관 모형 (Ch.7) 으로 확장.

2.3 역사적 배경

자기상관 오차를 회귀 모형에 포함하는 아이디어는 계량경제학 문헌 (MaCurdy 1982, 종단 소득 데이터) 에 잘 정립되어 있다. MRM 의 자기상관 확장에 대한 핵심 참고문헌:

  • Chi & Reinsel (1989) — MRM with AR(1) 오차의 표준 reference.
  • Mansour et al. (1985), Hedeker (1989), Jones & Boadi-Boateng (1991), Rochon (1992).

Ch.7 은 이 흐름을 종단 데이터 분석의 일반 framework 로 정리한다.

3 § 7.2 — MRM with AC Errors: 일반 Framework

3.1 모형 정의

정의: MRM with Autocorrelated Errors

오차 분포를 로 일반화 (단위 행렬 를 자기상관 행렬 로 대체):

마진 분산-공분산:

  • : 피험자 간 이질성 (Ch.4-5 의 랜덤 효과 부분).
  • : 시간적 자기상관 (모든 피험자에 공통인 오차 구조).
  • 는 개 자기상관 모수의 함수, 형태는 5 가지 중 선택.

특수 경우:

  • → 표준 MRM (Ch.4-5, 식 7.2).
  • → CPM (Ch.6).
  • 둘 다 비단순 → MRM-AC (Ch.7).
— 우아한 일반화

식 (7.3) 의 형태가 식 (7.2) 와 정확히 같고 단위 행렬 자리에 만 들어간 것 이다. 이 한 줄 일반화의 결과:

  1. 추정 알고리즘 그대로: Ch.4 의 EM·Fisher Scoring 등이 그대로 적용. 행렬 연산만 확장.
  2. 모든 직관 transfer: Ch.4 의 EB (Empirical Bayes) 추정·BLUP·고정 효과 추정 직관이 AC 모형에서도 동일한 형태.
  3. 소프트웨어 구현 단순: 기존 MRM 코드에 행렬 인자만 추가.

이 우아함이 Ch.7 의 수학적 매력 — 새로운 추정 이론을 짓지 않고 기존 framework 의 자연 확장.

3.2 EB 추정과 사후 공분산

식 (7.5)-(7.6) 의 형태가 Ch.4 과 정확히 같다 (단 ):

이는 § 4.5 MRM 추정론 의 EB 추정 식과 정확히 같은 구조다. 모든 직관과 알고리즘이 그대로 transfer.

4 § 7.2 의 5 자기상관 구조 — 한 페이지 요약

이 5 구조의 자세한 식·매트릭스·직관·코드는 § 7.2 sub-post 에서 다룬다. 본 overview 에서는 핵심 요약.

4.1 5 구조 비교 표

구조 자유 모수 핵심 가정 적합 패턴
AR(1) 2 () 정상성, 지수 감쇠 시계열 표준, 단기 momentum
MA(1) 2 () 정상성, lag-1 만 상관 hard cutoff, 매우 단기 의존
ARMA(1,1) 3 () 정상성, lag-1 강 + 후속 감쇠 약물 carryover, 인접 강
Toeplitz 정상성, lag 별 자유 비단조 패턴, 주기성
NS-AR(1) 2 + 추가 비정상성, 분산 시간 증가 학습 효과, 분산 누적

4.2 AR(1) — 가장 흔한 default

AR(1) 정의 (식 7.7-7.13)

오차의 1차 자기회귀:

정상성 가정 하에서 분산:

lag- 공분산:

분산-공분산 행렬:

Ch.6 § 6.2.2 의 AR(1) 과 차이 — 표기만 다름

Ch.6 § 6.2.2 의 AR(1) 식 (6.4) 와 본 식 (7.13) 을 비교하면 분산 항만 다르다.

  • 식 (6.4): (분산 = )
  • 식 (7.13): (분산 = )

두 표기의 관계: .

식 (6.4) 는 생물통계 문헌의 표기 (분산이 직접), 식 (7.13) 은 시계열·계량경제 표기 ( 의 분산이 직접). 데이터 분석 결과는 동일 — 표기 문제일 뿐.

AR(1) 의 직관 — “기억의 지수적 망각”

일 때 lag 별 상관:

  • lag 1:
  • lag 2:
  • lag 3:
  • lag 5: 0.031 (거의 무관)

기억이 등비수열로 사라진다 — Markov 1단계 성질.

식 (7.7) 의 점화식이 의미하는 바: “오늘의 오차는 어제 오차의 일부 ( 배) + 새 잡음.” 어제만으로 미래 충분 정보 (mean-square sense).

4.3 MA(1) — Hard Cutoff

MA(1) 정의 (식 7.16)

정상성 분산-공분산:

대각: , lag-1: , lag : 0.

MA(1) 의 직관 — “hard cutoff”

lag-1 만 상관 있고 그 이상은 정확히 0. AR(1) 의 점진적 감쇠와 대비.

왜 CPM 에는 안 쓰고 MRM-AC 에만 쓰는가:

  • CPM 의 marginal 에 hard cutoff 는 부자연 — 임상 데이터에서 lag-2 의 상관이 정확히 0 이라는 가정이 비현실적.
  • MRM-AC 의 conditional 에서는 합리 — 랜덤 효과 () 를 빼고 남은 잔차에서 단 lag-1 의존만 있을 수 있음.

이런 차이가 CPM 의 5 구조에는 MA(1) 가 없고 MRM-AC 의 5 구조에 포함된 이유.

4.4 ARMA(1,1) — lag-1 강조 + 후속 감쇠

ARMA(1,1) 정의 (식 7.17)

3 모수 (). AR(1) 보다 lag-1 의 hump 가 강조.

행렬 형태 (간략화):

여기서 , — Hedeker 책의 식 (7.17) 다음.

ARMA(1,1) 의 직관 — 약물 carryover 패턴

AR(1) 와 MA(1) 를 결합 → lag-1 에서 추가 hump, 그 이후 AR(1) 처럼 지수 감쇠.

적합 시나리오: 약물 단기 carryover 효과처럼 인접 시점에 매우 강한 상관이 있고 이후 빠르게 감쇠. AR(1) 만으로는 lag-1 의 강도를 잡지 못하는 경우.

4.5 Toeplitz — lag 별 자유

Toeplitz 자기상관 (식 7.13 다음)

각 lag 의 상관 가 자유 모수. 모수 수: (또는 절약 Toeplitz 개).

higher-order lag 를 0 으로 묶어 모수 수 감소: .

Toeplitz 의 직관 — 비단조 패턴

AR(1) 의 지수 감쇠 강제, MA(1) 의 hard cutoff 모두 부족할 때.

적합 시나리오: lag 별 상관이 비단조 (예: 주기적, 세번째 시점에서 다시 강해지는 패턴). 시계열 분석에서 ACF 그림이 단순하지 않을 때.

4.6 NS-AR(1) — 비정상

Non-Stationary AR(1)

기본 AR(1) 의 정상성 가정 (분산 시점 무관) 을 풀어 분산이 시점에 따라 변동.

Cholesky factorization 으로 구현 (식 7.19 등). 분산이 시간에 따라 단조 증가하는 형태.

NS-AR(1) 의 직관 — 학습 효과 누적

처치 효과 누적, baseline 으로부터 멀어질수록 분산이 커지는 패턴 (Bock WPSS 데이터의 fan-out 패턴과 유사).

기본 AR(1) 의 정상성을 깨면서도 lag 의 지수 감쇠 구조는 유지하는 절충.

5 § 7.3 — 모형 선택: LR 검정·AIC·BIC

5.1 세 모형 패러다임의 비교

CPM vs MRM vs MRM-AC

같은 데이터에 세 종류의 분산-공분산 구조를 적합 가능:

모형 자유 모수 강점
MRM (Ch.4-5) 개인별 추론 (BLUP)
CPM (Ch.6) 5 구조 중 직접 명세 구조 의존 분산 구조 자체 모형화
MRM + AC (Ch.7) MRM + 모수 둘 다

핵심 통찰: 세 모형이 종종 비슷한 적합도 를 줄 수 있다. 예를 들어 Toeplitz CPM 과 MRM-AC(Toeplitz) 가 reparameterization 으로 동치일 수 있음 (랜덤 효과를 디자인에 흡수).

선택 기준은 통계적 적합도뿐 아니라 해석의 자연스러움:

  • 개인별 추세 해석이 본질이면 → MRM 또는 MRM-AC.
  • 분산 구조 자체가 연구 질문이면 → CPM.
  • 둘 다 필요하면 → MRM-AC.

5.2 LR 검정 (식 7.22)

내포 (nested) 모형 비교:

자유도 = full vs reduced 의 모수 수 차이.

5.2.1 분산 모수 검정의 boundary 보정

§ 6.3 모형 선택 sub-post 에서 자세히 다룬 내용 — 본 chapter 에도 동일 적용.

p-value/2 보정

, 같은 분산 모수 검정은 모수 공간 경계 (boundary) 가설. 표준 점근 분포가 부정확 → mixture 분포.

실용 보정 (Snijders & Bosker, 1999; Berkhof & Snijders, 2001): 일반 LR p-value 를 2 로 나눔.

  • 적용: (AC 추가 검정), (랜덤 효과 추가 검정).
  • 적용 제외: 회귀 계수 검정 (모수 공간 경계 아님).

5.3 AIC, BIC (식 7.23-7.24)

내포되지 않은 모형 비교 (예: MRM-AR(1) vs CPM-Toeplitz):

: 모수 수, : 표본 크기 (level-2 = 피험자 수가 표준 — Raftery 1995 권장).

AIC vs BIC — 분산 구조 선택에 어느 것?

이면 (보통 성립) BIC 의 페널티 () 가 AIC 의 페널티 () 보다 큼 → BIC 가 더 절약적 모형 선호.

Fitzmaurice et al. (2004) 의 권고: 분산-공분산 구조 선택에 BIC 사용 자제. Toeplitz 등 자유도 큰 구조를 과도하게 페널라이즈해 정보 손실. AIC 가 더 균형적.

실무: 둘 다 보고하되 결정은 데이터 적합도 + 해석 용이성 종합.

5.4 모형 비교 시 주의 — 같은 데이터셋

결측 처리의 함정

LR, AIC, BIC 모두 같은 데이터셋 에서 비교해야 의미.

위반 사례: 두 모형이 다른 공변량 포함 + 그 공변량의 일부가 결측 → 두 모형이 다른 표본 크기 (결측 행 제외) 로 적합 → 우도 직접 비교 무의미.

해결:

  • 공통 공변량만 사용.
  • 또는 결측 imputation 후 비교.
  • 또는 결측 없는 부분집합으로 제한.

6 § 7.4 — Bock 항우울제 데이터 적합 패턴

6.1 데이터 (Ch.6 § 6.4 와 동일)

Bock (1983b) WPSS 데이터:

  • 우울증 환자, 6 주 추적, cross-over 설계.
  • TCA-None (): 첫 3 주 약물 → 다음 3 주 무약물.
  • None-TCA (): 첫 3 주 무약물 → 다음 3 주 약물.

직교 대비 (Linear trend, Change of slope) 코딩.

6.2 비교한 모형들

Hedeker 본문에서 적합한 모형 패턴
모형 분산-공분산 모수 수
Random intercept + slope (Ch.5) 4 (= 3 + 1)
MRM + AR(1) 5 (= 4 + 1)
MRM + ARMA(1,1) 6
MRM + Toeplitz

(정확한 deviance 수치는 § 7.4 sub-post 가 작성되면 거기서 다룸 — Bock 데이터의 정밀 재현은 본 overview 의 범위를 넘음.)

6.3 일반적 결과 패턴

Bock 데이터에서 흔히 관찰되는 패턴

Hedeker 본문 + 후속 분석들에서:

  • Random intercept + slope 만 (Ch.5): baseline 적합. 6 주 우울증 추적의 큰 부분 (개인별 변동) 잡음.
  • + AR(1): , LR , p-value 약간 유의. 모수 1 추가로 적합도 약간 개선.
  • + ARMA(1,1): AR(1) 와 거의 차이 없음 (lag-1 의 추가 분리가 데이터에서 잡히지 않음).
  • + Toeplitz: 자유도 많아 적합도 가장 높지만 AIC 페널티로 손해.

최종 모형 선택: AIC 기준 보통 AR(1) 가 우위. 해석도 가장 단순.

Fixed effects 의 강건성: Linear, Change of slope 의 추정값이 분산 구조에 거의 무관하게 안정적 — 회귀 계수의 점추정은 분산 구조 선택에 강건. 단 SE 와 검정 결과는 영향.

6.4 자기상관 모수의 임상 의미

가 의미하는 것 — Bock 데이터 예

라면:

  • 어제 오차의 25% 만큼이 오늘 오차에 carry over.
  • 즉 랜덤 효과 (피험자별 trend) 를 제거하고 남은 잔차에서, 인접 주차 간 상관이 약 0.25.
  • 2 주 간격: (거의 무관).
  • 3 주 이상: 사실상 0.

임상 해석: 주 단위 측정에서 단기 momentum 은 약함 — 일별 측정이었다면 더 강한 자기상관 예상. 주별 임상 평가에서는 랜덤 효과가 더 큰 의존성 통로.

검정: (표준 MRM) vs (MRM + AR(1)). LR , p-value/2 보정 적용. 유의하면 AC 추가 정당화.

7 통합 워크플로 — 5 단계

자기상관 검토를 포함한 종단 분석 절차

1. 표준 MRM 적합 — 랜덤 절편 (필요 시 + 기울기). Ch.4-5 절차.

2. 잔차 진단 — 잔차의 ACF/PACF 도표 + Ljung-Box 검정. 유의한 자기상관 여부 확인.

3. 자기상관 구조 후보 — ACF/PACF 패턴으로:

  • 지수 감쇠 → AR(1)
  • lag-1 만 → MA(1)
  • lag-1 강 + 빠른 감쇠 → ARMA(1,1)
  • 비단조 → Toeplitz
  • 분산 시간 증가 → NS-AR(1)

4. 후보 모형 적합 + 비교 — AIC + LR. 구조 1-2 개로 좁힘.

5. 최종 보고:

  • 분산-공분산 구조 명시.
  • (또는 다른 AC 모수) 와 SE.
  • Fixed effects 의 robust 검증 (분산 구조 변경 시 변화 비교).

8 코드 예시

8.1 R nlme — 표준 도구

library(nlme)

# 1. 표준 MRM (랜덤 절편 + 기울기, 조건부 독립)
fit_mrm <- lme(score ~ Linear + SlopeChange,
               random = ~ Linear | subject,
               data = bock,
               method = "ML")

# 2. + AR(1) 오차
fit_ar1 <- update(fit_mrm,
                  correlation = corAR1(form = ~ week | subject))

# 3. + MA(1) 오차 (corARMA p=0, q=1)
fit_ma1 <- update(fit_mrm,
                  correlation = corARMA(form = ~ week | subject, p = 0, q = 1))

# 4. + ARMA(1,1)
fit_arma <- update(fit_mrm,
                   correlation = corARMA(form = ~ week | subject, p = 1, q = 1))

# 5. + Toeplitz (corARMA p=0, q=n-1)
fit_toep <- update(fit_mrm,
                   correlation = corARMA(form = ~ week | subject, p = 0, q = 5))

# AIC + LR 비교
AIC(fit_mrm, fit_ar1, fit_ma1, fit_arma, fit_toep)
anova(fit_mrm, fit_ar1)        # LR for AR(1) vs no-AC
anova(fit_ar1, fit_arma)       # LR for ARMA vs AR(1) (nested)

# AR(1) 모수 추출
coef(fit_ar1$modelStruct$corStruct, unconstrained = FALSE)
# Phi = rho_hat

# 잔차 ACF (자기상관 진단)
plot(ACF(fit_mrm, resType = "normalized"))

8.2 Python statsmodels — 제한적

statsmodels MixedLM 은 랜덤 효과만 지원, AC 오차 직접 지원 안 함. 우회 옵션:

import statsmodels.api as sm
import statsmodels.formula.api as smf
from statsmodels.tsa.stattools import acf

# 표준 MRM 적합
model = smf.mixedlm(
    "score ~ Linear + SlopeChange",
    data=df,
    groups=df["subject"],
    re_formula="~Linear",
)
result = model.fit()
print(result.summary())

# 잔차 ACF 진단
residuals = result.resid
acf_values = acf(residuals, nlags=10)
print(f"ACF (lag 1-10): {acf_values[1:11]}")

# AC 가 있어 보이면 R nlme/lme4 또는 SAS PROC MIXED 로 이전 권장
도구 선택 가이드
도구 AC 오차 지원 추천
R nlme::lme 강력 (corAR1, corARMA, corCAR1 등) 권장
R lme4::lmer 직접 지원 안 함 (랜덤 효과만) AC 시 nlme
R glmmTMB 일부 지원 (AR1, OU 등) 비정규 반응 시
SAS PROC MIXED 강력 (repeated /type= 다양) 임상 표준
Python statsmodels 직접 지원 안 함 진단만

9 핵심 정리

Ch.7 한 페이지 요약
  1. 출발점: Ch.4-5 의 MRM 은 조건부 독립 가정 (). 임상에서 자주 위반.
  2. 확장: 단위 행렬 를 자기상관 행렬 로 대체 → .
  3. 결합 모형: — 두 의존성 통로 (피험자 차이 + 시간 momentum) 동시 모형화.
  4. 5 자기상관 구조: AR(1), MA(1), ARMA(1,1), Toeplitz, NS-AR(1). 각각 적합 패턴 다름.
  5. 일반화: Ch.4 의 추정 식 그대로 transfer ( 를 로 대체). 새 이론 불필요.
  6. CPM 과의 관계: MRM-AC = CPM (Ch.6) 에 랜덤 효과 추가. 두 패러다임의 일반 결합.
  7. 모형 선택: LR (분산 모수는 p-value/2 보정), AIC (BIC 보다 권장 — Fitzmaurice et al. 2004).
  8. 세 패러다임 비교: MRM (Ch.4-5), CPM (Ch.6), MRM-AC (Ch.7) — 종종 비슷한 적합도. 해석 자연스러움이 선택 기준.
  9. Fixed effects 강건성: 회귀 계수 점추정은 분산 구조에 거의 무관, SE 와 검정 결과는 영향.
  10. Bock 패턴: AR(1) 가 default 우위, 범위 흔함. 주 단위 임상 측정에서 자기상관 약함.

Ch.7 의 핵심 통찰: 의 우아한 일반화로 종단 데이터의 두 의존성 통로 (랜덤 효과 + 자기상관) 를 한 모형에 결합. 가장 유연한 분산-공분산 구조.

절 내용 핵심 식
§ 7.1 Introduction — 자기상관 동기 (7.1)-(7.2)
§ 7.2 MRM with AC errors + 5 구조 (7.3)
§ 7.3 Model selection (LR/AIC/BIC) (7.22)-(7.24)
§ 7.4 Bock antidepressant 예제 —

10 다음 단계 — Ch.7 시리즈

주제 위치
Ch.7 § 7.1 도입 본 overview 흡수
Ch.7 § 7.2 — 5 구조 상세 § 7.2 sub-post (작성됨)
Ch.7 § 7.3 — 모형 선택 § 6.3 모형 선택 sub-post 와 통합 가능 (Ch.6·7 공통 절차)
Ch.7 § 7.4 — Bock 분석 sub-post 작성 예정 (07-2-cpm-bock-ac-example.qmd)
Ch.8 GEE 미작성 — CPM 의 비정규 일반화

11 관련 주제

선행 지식

Ch.6 시리즈

후속 주제

교재

  • Hedeker, D. & Gibbons, R. D. (2006). Longitudinal Data Analysis, Wiley, Ch.7 (pp. 113-129)
  • Chi, E. M. & Reinsel, G. C. (1989). “Models for longitudinal data with random effects and AR(1) errors”, JASA 84, 452-459 — MRM-AR(1) 의 표준 reference
  • MaCurdy, T. E. (1982). “The use of time series processes to model the error structure of earnings in a longitudinal data analysis”, Journal of Econometrics 18, 83-114 — 계량경제 출처
  • Verbeke, G. & Molenberghs, G. (2000). Linear Mixed Models for Longitudinal Data, Springer — boundary 분포 표준 reference
  • Berkhof, J. & Snijders, T. A. B. (2001). “Variance component testing in multilevel models”, Journal of Educational and Behavioral Statistics 26, 133-152 — p-value/2 보정 분석
  • Fitzmaurice, G. M., Laird, N. M. & Ware, J. H. (2004). Applied Longitudinal Analysis, Wiley — AIC vs BIC 권고
  • Akaike, H. (1973). “Information theory and an extension of the maximum likelihood principle”, 2nd International Symposium on Information Theory, 267-281
  • Schwarz, G. (1978). “Estimating the dimension of a model”, Annals of Statistics 6, 461-464
  • Raftery, A. E. (1995). “Bayesian model selection in social research”, Sociological Methodology 25, 111-163 — BIC 의 = level-2 권장
  • Jones, R. H. & Boadi-Boateng, F. (1991). “Unequally spaced longitudinal data with AR(1) serial correlation”, Biometrics 47, 161-175 — 불등간격 확장
]]> Statistics kk3225.netlify.app/docs/blog/posts/Statistics/LDA/07-0-mrm-autocorrelated-overview.html Wed, 13 May 2026 15:00:00 GMT Klein Appendix B — Large-Sample Tests Based on Likelihood Theory Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Statistics/survival/15-klein-appendix-b-likelihood-tests.html

1 도입 — 같은 가설을 보는 세 가지 시선

귀무가설 을 검정할 때 가능도 이론은 세 가지 통계량을 제공한다 — Likelihood Ratio (LR), Wald, Rao Score. 셋 다 하에서 점근적으로 분포를 따라 같은 결정을 주지만, 각자 다른 양을 측정 한다.

직관 — 세 검정의 기하학

우도 함수 의 그래프를 떠올린다. 최대값 와 가설값 가 표시되어 있다.

1. Likelihood Ratio (LR): “MLE 의 우도와 가설값의 우도 차이를 본다.” 우도 곡선의 세로 방향 거리. . 두 점의 높이 차이.

2. Wald: “MLE 가 가설값에서 얼마나 멀리 떨어졌나.” 우도 곡선의 가로 방향 거리. . 정보 행렬로 정규화한 거리.

3. Score (Rao): “가설값에서 우도의 기울기가 0 에서 얼마나 벗어났나.” 우도 곡선의 기울기. . 가설값의 score 노름.

세 양은 우도 곡선의 다른 측면을 본다:

ℓ(θ)
 │     ●  ← ℓ(θ̂) (MLE)
 │   ╱
 │  ╱
 │ ╱   ← LR = 2(높이 차이)
 │╱   /
 │   /
 ●  ●  ← ℓ(θ₀) (귀무가설 점)
 │   ↑
 │   기울기 = U(θ₀)  ← Score
 │
 └────●─────●──→ θ
     θ₀    θ̂
        ↑
        Wald = (θ̂ - θ₀) × 곡률

우도가 정확히 quadratic 이면 셋이 같은 값. 비대칭 또는 곡률 변화가 있으면 다른 값. 작은 표본에서 차이가 클 수 있고, 큰 표본에서 점근적으로 일치.

본 포스트는 식 B.1-B.6 (단순 가설) 과 식 B.10-B.14 (복합 가설) 을 직관과 함께 풀이하고, Klein 의 두 지수 분포 예제로 수치 결과를 확인한다.

2 표기 — Score, Fisher Information, Observed Information

2.1 Efficient Score Vector — 식 (B.1)

데이터 와 모수 . 로그 우도 .

Efficient score (또는 score function):

벡터 형태: .

직관 — Score 가 측정하는 것

Score 는 우도 함수의 기울기. 를 약간 늘리면 로그 우도가 얼마나 변하는지를 알려준다.

핵심 성질 (정칙 조건 하):

즉 진짜 모수 값 에서 score 의 기댓값은 0. 이게 MLE 의 출발점 — score 영점이 진짜 모수의 자연스러운 추정량.

MLE 의 정의: 의 해 (정칙 조건 하). 는 식 B.1 영점 찾기 — 정확히 부록 A 의 수치 최적화 문제.

2.2 Fisher Information Matrix — 식 (B.2)

Fisher information 의 두 동치 정의

식 (B.2) 에 두 가지 동치 표현이 있다:

Outer-product 형식: — score 의 분산.

Hessian 형식: — 로그 우도의 음의 곡률 기댓값.

두 표현이 같음은 information identity (regularity 조건 하). 이 정체성은 score 가 평균 0 인 데서 출발 + 미분 가능 조건으로 나옴.

왜 “정보” 인가: 가 클수록 가 정확하게 추정 가능 — Cramér-Rao 부등식 . 정보 행렬이 표본의 “정보량” 을 정량화.

2.3 Observed Information — 식 (B.3)

기댓값 계산이 어려우므로 (분포에 대한 적분 필요) 실용적으로는 관측 정보 행렬 사용:

기댓값 없이 Hessian 의 음수만. 표본 의존이지만 에서 의 일치 추정량.

vs — 언제 무엇을 쓰나

Fisher (expected): 분포 가정이 정확한 경우 분석적 결과 좋음. 그러나 기댓값 계산이 거의 항상 어려움.

Observed: 표본만으로 계산 가능. 점근적으로 같은 결과. 실무 표준.

특히 검열 데이터 (생존 분석) 에서는 Fisher information 의 기댓값이 검열 분포에 의존해 매우 복잡 — observed information 이 거의 항상 사용된다.

3 단순 가설 —

3.1 Likelihood Ratio Test — 식 (B.4)

직관 — 우도의 세로 비교

는 데이터에 가장 잘 맞는 모형의 로그 우도 (최대값). 는 가설이 옳다는 가정 하의 로그 우도.

차이 가 항상 음이 아님 (MLE 가 가장 큰 우도를 줌).

이 차이가 클수록 가설이 의심스럽다. 차이가 자연스럽게 분포로 수렴 (Wilks 정리).

해석: “데이터를 (가설 모형 vs 일반 모형) 으로 설명할 때 우도가 얼마나 다른가?”

3.2 Wald Test — 식 (B.5)

직관 — 가로 거리, 정보로 정규화

는 MLE 가 가설값에서 얼마나 떨어졌나의 벡터 거리.

이 거리를 그냥 쓰면 모수의 척도에 의존. 로 정규화하면 표준편차 단위의 거리 가 된다 (정보 = 분산의 역수).

$^2_W = $ “MLE 와 가설값 사이의 정규화된 거리 제곱”. 큰 값 → 가설 기각.

스칼라 의 경우: , 일반 -test 와 동치.

3.3 Score Test (Rao) — 식 (B.6)

직관 — 가설값의 score 가 0 에서 얼마나 떨어졌나

는 “가설값에서의 우도 기울기”. 가설이 옳으면 score 가 0 근처여야 함 (MLE 정의에 의해 ).

가 0 에서 멀면 → 가설값이 데이터의 우도 최대점에서 떨어져 있다는 신호 → 가설 기각.

로 정규화 — score 의 분산이 정보 행렬이라 정규화에 그 역수 사용 ( 가설 하).

실무 큰 장점: MLE 를 계산할 필요가 없다. 가설값 만 있으면 OK. EM 같은 무거운 최적화를 피할 수 있어 매력적.

이 점이 § 13.2 Commenges-Andersen score test 의 매력 — frailty 모형 적합 없이 검정 가능했던 이유.

3.4 점근 동등성 — Wilks 정리

세 통계량은 점근적으로 같다

가 옳을 때:

$p = $ 검정되는 모수 차원.

증명 스케치 (Wilks 정리):

  1. 의 점근 분포: (MLE 점근 정규성).
  2. Taylor 전개로 → .
  3. Score 의 점근: → .
  4. Taylor 전개로 → 점근적으로 .

결론: 큰 표본에서 셋 다 같은 결정. 작은 표본에서는 다를 수 있고, 어느 것이 더 정확한지는 우도 함수의 모양에 의존.

3.5 작은 표본에서의 차이

우도의 비대칭이 결과를 가른다

우도 함수가 정확히 quadratic 이면 세 통계량이 정확히 같다. 비대칭이거나 곡률이 모수에 따라 변하면 다르다.

통계량 강점 약점
LR 변환 불변 (parametrization-invariant) + 두 우도 모두 평가
Wald 만 사용 (계산 간단) 변환 불변 X (모수화 의존)
Score 불필요 (가설값만) 신뢰구간 구성 어려움

LR 의 변환 불변성: 대신 로 다시 모수화해도 같은 통계량 값 — 자연스러운 성질. Wald 는 그렇지 않음 (예: vs 이 같은 모형이지만 Wald 통계량은 다름).

일반적 권고: LR 가 작은 표본에서 가장 신뢰할 만함. Wald 는 계산 편의 (signed sqrt 가 z-test) 로 자주 쓰임. Score 는 nuisance 모수가 있는 경우 매력 (다음 절).

3.6 Example B.1 — 지수 분포 단순 가설

3.6.1 셋업

지수 분포 의 검열 표본 , . 검정 .

핵심 양:

  • : 사건 수
  • : total time on test (Ch.3.5)

우도 (검열 데이터):

MLE: .

3.6.2 세 통계량 계산

Score (식 B.6): 가설값 :

Wald (식 B.5): MLE :

LR (식 B.4):

결과 — Wald = Score, LR 다름

이 단순 사례에서:

  • — 정확히 같다.
  • — 다른 형태이지만 점근적으로 같은 분포.

세 통계량 모두 점근.

왜 W = S 가 나왔는가: 지수 분포는 single parameter, 우도가 거의 quadratic 형태 → 점근 동등성이 정확하게 성립. 대부분의 분포는 W ≠ S.

수치 예: → . . 비슷하지만 약간 다름. 임계값 3.84 와 비교 → 비유의.

4 복합 가설 — Nuisance 모수 처리

4.1 셋업

모수 , 여기서:

  • : 검정 대상 모수
  • : nuisance 모수 (검정 대상 아니지만 모형에 필요)

가설: , 는 자유.

직관 — Nuisance 의 처리

전형적 사례:

  • Cox 회귀: 처치 효과 () 가 0 인지 검정. 다른 보정 변수 () 는 nuisance.
  • 두 그룹 비교: 효과 차이 () 검정. 베이스라인 위험 () 은 nuisance.
  • Frailty test: 검정. 회귀 계수 는 nuisance.

각 검정마다 nuisance 처리 방식이 다르다:

  • LR: 하 profile MLE + 일반 MLE — 두 우도 비교.
  • Wald: 일반 MLE 만 + 정보 행렬 partition 의 부분.
  • Score: 하 profile MLE 만 — 가장 가벼운 적합.

4.2 Information Matrix Partition — 식 (B.10), (B.11)

블록 차원: 는 , 는 , 는 , .

역행렬도 partition:

— Schur 보수

핵심 차이: (역행렬의 블록) 는 ( 블록의 역수) 와 다르다.

Schur 보수 공식:

가 의 marginal 분산 (nuisance 보정 후), 는 가 알려진 경우의 분산.

왜 nuisance 보정이 필요한가: 도 추정해야 하므로 그 추정 오차가 의 분산을 부풀린다. Schur 보수가 이 부풀림을 정확히 반영.

생존 분석 본문에서 자주 등장 — Cox 모형의 단일 회귀 계수 SE 가 다른 계수의 추정 변동성을 포함한 형태.

4.3 Likelihood Ratio Test — 식 (B.12)

여기서 는 profile MLE — 를 로 고정한 채 만 최대화한 추정.

직관 — 두 모형의 우도 비교

제약 모형 ( 가설 하): . 가설이 옳다고 가정하고 nuisance 만 최적화한 우도.

일반 모형 (제약 없음): . 모든 모수 자유 추정.

차이가 큼 → 제약 (가설) 이 데이터에 맞지 않음 → 가설 기각.

, 자유도 = 검정되는 모수 수.

4.4 Wald Test — 식 (B.13)

직관 — Marginal 분산 사용

식 (B.13) 의 는 식 B.11 의 partition 역행렬의 블록 — nuisance 보정된 의 marginal 분산.

따라서 Wald 의 거리 정규화에 nuisance 의 추정 변동성이 자동 반영. 일반 MLE 만 필요 (제약 모형 적합 X).

실무 매력: Cox 회귀의 SE 출력에서 직접 통계량 계산. 한 변수 검정에 가장 자주 사용.

4.5 Score Test (Rao) — 식 (B.14)

직관 — 제약 모형만 적합

는 score 벡터의 부분. 이를 제약 모형 ( 고정 + profile MLE) 에서 평가.

귀무 모형이 옳으면 — 가설값에서 score 가 0 근처여야.

이 score 가 0 에서 멀면 → 가설값이 자료의 우도 최대점에서 떨어져 있다 → 기각.

실무 큰 매력: 일반 MLE 불필요. 무거운 최적화 (예: frailty EM) 없이 검정 가능. § 13.2 Commenges-Andersen 가 이 패턴.

주의: 식 (B.14) 의 는 inverse 가 아닌 그 자체 (식 B.6 와 부호 다름). Score 의 분산이 정보 행렬의 역수의 역수 — 즉 정보 행렬 자체로 정규화. 식 (B.6) 의 와 형식 차이 주의.

세 통계량 모두 .

4.6 Example B.2 — 두 지수 그룹 비교

4.6.1 셋업

두 지수 분포 그룹:

  • 그룹 1:
  • 그룹 2:

는 그룹 2 의 그룹 1 대비 위험비. 가설: (두 그룹 같은 위험률), 는 nuisance.

각 그룹의 사건 수 , total time on test ().

4.6.2 우도

4.6.3 Score 와 Information

4.6.4 MLE

에서:

직관: 는 그룹 1 의 단순 MLE (그룹 1 만 사용). 는 그룹 2 의 위험률 / 그룹 1 의 위험률 = . 즉 = 두 그룹 위험률의 비.

4.6.5 Profile MLE — 제약 () 하

에서:

직관: (두 그룹 동일) 가설 하 모든 데이터를 합쳐 단일 지수 분포 추정 → pooled estimator.

4.6.6 LR Test 식 (B.12)

LR 식의 직관 — 그룹별 관측-기대 비교

각 그룹 에 대해: - 관측 = (그 그룹의 실제 사건 수) - 기대 = (pooled rate × 그 그룹의 노출)

비율 — log-rank 검정의 그룹별 관측/기대 비와 같은 형태.

LR 통계량은 두 그룹의 합 — Poisson regression 의 deviance 형태와 동일.

4.6.7 Wald Test 식 (B.13)

식 B.11 의 partition 으로 계산:

4.6.8 Score Test 식 (B.14)

(분자가 의 형태로 정리 가능 — 그룹 차이의 제곱.)

4.6.9 수치 예 — Klein 본문

대입:

통계량 값
0.0607
0.0545
0.0448
결과 해석

세 통계량 모두 의 5 % 임계값 보다 훨씬 작음 → 모두 비유의.

결론: 기각 안 함. 두 그룹의 위험률에 통계적으로 유의한 차이 없음.

세 통계량의 차이:

  • 작은 표본에서 비대칭 우도로 인해 .
  • 그러나 점근적으로 같은 결정 (모두 비유의).
  • 일반적으로 이 가장 신뢰할 만하지만 (변환 불변), 이 사례에서는 모두 일관 결론.

직관: — 에서 약 11 % 떨어졌지만 표본이 작아 () 유의 수준 도달 못함.

5 세 검정의 실무 권고

어느 검정을 언제 쓰나
상황 권장
일반적, 큰 표본 LR — 변환 불변, 가장 견고
한 변수 t-test 형태 Wald — summary(fit) 출력의 표준
MLE 비싼 모형 (frailty EM 등) Score — 제약 모형만 적합
모수 공간 경계 가설 ( 등) Score — 점근 정칙 더 강건
신뢰구간 inversion LR — 가장 정확
작은 표본 LR > Wald > Score (일반적)

일관성: 가능하면 세 검정을 모두 계산하고 일관된 결론을 확인. 큰 차이가 나면 우도 함수의 비대칭 또는 점근 근사의 부정확을 의심.

6 본문에서의 응용 — Klein 책의 검정들

Cox 모형 (Ch.8)

Wald test: coxph() 의 summary(fit) 출력의 z-test. 의 marginal 검정.

LR test: 제약 모형 (변수 제거) 과 일반 모형의 우도 비교 — anova(fit_null, fit_full). 변수 추가의 유의성.

Score test: 변수 추가의 score-based 검정 — anova(fit, scoretest = TRUE) 또는 직접 계산. 큰 모형 적합 부담 회피.

Frailty Models (Ch.13)

Score test for (Commenges-Andersen): § 13.2 의 핵심. 일반 Cox 만 적합하고 frailty 의 score 통계량 계산.

Wald test for : § 13.3 의 EM 후 . 모수 경계 () 라 점근 정칙 약함.

LR test for : . 분포가 정확히 가 아니라 — 모수 경계 효과.

모수 회귀 (Ch.12)

LR test for nested 분포: Weibull vs 지수 (). , .

Wald test for 분포 모수: survreg() 출력의 t-statistic.

일반화 감마의 : (Weibull) 또는 (로그정규) 의 LR/Wald — § 12.4.

7 코드 예시

7.1 Step 1 — R: 세 검정의 직접 비교

library(survival)

# Example B.2 데이터: 두 그룹 지수 분포
d <- data.frame(
  time = c(rep(c(2.5, 2.5), 5), rep(c(2.25), 12)),  # 단순화 예
  event = c(rep(1, 10), rep(1, 12)),
  group = c(rep(1, 10), rep(2, 12))
)
# D_1 = 10, D_2 = 12, S_1 = 25, S_2 = 27 가정

# 1. LR test — 제약 vs 일반 모형
fit_null <- survreg(Surv(time, event) ~ 1, dist = "exponential", data = d)
fit_full <- survreg(Surv(time, event) ~ group, dist = "exponential", data = d)
chi_LR <- 2 * (fit_full$loglik[2] - fit_null$loglik[2])
cat("LR:", chi_LR, "p =", 1 - pchisq(chi_LR, df = 1), "\n")

# 2. Wald test — 일반 모형의 z-statistic
summary(fit_full)
# coef$z 의 제곱이 chi^2_W (df=1)

# 3. Score test — 직접 구현 또는 anova()
# anova() 는 R 의 LRT 가 default
anova(fit_null, fit_full)

7.2 Step 2 — Python: scipy.stats.chi2 로 직접

import numpy as np
from scipy.stats import chi2

# Klein Example B.2 의 직접 계산
D1, D2, S1, S2 = 10, 12, 25, 27

# Profile MLE under H_0: beta = 1
lam_pooled = (D1 + D2) / (S1 + S2)

# General MLE
beta_hat = (S1 * D2) / (S2 * D1)
lam_hat = D1 / S1

# 1. LR test (식 B.12)
ll_null = (D1 + D2) * np.log(lam_pooled) - lam_pooled * (S1 + S2)
ll_full = (D1 + D2) * np.log(lam_hat) + D2 * np.log(beta_hat) - lam_hat * S1 - lam_hat * beta_hat * S2
chi_LR = -2 * (ll_null - ll_full)

# 2. Wald test (식 B.13)
chi_W = D1**2 * (S1 * D2 - S2 * D1)**2 / (D2 * S1**2 * (D1 + D2))

# 3. Score test (식 B.14)
chi_S = ((D2 * (S1 + S2) - (D1 + D2) * S2)**2
         / (D2 * (S1 + S2)**2 - (D1 + D2) * S1**2))

# 모두 chi^2_1 임계 3.841 와 비교
for name, stat in [("LR", chi_LR), ("Wald", chi_W), ("Score", chi_S)]:
    p = 1 - chi2.cdf(stat, df=1)
    print(f"{name}: chi^2 = {stat:.4f}, p = {p:.4f}")

# 출력: LR: 0.0607, Wald: 0.0545, Score: 0.0448 (Klein 본문 값과 일치)

7.3 Step 3 — Cox 모형의 세 검정 자동 출력

library(survival)
library(survminer)

# Cox 모형 적합 후 세 검정 자동 비교
fit <- coxph(Surv(time, status) ~ x + z, data = mydata)
summary(fit)
# 출력:
#   - "Wald test = X on p df, p = ..."
#   - "Score (logrank) test = X on p df, p = ..."
#   - "Likelihood ratio test = X on p df, p = ..."
# 세 검정 동시 출력 — Cox 의 default

8 핵심 요약

Appendix B 한 줄 요약

가능도 이론은 가설 에 대해 세 가지 검정을 제공한다 — LR (식 B.4, 우도 세로 비교), Wald (식 B.5, 가로 거리 + 정보 정규화), Score (식 B.6, 가설값 score 의 0 으로부터 거리). 세 통계량 모두 하 점근 분포 (Wilks). Nuisance 모수 가 있으면 식 B.10-B.14 의 partition 형태로 일반화 — Score 는 제약 모형만 (MLE 불필요), Wald 는 일반 모형만, LR 는 둘 다 필요. Klein Example B.2 의 두 지수 그룹 비교 () 결과: — 모두 비유의 ( 임계 3.84 미만).

검정 식 직관 필요 모형
LR 식 (B.4), (B.12) 두 우도의 세로 차이 제약 + 일반 둘 다
Wald 식 (B.5), (B.13) MLE 의 가로 거리 (정보 정규화) 일반 MLE 만
Score 식 (B.6), (B.14) 가설값 score 의 0 으로부터 거리 제약 모형만 (MLE 불필요)
5 가지 실무 권고

1. 작은 표본은 LR: 변환 불변, 우도 비대칭에 강건. 작은 표본에서 가장 정확.

2. 큰 표본은 모두 동등: 점근 분포로 수렴 (Wilks 정리). 어느 것이든 같은 결정.

3. MLE 비싼 모형은 Score: Frailty EM, 일반화 감마 등에서 score test (Commenges-Andersen 등) 가 무거운 적합 회피.

4. 신뢰구간은 LR-based: Wald CI 는 대칭 + 모수화 의존. LR-based CI (profile likelihood) 가 작은 표본에서 더 정확.

5. 일관성 점검: 가능하면 세 검정 모두 계산, 큰 차이 시 우도의 비대칭 또는 점근 근사 부정확 의심.

9 관련 주제

Klein Appendix 시리즈

본문 검정 응용

관련 개념

10 참고 문헌

  • Klein, J. P., & Moeschberger, M. L. (2003). Survival Analysis: Techniques for Censored and Truncated Data (2nd ed.). Springer. Appendix B.
  • Cox, D. R., & Hinkley, D. V. (1974). Theoretical Statistics. Chapman and Hall. Chapter 9. (Klein 이 인용한 표준 reference)
  • Wilks, S. S. (1938). The large-sample distribution of the likelihood ratio for testing composite hypotheses. Annals of Mathematical Statistics, 9(1), 60-62. (LR 점근 분포의 원전)
  • Wald, A. (1943). Tests of statistical hypotheses concerning several parameters when the number of observations is large. Trans. Amer. Math. Soc., 54(3), 426-482. (Wald test 의 원전)
  • Rao, C. R. (1948). Large sample tests of statistical hypotheses concerning several parameters with applications to problems of estimation. Math. Proc. Cambridge Phil. Soc., 44(1), 50-57. (Score test 의 원전)
  • Casella, G., & Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury. Chapter 8-10. (수리통계 표준 — LR, Wald, Score 의 일반적 처리)
]]> Statistics Survival Analysis kk3225.netlify.app/docs/blog/posts/Statistics/survival/15-klein-appendix-b-likelihood-tests.html Wed, 13 May 2026 15:00:00 GMT Klein Appendix A.2 — Multivariate Methods for Maximization Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Statistics/survival/14-2-multivariate-methods.html

1 도입 — 다변수 최적화가 어디에 등장하는가

생존분석 본문에서 다변수 최적화가 등장하는 자리:

위치 모수 차원 형태
Ch.8 — Cox PH (다공변량) , 부분우도 Newton-Raphson
Ch.9 — 시간의존 공변량 + 층화 $+ $ 층 모수 동일 알고리즘 확장
Ch.10 Aalen 시점별 OLS — closed form 다변수지만 closed form
Ch.10 Lin-Ying — closed form 다변수지만 closed form
Ch.12 모수 회귀 (Weibull/LL/LN) full 우도 NR
Ch.12 일반화 감마 NR 또는 LM
Ch.13 Frailty MLE (모수적 baseline) 다변수 NR
Ch.13 Frailty EM 의 분산 추정 차 정보 행렬 역수
§ A.1 (1D) 와 § A.2 (다변수) 의 결정적 차이

1D 영점 찾기: 의 해 — 한 차원의 값.

다변수 영점 찾기: 의 해 — 차원 벡터의 모든 성분이 0 인 점.

왜 다변수가 더 어려운가:

  1. 방향 선택: 1D 는 +/- 두 방향만. 다변수는 차원 단위 구면의 모든 방향.
  2. Hessian 의 역할: 1D 의 는 스칼라. 다변수의 는 행렬 — 역수 비용 .
  3. 길쭉한 우도: 한 축의 곡률이 다른 축보다 훨씬 큰 경우 (예: Weibull 의 는 평탄, 는 가파름). 단순 그래디언트 방향이 비효율.
  4. 수렴 판정: 단일 기준이 부족, 4 가지 (함수값/gradient 노름/모수 변화/반복 한계) 조합.

이 절은 다변수 최적화의 표준 도구 3 가지 (steepest ascent, Newton-Raphson 다변수, Marquardt) 를 알고리즘과 직관으로 다룬다.

2 표기 — Gradient 와 Hessian

2.1 Gradient (1차 도함수 벡터) — 식 (A.3)

의 점 에서의 그래디언트:

2.2 Hessian (2차 도함수 행렬) — 식 (A.4)

대칭 행렬 (, Schwarz 정리). 최대값에서는 음의 정칙 (negative definite, 모든 eigenvalue < 0).

직관 — Gradient 와 Hessian 의 기하적 의미

Gradient : 점 에서 가 가장 빠르게 증가하는 방향을 가리키는 벡터. 길이는 그 증가율. 영점 인 점이 임계점 (최대/최소/안장점).

Hessian : 점 의 곡률 텐서. 의 eigenvector 들이 우도의 주축 (principal axes), eigenvalue 들이 각 축의 곡률.

최대값의 기하: 모든 방향으로 곡률 음 ( 음의 정칙) → 우도가 그 점에서 모든 방향으로 감소 → 진정한 최대.

길쭉한 우도: 의 eigenvalue 들이 크게 다르면 (예: 100 vs 1) 우도 등고선이 길쭉한 타원. 한 축으로는 가파르고 다른 축으로는 평탄.

이 길쭉함이 다변수 최적화의 핵심 도전 — steepest ascent 가 비효율적이 되는 원인.

2.3 Quadratic Form 의 의미

의 점 근처 Taylor 2 차 근사:

1차 항: 평면 (linear). 2차 항: 가 음의 정칙이면 위로 볼록 (concave) 한 quadratic. 이 quadratic 의 최대점이 Newton 의 한 step 의 도착지.

3 § A.2.1 Steepest Ascent — 식 (A.5)

3.1 알고리즘

각 step 에서 그래디언트 방향으로 직선 탐색 (line search):

는 그 방향에서 를 최대화하는 step size. 즉:

이 1D 최대화는 § A.1 의 도구 (bisection, secant, Newton) 로 풀어낸다.

3.1.1 의사코드

INPUT: f, ∇f (gradient), x_0, tol, max_iter
x ← x_0
FOR k = 0, 1, ..., max_iter:
    g ← ∇f(x)                                   # gradient
    IF ||g|| < tol: BREAK                        # 수렴
    # 1D line search: argmax_d f(x + d·g)
    d_star ← line_search(d → f(x + d·g))         # § A.1 도구 사용
    x ← x + d_star · g
RETURN x
직관 — “현재 점에서 가장 가파른 오르막” 만 사용

각 step 에서 gradient 방향만 본다. Hessian 정보는 사용 안 함.

왜 gradient 방향이 가장 가파른가: 단위 벡터 방향의 증가율은 . 코시-슈바르츠 부등식으로 이 양은 에서 최대 ( 일 때). 따라서 gradient 방향이 가장 가파른 오르막.

Step size : 그 방향에서 무한히 멀리 갈 게 아니라 최적 거리 까지만. 1D 최적화로 결정.

비유: 안개 낀 산에서 손으로 더듬어 가장 가파른 방향을 느끼고 (gradient), 그 방향으로 균형 잃지 않을 만큼 (line search) 한 발 디딤. 안개라 멀리 못 봐도 매번 오르막은 올라간다.

3.2 길쭉한 우도와 지그재그 — Steepest Ascent 의 한계

직관 — 왜 길쭉한 우도에서 지그재그가 생기는가

우도 함수가 길쭉한 타원 형태라고 상상하자 (한 축의 곡률이 다른 축의 100 배). 다음 두 사례를 본다.

사례 1: 원형 우도 (Hessian 의 eigenvalue 모두 같음). 모든 방향의 곡률 동일. - 점 의 gradient 는 정확히 최대점 방향을 가리킴. - 한 step 의 line search 로 최대점 도달 (1 step 수렴).

사례 2: 길쭉한 우도 (한 축 곡률 큰 경우). 등고선이 가늘고 긴 타원. - 점 의 gradient 는 등고선에 수직 방향이지만, 이는 최대점 방향이 아니다 (가파른 축 쪽으로 치우침). - Line search 로 그 방향의 최대점에 도달 — 타원의 짧은 축의 다른 끝 근처에 도달. - 새 점에서의 gradient 는 또 등고선에 수직, 이전 방향과 거의 직교. - 이렇게 직교 방향으로 번갈아 지그재그 진행. - 길쭉할수록 지그재그가 심해 수렴이 매우 느림 ( 수렴 — bisection 보다도 느릴 수 있음).

이는 Rosenbrock banana 함수 등에서 극단적으로 보이는 현상 — Steepest ascent 는 이런 함수에서 수백~수천 step 이 필요할 수 있다.

해결: Newton-Raphson 의 정규화 — 길쭉한 우도를 둥글게 펴서 본 후 진행.

3.3 Steepest Ascent 의 사용 시점

조건 적합성
Hessian 계산 불가 O (BFGS 같은 quasi-Newton 도 후보)
우도 단봉 + 거의 원형 O
큰 Hessian () O ( 비용 회피)
길쭉한 우도 X (지그재그)
좋은 시작값 + 빠른 수렴 원할 때 X (Newton 우위)
머신러닝의 SGD 와의 관계

신경망 훈련의 확률적 경사 하강 (SGD) 가 사실상 steepest descent (최소화 버전). 가 매우 큼 (수백만~수십억) 이라 Hessian 비현실 → gradient 기반만 사용.

생존분석은 보통 가 작아 () Newton 이 우위. ML 의 high-dim 문제와 정반대 영역. § A.2 의 이론은 둘 다 같지만 실무 default 가 다르다.

4 § A.2.2 Newton-Raphson 다변수 — 식 (A.6)

4.1 알고리즘

4.1.1 의사코드

INPUT: f, ∇f, ∇²f (Hessian), x_0, tol, max_iter
x ← x_0
FOR k = 0, 1, ..., max_iter:
    g ← ∇f(x)
    IF ||g|| < tol: BREAK
    H ← ∇²f(x)
    Δ ← solve(H, g)                               # H · Δ = g
    x_new ← x - Δ
    IF f(x_new) < f(x):                           # step-halving
        Δ ← Δ / 2
        x_new ← x - Δ
    x ← x_new
RETURN x

(solve(H, g) 은 LU 분해 등으로 선형 system 푸는 것 — explicit 계산 회피, 더 안정.)

직관 — Hessian 으로 좌표를 정규화한 후 Steepest Ascent

식 (A.6) 의 는 다음과 동치:

  1. 로 좌표 변환 ( 는 양의 정칙 부분).
  2. 이 새 좌표에서 우도가 등방성 (isotropic) — 모든 방향의 곡률 같음.
  3. 등방성 좌표에서 steepest ascent 한 step.
  4. 원래 좌표로 역변환.

즉 길쭉한 우도를 둥글게 편 다음 steepest ascent. 이것이 Newton 의 본질.

기하적: 우도의 2차 Taylor 근사 의 최대점이 정확히 . 즉 2차 근사의 최대점으로 한 번에 점프.

우도가 정확히 quadratic 이면 1 step 으로 도달. 일반 우도는 quadratic 근사가 점점 정확해져 quadratic 수렴.

4.2 2차 수렴

Quadratic 수렴의 정량적 의미

오차 에 대해:

는 의 third-order 도함수에 의존하는 상수.

Step
0
1 (가정 )
2
3 (기계 정밀도)

3-4 step 만에 16 자리 정밀도 — 단변수 Newton 과 동일한 폭발적 가속. 이것이 Newton 의 가장 큰 매력.

4.3 발산 사례 — Newton 의 약점

다변수 Newton 이 실패하는 경우

1. 가 ill-conditioned 또는 singular: Eigenvalue 중 하나가 0 에 매우 가까우면 폭발. 모수 식별 불가능 또는 약한 식별성.

2. 가 양의 정칙이 아님: 안장점 또는 최소값 근처. Newton 은 그런 점에서도 영점으로 인식해 잘못된 방향 진행.

3. Overshoot: 가 영점에서 멀고 quadratic 근사가 부정확하면 가 커 영점 너머로 점프 → 발산.

4. 잘못된 방향 — 감소: → 최대화에 반대 방향.

대처 — Step-Halving (SAS Cox 의 표준):

Δ ← H⁻¹ u
x_new ← x - Δ
WHILE f(x_new) < f(x) AND ||Δ|| > eps:
    Δ ← Δ / 2
    x_new ← x - Δ

가 증가할 때까지 step 을 절반씩 줄임. 작은 step 이라도 항상 증가 보장.

대안 — Damped Newton 또는 trust region: Step 크기를 사전 제한 (). Trust region 은 modern 표준.

5 § A.2.3 Marquardt’s Method — Steepest 와 Newton 의 절충

5.1 알고리즘

를 대각 스케일 행렬 (). 을 blending 상수.

직관 — 가 두 방법을 잇는 다이얼

: 만 남음 → 정규화된 Newton-Raphson (스케일 행렬은 단순 normalization).

: 분모의 가 지배 → → steepest ascent (Hessian 영향 사라짐).

중간 : 둘의 보간. 가 양의 정칙이 아닐 때도 가 양의 정칙이 되어 안정.

핵심 통찰 (Marquardt 1963): “ 가 신뢰할 만하면 Newton 쪽 ( 작게), 못 믿겠으면 steepest 쪽 ( 크게).”

5.2 적응 절차 (Adaptive)

INPUT: f, ∇f, ∇²f, x_0, γ_0 = 0.001, tol
x ← x_0
γ ← γ_0
FOR k = 0, 1, ...:
    g ← ∇f(x); H ← ∇²f(x); S ← diag(|H_ii|^(-1/2))
    M ← S·H·S + γ·I
    Δ ← S · solve(M, S·g)
    x_new ← x - Δ
    IF f(x_new) > f(x):                        # 진전
        x ← x_new
        γ ← γ / 10                             # 다음에 더 Newton 쪽
    ELSE:                                       # 후퇴
        γ ← γ × 10                             # 더 steepest 쪽으로
        # x 는 그대로, γ 만 늘려 재시도
    IF ||g|| < tol AND γ small: BREAK
    # 마지막 step 은 γ = 0 (순수 Newton) 으로 정확 마무리
비유 — 운전 경험에 따라 액셀 강도 조절
  • 직선 도로 (Newton 신뢰): 작게 → 액셀 풀로 (빠름).
  • 굽은 도로 (Newton 의심): 크게 → 안전 운전 (steepest, 느리지만 안전).

이 적응이 단일 method 보다 거의 항상 빠름 — 처음에는 안전, 끝에서는 빠르게.

LM 의 다른 응용: 비선형 최소제곱 문제 (nls() in R, scipy.optimize.least_squares(method='lm')) 의 표준. 회귀 잔차 제곱합 최소화에서는 Hessian 이 이론상 양의 정칙이지만 작은 표본 / 모형 오설정에서 문제 발생 → LM 의 견고성이 결정적.

6 수렴 판정 — 4 가지 기준

다변수 최적화에서는 단일 기준이 부족, 여러 기준 조합 사용:

수렴 판정 4 가지

1. 함수값 변화 ( 권장):

2. Gradient 노름:

3. 모수 변화:

4. 반복 한계 (안전장치):

실무: (1) + (2) 둘 다 점검. (3) 은 보조 — 함수가 평탄하면 모수가 변해도 진정한 최적이 아닐 수 있음. (4) 는 발산 방지.

기준 충돌 사례: 작은데 큼 → 평탄 영역에서 조심해야 함. 또는 작은데 큼 → quadratic 근사 부정확.

7 Example A.2 — Weibull (λ, α) MLE

7.1 데이터와 모형

§ A.1 의 Example A.1 과 같은 10 obs:

t = (2.57, 0.58, 0.82, 1.02, 0.78, 0.46, 1.04, 0.43, 0.69, 1.37)

, .

이번엔 두 모수 모두 추정.

7.1.1 Log-likelihood, Score, Hessian

7.1.2 시작값

Method-of-moments 추정: (지수분포 가정), . 초기 log-likelihood .

정지 기준: .

7.2 Steepest Ascent — 5 step Trace

Step
0 1.024 1.000 0.001 7.035 0.098
1 1.025 1.693 0.001 0.089
2 0.865 1.694 0.661 0.001 0.126
3 0.865 1.777 0.000 0.073
4 0.839 1.777 0.121 0.000 0.128
5 0.839 1.792 0.000 0.007

5 step 후 .

Trace 의 패턴 — 지그재그 명확

각 step 의 변화:

  • Step 0 → 1: 만 거의 변화 (1.000 → 1.693). 거의 그대로 (1.024 → 1.025). 가 의 압도적으로 크므로 gradient 가 거의 방향.
  • Step 1 → 2: 만 거의 변화 (1.025 → 0.865). 거의 그대로 (1.693 → 1.694). 새 gradient 가 거의 방향.
  • Step 2 → 3: 변화 (1.694 → 1.777). 그대로.
  • Step 3 → 4: 변화. 그대로.
  • Step 4 → 5: 변화. 그대로.

즉 각 step 이 한 모수씩 번갈아 큰 변화 — 이것이 길쭉한 우도 함수의 지그재그 패턴이다.

수렴은 결국 도달하지만 step 수가 많고 (5 step) 진행이 비효율적. Newton 의 Hessian 정규화가 이 비효율을 해결한다 (다음 절).

7.3 Newton-Raphson 다변수 — 3 step Trace

같은 시작값 + 정지 기준.

Step
0 1.024 1.000 0.001 7.035
1 0.954 1.530 1.684
2 0.838 1.769 0.035 0.181
3 0.832 1.796 0.001

3 step 후 .

Newton 의 첫 step 분석

Step 0 → 1: . Hessian:

.

.

따라서 새 점: — 표 첫 행과 일치.

Step 1 의 변화 은 steepest 의 보다 적다 (overshoot 회피). 그러나 동시에 도 적절히 줄임 () — 두 모수를 동시에 합리적으로 update, steepest 의 한 모수씩 변화 패턴 회피.

이것이 Hessian 의 cross-term () 이 만드는 차이 — 두 모수의 상관을 고려해 동시 update.

7.4 Marquardt — 5 step Trace ()

Step
0 1.024 1.000 0.001 7.035
1 0.993 1.351 3.189
2 0.930 1.585 1.295
3 0.883 1.701 0.523
4 0.858 1.753 0.218
5 0.845 1.777 0.094

5 step 후 .

Marquardt 의 보수적 진행

의 고정값 (적응 안 함). 효과:

  • Newton 의 첫 step (1.024, 1.000) → (0.954, 1.530) 보다 더 보수적 — Marquardt 는 (0.993, 1.351) 로 절반쯤만 진행.
  • 매 step 의 변화도 작음 — 안전하게 천천히 도달.
  • 결국 5 step 필요 (Newton 의 3 step 보다 많음).

적응이 없을 때의 Marquardt 가 보여주는 안전 운전 패턴. 적응 ( 자동 조절) 을 사용하면 끝 step 에서 으로 Newton 과 동등해져 더 빠르다.

7.5 세 방법 종합 비교 — Example A.2

방법 Step 마지막
Steepest Ascent 5 0.072
Newton-Raphson 3 0.001
Marquardt () 5 0.094
통찰 — 세 방법의 trade-off 가 명확히 보임

Newton 의 우월성: - Step 수: 3 (Marquardt/Steepest 의 5 보다 적음). - 마지막 정확도: — Marquardt/Steepest 의 0.07-0.09 보다 100 배 정확. - 점추정: — 다른 방법과 약간 다름 (정지 기준 안에서의 우연 차이).

Steepest 의 비효율: - 한 모수씩 번갈아 변화 (지그재그). - 같은 step 수로 Marquardt 와 비슷.

Marquardt 의 안전: - 보수적 진행, 중간 step 의 안정성 좋음. - 적응 ( 조절) 추가하면 Newton 과 동등 속도까지 가능.

실무 권고: - 단일 우도 함수, 좋은 시작값 → Newton. - 복잡한 모형, 시작값 불안정 → Marquardt 적응. - 매우 큰 , Hessian 비싼 경우 → BFGS / L-BFGS (다음 절).

8 Quasi-Newton (BFGS) — Klein 미언급의 표준

현대 표준 — Quasi-Newton

Klein 부록 A 가 작성된 시점 (2003) 부터 표준 도구는 거의 변하지 않았지만, 한 가지 빠진 부분이 Quasi-Newton.

아이디어: Hessian 명시적 계산 대신 gradient 변화 로 Hessian 의 근사 update.

BFGS 갱신 공식:

여기서 , .

장점: - Hessian 명시적 계산 불필요 → 비싼 우도에 적합. - Super-linear 수렴 (Newton 의 quadratic 보다 약간 느림). - 가 자동으로 양의 정칙 유지 → 안전.

단점: - 행렬 저장 — 매우 클 때 (예: 신경망의 수백만 모수) 부담. - 해결: L-BFGS (limited-memory BFGS) — 최근 step 만 저장. 메모리 .

구현: - R: optim(method = "BFGS") 또는 optim(method = "L-BFGS-B") (with bounds). - Python: scipy.optimize.minimize(method='BFGS') 또는 'L-BFGS-B'.

실무 권고: 이면 BFGS, 이면 L-BFGS. 생존분석은 거의 항상 이라 BFGS 가 default.

9 코드 예시

9.1 Step 1 — Python: scipy 의 통합 API

import numpy as np
from scipy.optimize import minimize

# Example A.2 데이터
t = np.array([2.57, 0.58, 0.82, 1.02, 0.78, 0.46, 1.04, 0.43, 0.69, 1.37])
n = len(t)

# 음의 log-likelihood (minimize 기준)
def neg_loglik(params):
    lam, alpha = params
    if lam <= 0 or alpha <= 0:
        return np.inf
    return -(n*np.log(lam) + n*np.log(alpha)
             + (alpha-1)*np.sum(np.log(t)) - lam*np.sum(t**alpha))

# Gradient (식 A.3)
def neg_grad(params):
    lam, alpha = params
    return -np.array([
        n/lam - np.sum(t**alpha),
        n/alpha + np.sum(np.log(t)) - lam*np.sum(t**alpha * np.log(t))
    ])

# Hessian (식 A.4)
def neg_hess(params):
    lam, alpha = params
    H = np.array([
        [-n/lam**2, -np.sum(t**alpha * np.log(t))],
        [-np.sum(t**alpha * np.log(t)),
         -n/alpha**2 - lam*np.sum(t**alpha * np.log(t)**2)]
    ])
    return -H  # neg_loglik 의 Hessian

# 1. Newton-Raphson (Newton-CG)
res_nr = minimize(neg_loglik, x0=[1.024, 1.0], jac=neg_grad, hess=neg_hess,
                  method='Newton-CG', options={'xtol': 1e-6})
print(f"Newton-CG: λ̂={res_nr.x[0]:.4f}, α̂={res_nr.x[1]:.4f}, iter={res_nr.nit}")

# 2. BFGS (Hessian 자동 근사)
res_bfgs = minimize(neg_loglik, x0=[1.024, 1.0], jac=neg_grad,
                    method='BFGS', options={'gtol': 1e-6})
print(f"BFGS: λ̂={res_bfgs.x[0]:.4f}, α̂={res_bfgs.x[1]:.4f}, iter={res_bfgs.nit}")

# 3. L-BFGS-B (with bounds)
res_lb = minimize(neg_loglik, x0=[1.024, 1.0], jac=neg_grad,
                  method='L-BFGS-B', bounds=[(0.01, None), (0.01, None)])
print(f"L-BFGS-B: λ̂={res_lb.x[0]:.4f}, α̂={res_lb.x[1]:.4f}, iter={res_lb.nit}")

# 4. Steepest descent (직접 구현)
def steepest_ascent(f_obj, grad, x0, max_iter=50, tol=0.1):
    x = np.array(x0, dtype=float)
    history = [x.copy()]
    for k in range(max_iter):
        g = -grad(x)  # f_obj 는 neg, gradient 도 neg
        if np.max(np.abs(g)) < tol:
            break
        # 1D line search
        from scipy.optimize import minimize_scalar
        res = minimize_scalar(lambda d: f_obj(x + d*g), method='brent',
                               bracket=(0, 0.1, 0.5))
        x = x + res.x * g
        history.append(x.copy())
    return x, k, history

x_sa, k_sa, _ = steepest_ascent(neg_loglik, neg_grad, [1.024, 1.0])
print(f"Steepest: λ̂={x_sa[0]:.4f}, α̂={x_sa[1]:.4f}, iter={k_sa}")

9.2 Step 2 — R: optim() 의 다양한 method

t <- c(2.57, 0.58, 0.82, 1.02, 0.78, 0.46, 1.04, 0.43, 0.69, 1.37)
n <- length(t)

# 음의 log-likelihood
neg_loglik <- function(params) {
  lam <- params[1]; alpha <- params[2]
  if (lam <= 0 || alpha <= 0) return(Inf)
  -(n*log(lam) + n*log(alpha) + (alpha-1)*sum(log(t)) - lam*sum(t^alpha))
}

# Gradient
neg_grad <- function(params) {
  lam <- params[1]; alpha <- params[2]
  c(-(n/lam - sum(t^alpha)),
    -(n/alpha + sum(log(t)) - lam*sum(t^alpha * log(t))))
}

# 1. BFGS (default for smooth)
fit_bfgs <- optim(c(1.024, 1.0), neg_loglik, gr = neg_grad,
                  method = "BFGS", control = list(reltol = 1e-8))
cat("BFGS:", fit_bfgs$par, "iters:", fit_bfgs$counts, "\n")

# 2. L-BFGS-B (with bounds)
fit_lbfgs <- optim(c(1.024, 1.0), neg_loglik, gr = neg_grad,
                   method = "L-BFGS-B", lower = c(0.01, 0.01))
cat("L-BFGS-B:", fit_lbfgs$par, "\n")

# 3. Nelder-Mead (gradient-free, robust)
fit_nm <- optim(c(1.024, 1.0), neg_loglik, method = "Nelder-Mead")
cat("Nelder-Mead:", fit_nm$par, "\n")

# 4. CG (Conjugate Gradient — large-scale 대안)
fit_cg <- optim(c(1.024, 1.0), neg_loglik, gr = neg_grad, method = "CG")
cat("CG:", fit_cg$par, "\n")

# 5. nlminb (Quasi-Newton + box constraint, 기본 default)
fit_nlm <- nlminb(c(1.024, 1.0), neg_loglik, gradient = neg_grad,
                  lower = c(0.01, 0.01))
cat("nlminb:", fit_nlm$par, "iter:", fit_nlm$iterations, "\n")

9.3 Step 3 — Marquardt 직접 구현

def marquardt(f_obj, grad, hess, x0, gamma_0=0.001, max_iter=50, tol=1e-6):
    """
    Marquardt's algorithm with adaptive γ.
    f_obj: function to MAXIMIZE (positive log-likelihood).
    """
    x = np.array(x0, dtype=float)
    gamma = gamma_0
    f_curr = f_obj(x)

    for k in range(max_iter):
        g = grad(x)                                # gradient
        if np.max(np.abs(g)) < tol:
            break
        H = hess(x)                                # Hessian
        S = np.diag(np.abs(np.diag(H))**(-0.5))    # 스케일 행렬
        M = S @ H @ S + gamma * np.eye(len(x))
        delta = S @ np.linalg.solve(M, S @ g)
        x_new = x - delta

        f_new = f_obj(x_new)
        if f_new > f_curr:
            x = x_new
            f_curr = f_new
            gamma /= 10                            # Newton 쪽으로
        else:
            gamma *= 10                            # Steepest 쪽으로
            if gamma > 1e10:
                break                              # 발산 방지

    return x, k, gamma

10 핵심 요약

§ A.2 한 줄 요약

다변수 최적화는 gradient (식 A.3) 와 Hessian (식 A.4) 를 도구로 사용한다. Steepest Ascent (식 A.5) 는 gradient 방향 + 1D line search — Hessian 불필요하지만 길쭉한 우도에서 지그재그로 수렴 매우 느림. Newton-Raphson 다변수 (식 A.6, ) 는 Hessian 으로 좌표를 정규화한 후 한 step 으로 점프 — 2차 수렴이지만 비싸거나 ill-conditioned 시 위험. Marquardt ( blending) 는 둘의 절충 — 이면 Newton, 면 steepest. Klein Example A.2 의 Weibull (λ, α) MLE 에서 NR 3 step, Steepest 5 step, Marquardt 5 step. 현대 표준은 BFGS / L-BFGS (Hessian 을 gradient 변화로 자동 근사) — optim / scipy.minimize 의 default.

방법 식 정보 요구 수렴 차수 견고성
Steepest Ascent 식 (A.5) (+ 1D line search) 선형 매우 강
Newton-Raphson 식 (A.6) 2 (이차) 약
Marquardt blending 적응 중간-강
BFGS (Quasi-Newton) rank-1 update + Hessian 근사 super-linear 강
5 가지 실무 권고

1. Default 는 BFGS / L-BFGS: 명시적 계산 부담 회피, super-linear 수렴, 양의 정칙 자동 유지. optim / scipy.minimize default.

2. 좋은 시작값이 핵심: Method-of-moments, OLS, profile likelihood 등으로 사전 추정. 시작값에서 최적까지 거리가 멀수록 발산 위험.

3. Step-Halving 안전장치: Newton 의 단순 구현 위험. 값 모니터링 + step 절반 fallback.

4. 비선형 회귀에는 Marquardt (LM): nls(), minpack.lm::nlsLM(), scipy.optimize.least_squares(method='lm'). 작은 표본 / 모형 오설정에서 가장 견고.

5. 수렴 후 검증: 가 음의 정칙 (eigenvalue < 0) 인지 확인. 안 그러면 안장점 또는 local min — 다른 시작값으로 재시도.

11 관련 주제

Klein Appendix A 시리즈

본문 응용

관련 개념

12 참고 문헌

  • Klein, J. P., & Moeschberger, M. L. (2003). Survival Analysis: Techniques for Censored and Truncated Data (2nd ed.). Springer. Appendix A.2.
  • Marquardt, D. W. (1963). An algorithm for least-squares estimation of nonlinear parameters. J. SIAM, 11(2), 431-441. (Marquardt 의 원논문)
  • Levenberg, K. (1944). A method for the solution of certain non-linear problems in least squares. Quart. Appl. Math., 2(2), 164-168. (LM 의 한쪽 역사)
  • Broyden, C. G., Fletcher, R., Goldfarb, D., & Shanno, D. F. (1970년대). BFGS 의 4 명 독립 발견. (Wikipedia 참조)
  • Nocedal, J., & Wright, S. J. (2006). Numerical Optimization (2nd ed.). Springer. (현대 표준 — line search, trust region, BFGS, L-BFGS, conjugate gradient 종합)
  • Press, W. H., Teukolsky, S. A., Vetterling, W. T., & Flannery, B. P. (2007). Numerical Recipes (3rd ed.). Cambridge. (Marquardt, BFGS 의 실용 구현)
  • Thisted, R. A. (1988). Elements of Statistical Computing: Numerical Computation. Chapman and Hall. (Klein 인용 표준 교재)
]]> Statistics Survival Analysis kk3225.netlify.app/docs/blog/posts/Statistics/survival/14-2-multivariate-methods.html Tue, 12 May 2026 15:00:00 GMT Klein Appendix A.1 — Univariate Methods for Maximization Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Statistics/survival/14-1-univariate-methods.html

1 도입 — 단변수 최적화의 위치

Klein 책 본문에서 단변수 최적화가 등장하는 자리:

본문 위치 단변수 모수 비고
Ch.4 — Confidence band 의 critical value 분포함수의 분위수 찾기
Ch.7 — Renyi 검정의 sup statistic 시간 영역 sup 점
Ch.8 — 단일 공변량 Cox PH () 단순 사례
Ch.12 — 단일 분포 모수 (Weibull 만, 알려진 경우) Example A.1
Ch.13 — Frailty EM 의 update M-step 내부
Profile likelihood 일반 profile 모수 다른 모수를 max-out

각각의 경우 score 방정식 의 영점을 찾는 1 차원 문제 로 환원된다. 이는 다변수 최적화 (§ A.2) 의 building block 이기도 하다 — steepest ascent 의 step size 결정, profile likelihood 의 inner loop, line search 모두 1D 영점 찾기를 사용한다.

§ A.1 의 위치

§ A.1 의 세 방법은 단변수 영점 찾기의 표준 도구 이다. 각각의 trade-off:

방법 정보 요구 수렴 차수 견고성 사용 시점
Bisection 부호 만 1 (선형) 매우 강 안전한 시작, 거칠 때
Secant 만 (두 점) 중간 비싼 경우
Newton-Raphson 2 (이차) 약 좋은 시작값 + 빠른 수렴

본 sub-post 는 세 방법의 알고리즘을 의사코드로 정리하고, 수렴 차수의 수학적 유도, 발산 사례, 그리고 Klein 의 Weibull MLE 예제 (Example A.1) 의 step-by-step trace 로 수렴 속도를 비교한다.

2 문제 정의 — Score 영점 찾기

목적 함수 의 최대값을 찾는다:

정칙 조건 ( 가 두 번 미분 가능, 단봉) 하에서 일계 조건:

따라서 의 영점 (root) 을 찾는 문제 로 환원. 이를 위해 다음을 알고 있다고 가정한다:

  • 의 함수 형태 (수치적 또는 해석적 평가 가능)
  • 일부 방법에서는 도 평가 가능
영점 = 최대값? — 검증 필수

세 방법 모두 의 해를 찾을 뿐, 그 해가 최대인지 최소인지 변곡점인지 알지 못한다. 우도 함수가 단봉이면 안전하지만, 그렇지 않으면 다음을 점검:

  1. (음의 정칙) 확인
  2. 인접한 두 점의 값 비교
  3. 다른 시작값으로 재시도해 같은 해 도달

특히 frailty 모수 처럼 모수 공간 경계 () 에 가까운 경우, score 영점이 경계에 있을 수 있어 일반 정칙 이론이 약하다.

3 § A.1.1 Bisection — 가장 견고한 방법

3.1 알고리즘

의 영점이 구간 안에 있다는 정보가 있다고 가정 — 양 끝의 부호가 다름:

(중간값 정리에 의해 가 연속이면 그 사이에 적어도 하나의 영점 존재.)

3.1.1 의사코드

INPUT: f', x_L, x_U (with f'(x_L)·f'(x_U) < 0), tol
WHILE (x_U - x_L) > tol:
    x_N ← (x_L + x_U) / 2
    fp_N ← f'(x_N)
    IF f'(x_L) · fp_N > 0:        # 영점이 [x_N, x_U] 에 있음
        x_L ← x_N
    ELSE:                          # 영점이 [x_L, x_N] 에 있음
        x_U ← x_N
RETURN (x_L + x_U) / 2
직관 — 매 step 절반씩 좁힘

각 step 에서 구간 길이가 정확히 절반으로 줄어든다. step 후 길이:

따라서 정확도 도달까지:

예: 초기 폭 1.0, 정확도 원하면 step 필요. 원하면 step.

이는 선형 수렴 (linear convergence) — 매 step 정확도가 일정 비율 (1/2) 로 줄어든다.

3.2 수렴 보장과 견고성

Bisection 의 강점 — 수렴 보장

중간값 정리 가 보장: 가 에서 연속이고 양 끝 부호가 다르면 그 사이에 적어도 한 영점이 존재. Bisection 은 그 영점을 반드시 찾는다.

따라서 함수의 모양과 무관하게 수렴 보장. 다른 방법이 발산하거나 잘못된 방향으로 갈 수 있는 험한 함수 (잡음, 평탄 영역, 다봉) 에서도 안전하게 작동.

비유: 산속에서 길을 잃었을 때 나침반 (bisection) 만으로 천천히 가지만 반드시 도착. 빠른 차 (Newton) 는 길이 좋을 때만 빠르고, 길이 나쁘면 멈추거나 절벽으로 갈 수 있음.

비용: 선형 수렴은 다른 방법 (super-linear, quadratic) 보다 느리다. 그러나 수렴 보장은 매우 큰 가치.

3.3 한계

한계 설명
초기 구간 필요 와 의 부호가 달라야. 우도 함수 score 의 부호를 사전에 알기 어려운 경우 있음
다중 영점 구간 안에 영점이 여러 개면 그중 하나만 찾음 (어느 것일지 예측 불가)
미분 불가 / 불연속 중간값 정리가 깨지면 작동 안 함 — 우도가 PMF 같은 이산 함수면 부적합
선형 수렴 → 정밀도 위해 40+ step. Newton 의 quadratic 보다 훨씬 많음

3.4 사용 시점

  • 초기값 정보 부실: Newton-Raphson 의 시작값을 잘 모르는 경우 bisection 으로 거친 영역 좁힘.
  • 함수가 거칠다: 우도 함수에 잡음·미분 불가 점이 있을 때.
  • 하이브리드 알고리즘의 안전장치: Brent’s method 가 secant + bisection 결합으로 양쪽 장점 취함.

4 § A.1.2 Secant Method — 식 (A.1)

4.1 알고리즘

두 초기값 에서 시작 (영점을 사이에 둘 필요 없음, 자유). 각 step 에서:

4.1.1 의사코드

INPUT: f', x_0, x_1, tol
fp_0 ← f'(x_0)
fp_1 ← f'(x_1)
WHILE |fp_1| > tol:
    x_new ← x_1 - fp_1 · (x_1 - x_0) / (fp_1 - fp_0)
    x_0 ← x_1
    fp_0 ← fp_1
    x_1 ← x_new
    fp_1 ← f'(x_1)
RETURN x_1

(정지 기준은 외에 또는 등 사용 가능.)

직관 — 할선 (Secant) 의 영점

의 두 점 , 을 잇는 직선 (할선, secant line) 을 그린다. 이 할선의 방정식:

이 직선의 -intercept ( 점) 가 다음 후보:

이게 식 (A.1).

아이디어: 가 부드러운 곡선이면 두 점 사이에서 거의 직선에 가깝다. 그 직선 근사로 영점을 추정 → 빠르게 수렴.

4.2 수렴 차수 — 황금 비율 의 등장

의 유도

오차 를 정의. Taylor 전개로 (자세한 유도는 Numerical Recipes Ch.9 참조):

오차 점화식 에서 차수 를 찾는다. 가정 면:

에서 대입:

이 식이 무관하려면 지수 , 즉:

황금 비율 이 자연스럽게 등장 — 피보나치 점화식 와 같은 구조 ( 가 직전 두 항의 곱) 에서 가 나오는 것은 같은 수학적 원리.

4.3 Secant 의 장단점

측면 Bisection Secant Newton-Raphson
수렴 차수 1 (선형) 2 (이차)
정보 요구 만 만 (두 점)
초기값 부호 다른 두 점 두 점 (자유) 한 점
견고성 매우 강 중간 약
Secant 의 결정적 장점 — 불필요

Newton-Raphson 보다 약간 느리지만 (), 2 차 도함수 계산이 불필요 하다는 점이 결정적 장점이다.

왜 중요한가:

  • Cox 부분우도의 는 위험집합의 가중 공분산 — 큰 데이터에서 매 step 비용.
  • Frailty marginal 우도의 는 digamma 함수의 도함수 (trigamma) 등 복잡 함수.
  • 일반화 감마의 는 표현식이 매우 복잡.

이런 경우 Newton 의 quadratic 수렴 (2 step) 이 secant 의 super-linear (3-4 step) 보다 느릴 수 있다 — Hessian 한 번 계산 비용이 secant step 두 번보다 큼.

Quasi-Newton 의 다변수 일반화 (BFGS 등) 는 secant 의 다변수 버전 — Hessian 을 score 변화로 근사.

4.4 발산 사례

Secant 가 실패하는 경우

1. : 분모 가 0 에 가까워 step 이 폭발. 평탄 영역에서 발생.

2. 부호 변화: 변곡점 부근에서 할선 근사가 부정확 → 잘못된 방향으로 점프.

3. 다중 영점: 두 시작값이 다른 영점 사이에 있으면 어느 영점에 수렴할지 예측 불가.

대처: - 정지 기준에 추가 (모수 변화도 점검). - 분모 절댓값이 임계 이하면 bisection 으로 fallback. - 함수 값 모니터링 — 위반 시 반대 방향으로 이동 안 함.

5 § A.1.3 Newton-Raphson — 식 (A.2)

5.1 알고리즘

단일 초기값 에서 시작:

5.1.1 의사코드

INPUT: f', f'', x_0, tol
x ← x_0
fp ← f'(x)
WHILE |fp| > tol:
    fpp ← f''(x)
    IF fpp ≈ 0:
        ABORT (수치 불안정)
    x ← x - fp / fpp
    fp ← f'(x)
RETURN x
직관 — Taylor 1차 근사 = 접선

근처에서 의 1 차 Taylor 근사:

이는 의 그래프에 점 에서 접선을 그은 것 (기울기 = ).

이 접선의 -intercept () 를 풀면:

이게 식 (A.2). 즉 의 접선의 영점 을 다음 후보로 삼는다.

Secant 와 비교: - Secant: 두 점을 잇는 할선의 영점. 두 점 사이의 평균 기울기 사용. - Newton: 한 점에서 그은 접선의 영점. 그 점의 정확한 기울기 () 사용.

따라서 Newton 이 더 정확한 1차 근사 → 더 빠른 수렴.

5.2 수렴 차수 — 2차 (Quadratic) 의 유도

Quadratic 수렴 유도

영점 근처에서 . Taylor 전개:

여기서 .

Newton 갱신 에서:

따라서:

오차가 매 step 제곱 된다. 정확도 변화:

Step 오차
0
1
2
3 (기계 정밀도 도달)

3 step 만에 16 자리 정밀도. 이것이 Newton 의 폭발적 가속의 원천.

5.3 발산 사례 — Newton 의 약점

Newton-Raphson 이 실패하는 경우

1. — 접선이 거의 수평: Step 크기가 폭발. 변곡점 근처에서 발생.

2. Overshoot — 접선이 영점을 너무 멀리 가리킴: 가 크면 새 점이 영점 반대편 멀리 점프. 그 새 점에서 또 잘못된 방향 → 발산.

3. 잘못된 방향 — 값 감소: 면 최대화에 반대 방향 진행. Newton 식은 root 를 찾을 뿐, 값의 증가를 보장 안 함.

4. 다중 영점에서의 cycle: 시작값에 따라 두 영점 사이를 왔다갔다하는 cycle 가능 (드뭄).

대처 — Step Halving:

검출 시 step 크기 절반:

다시 안 되면 또 절반 (, , …). 이는 SAS Cox 회귀의 표준 안전장치이다.

대안 — Levenberg-Marquardt (다변수): 에 작은 양의 상수를 더해 안정화. 다변수 최적화의 표준 (§ A.2 참조).

5.4 Newton-Raphson 의 사용 시점

조건 Newton 이 적합
좋은 초기값 (영점 근처) O — 빠른 quadratic 수렴
평가 가능·저렴 O — Hessian 정보 활용
함수 부드러움 (, 단봉) O — Taylor 근사 정확
단일 영점 O — 다중 영점 cycle 회피

6 세 방법의 비교 — 정량적

step 후 정확도

초기 오차 이라고 하자. 각 방법의 step 후 오차:

Step Bisection () Secant () Newton ()
0
1
2
3
4

Newton 의 압도적 우위: 4 step 만에 기계 정밀도 도달. Bisection 은 같은 정밀도까지 약 50 step 필요.

Secant 도 매우 빠름: 4 step 으로 수준 — 실용적으로 Newton 과 큰 차이 없음.

그러나 Newton 의 한 step 비용이 Secant 보다 클 수 있다 ( 계산). 따라서 한 step 의 wallclock 시간을 비교하면 Secant 가 유리할 수 있다 — 특히 Hessian 비싼 우도에서.

7 Example A.1 — Weibull 단모수 MLE

7.1 데이터와 모형

10 개 비검열 관측 (단순화된 생존시간):

t = (2.57, 0.58, 0.82, 1.02, 0.78, 0.46, 1.04, 0.43, 0.69, 1.37)

, .

진짜 분포: Weibull, 고정, 만 추정. 생존함수 , 위험률 .

7.1.1 Log-likelihood, Score, Hessian

for all → 우도가 단봉, 어떤 영점이든 최대.

7.2 Bisection — 8 step Trace (Klein 본문 표)

초기 구간 . 정지 기준 .

Step
1 1.5 2.0 1.75 1.798
2 1.5 1.75 1.625 1.798 0.697
3 1.625 1.75 1.6875 0.697 0.154
4 1.6875 1.75 1.71875 0.154
5 1.6875 1.71875 1.70313 0.154 0.019
6 1.70313 1.71875 1.71094 0.019
7 1.70313 1.71094 1.70704 0.019
8 1.70313 1.70704 1.70509 0.019 0.002

8 step 후 . 충족.

Trace 의 패턴
  • 구간 길이: 0.5 → 0.25 → 0.125 → … → 0.0039 (정확히 절반씩).
  • 부호 변동: 매 step 에서 새 중점의 부호가 한쪽 끝과 일치하면 다른 끝을 그 중점으로 대체. step 1 의 (음수) 이 (음수) 와 같은 부호 → .
  • 수렴 패턴: 안정적, 진동 없음. 매 step 정확히 절반의 진전.

8 step 으로 정밀도 도달 — 정지 기준 부합.

7.3 Secant Method — 2 step Trace

초기값 . 같은 정지 기준.

Step
1 1.0 1.5 7.065 1.798 1.671 0.300
2 1.5 1.671 1.798 0.300 1.705 0.004

2 step 후 . 충족.

식 (A.1) 의 직접 적용

Step 1: .

Step 2: .

Bisection 8 step → Secant 2 step: 동일 정밀도 도달에 4 배 빠름.

7.4 Newton-Raphson — 2 step Trace

초기값 . , .

Step
1 1.5 1.798 1.701 0.038
2 1.701 0.038 1.705

2 step 후 .

Newton 의 한 step 의 정확도

Step 1: . 첫 step 만에 정답에 매우 가까움 ( vs , 차이 ).

Secant 의 첫 step 결과는 — Newton 보다 더 멀다. Newton 의 정확한 곡률 정보 () 가 첫 step 부터 더 좋은 추정을 만든다.

그러나 같은 2 step 으로 Secant 도 도달. 정지 기준이 로 너그러우면 두 방법 동등.

만약 같은 엄격한 기준이면: - Newton: 3-4 step 으로 도달 (quadratic). - Secant: 5-6 step 필요 (super-linear ).

차이가 점점 벌어진다. 그러나 어느 쪽이든 Bisection (선형) 보다 압도적.

7.5 세 방법 종합 비교

방법 Step 마지막 비고
Bisection 8 1.705 0.002 견고하지만 느림
Secant 2 1.705 0.004 빠르고 불필요
Newton-Raphson 2 1.705 가장 빠르고 정확
같은 답, 다른 길

세 방법 모두 같은 에 수렴. 단순한 1D 단봉 우도라 어느 방법이든 OK. 실제 차이:

  • Step 수: 8 → 2 → 2.
  • 마지막 값: 0.002 → 0.004 → (Newton 이 가장 정확).
  • Computation:
    • Bisection: 8 회 평가.
    • Secant: 3 회 평가 (초기 2 + 매 step 1 추가).
    • Newton: 2 회 + 2 회 평가.

만약 가 의 5 배 비용이면 Newton 의 총 비용은 vs Secant 의 3 — Secant 가 더 빠르다.

결론: 한 step 의 wallclock 가 아닌 step 수만 보면 Newton 우위. 비용까지 고려하면 함수 의존. 일반 가이드: Newton 시도 → 발산 시 Secant 또는 Bisection 으로 fallback.

8 Brent’s Method — 결합 알고리즘 (Klein 미언급)

표준 라이브러리의 default

Klein 본문은 세 방법을 별도로 다루지만, 실제 통계 패키지의 default 는 Brent’s method (1973) — 세 방법의 장점을 결합.

알고리즘: 1. Bisection 으로 초기 구간 좁힘 (안전). 2. 영점 근처에서 inverse quadratic interpolation (3 점의 2 차 근사) 시도. 3. Inverse quadratic 이 실패하면 secant. 4. Secant 도 실패하면 bisection. 5. 매 step 진행도 검증 — bisection 보다 못하면 fallback.

보장: 항상 수렴 (bisection 의 견고성). 그리고 함수가 부드러우면 super-linear 수렴 (secant + quadratic).

구현: - Python: scipy.optimize.brentq, scipy.optimize.brent - R: uniroot(), optimize() - C: GSL gsl_root_fsolver_brent

실무 권고: 직접 Newton 구현보다 라이브러리의 Brent 호출이 안전. 단변수 영점 / 최적화는 거의 항상 Brent 가 최적.

9 코드 예시

9.1 Step 1 — Python: scipy 의 통합 API

import numpy as np
from scipy.optimize import brentq, newton, minimize_scalar

# Example A.1 데이터
t = np.array([2.57, 0.58, 0.82, 1.02, 0.78, 0.46, 1.04, 0.43, 0.69, 1.37])
n = len(t)

# Score 와 Hessian
def score(alpha):
    return n / alpha + np.sum(np.log(t)) - np.sum(t**alpha * np.log(t))

def hessian(alpha):
    return -n / alpha**2 - np.sum(t**alpha * (np.log(t))**2)

# 1. Bisection (scipy.optimize.brentq — 사실은 Brent's method)
alpha_b = brentq(score, a=1.0, b=2.0, xtol=1e-6)
print(f"Brent: α̂ = {alpha_b:.6f}")

# 2. Newton-Raphson (직접)
alpha_n = newton(score, x0=1.5, fprime=hessian, tol=1e-6, maxiter=20)
print(f"Newton: α̂ = {alpha_n:.6f}")

# 3. Secant (scipy.optimize.newton with fprime=None — secant 으로 fallback)
alpha_s = newton(score, x0=1.0, x1=1.5, tol=1e-6, maxiter=20)
print(f"Secant: α̂ = {alpha_s:.6f}")

# 4. minimize_scalar — log-likelihood 최대화 (음의 lik 최소화)
def neg_loglik(alpha):
    return -(n*np.log(alpha) + (alpha-1)*np.sum(np.log(t)) - np.sum(t**alpha))

res = minimize_scalar(neg_loglik, bracket=(0.5, 3.0), method='brent')
print(f"minimize_scalar: α̂ = {res.x:.6f}, iterations = {res.nit}")

9.2 Step 2 — R: uniroot / optimize

# Example A.1 데이터
t <- c(2.57, 0.58, 0.82, 1.02, 0.78, 0.46, 1.04, 0.43, 0.69, 1.37)
n <- length(t)

# Score function
score <- function(alpha) n/alpha + sum(log(t)) - sum(t^alpha * log(t))

# 1. uniroot (Brent's method — score 의 영점)
res_uniroot <- uniroot(score, interval = c(0.5, 3.0), tol = 1e-6)
cat("uniroot: α̂ =", res_uniroot$root,
    ", iterations =", res_uniroot$iter, "\n")

# 2. optimize (single-variable function maximization)
loglik <- function(alpha) {
  n*log(alpha) + (alpha-1)*sum(log(t)) - sum(t^alpha)
}
res_opt <- optimize(loglik, interval = c(0.5, 3.0), maximum = TRUE, tol = 1e-6)
cat("optimize: α̂ =", res_opt$maximum, "\n")

9.3 Step 3 — 직접 구현 (학습용)

# Bisection 직접 구현 — 식 (A.2)
def bisection(f, x_L, x_U, tol=1e-4, max_iter=50):
    fp_L = f(x_L); fp_U = f(x_U)
    assert fp_L * fp_U < 0, "양 끝의 부호가 같음"
    for k in range(max_iter):
        x_N = (x_L + x_U) / 2
        fp_N = f(x_N)
        if abs(fp_N) < tol or (x_U - x_L) < tol:
            return x_N, k
        if fp_L * fp_N > 0:
            x_L, fp_L = x_N, fp_N
        else:
            x_U, fp_U = x_N, fp_N
    return (x_L + x_U) / 2, max_iter

# Secant 직접 구현 — 식 (A.1)
def secant(f, x0, x1, tol=1e-4, max_iter=50):
    fp0 = f(x0); fp1 = f(x1)
    for k in range(max_iter):
        if abs(fp1) < tol:
            return x1, k
        if abs(fp1 - fp0) < 1e-12:
            return x1, k  # 분모 0 방지
        x_new = x1 - fp1 * (x1 - x0) / (fp1 - fp0)
        x0, fp0 = x1, fp1
        x1 = x_new
        fp1 = f(x1)
    return x1, max_iter

# Newton-Raphson 직접 구현 — 식 (A.2) + step-halving
def newton_safe(f, fp, x0, tol=1e-4, max_iter=50, f_obj=None):
    x = x0
    for k in range(max_iter):
        fx = f(x)
        if abs(fx) < tol:
            return x, k
        fpx = fp(x)
        if abs(fpx) < 1e-12:
            return x, k  # f'' = 0 방지
        step = fx / fpx
        x_new = x - step
        # step-halving: f_obj 가 감소하면 step 줄임
        if f_obj is not None:
            while f_obj(x_new) < f_obj(x) and abs(step) > 1e-10:
                step /= 2
                x_new = x - step
        x = x_new
    return x, max_iter

# Example A.1 적용
alpha_b, k_b = bisection(score, 1.5, 2.0)
alpha_s, k_s = secant(score, 1.0, 1.5)
alpha_n, k_n = newton_safe(score, hessian, 1.5)
print(f"Bisection: α̂={alpha_b:.4f}, iters={k_b}")
print(f"Secant:    α̂={alpha_s:.4f}, iters={k_s}")
print(f"Newton:    α̂={alpha_n:.4f}, iters={k_n}")

10 핵심 요약

§ A.1 한 줄 요약

단변수 score 영점 찾기는 Bisection (절반씩 좁힘, 선형 수렴 , 매우 견고하지만 느림), Secant (식 A.1, 할선의 영점, 황금비 차 수렴, 불필요), Newton-Raphson (식 A.2, 접선의 영점, 2차 수렴 , 초기값 의존) 의 세 방법이 표준이다. Klein 의 Weibull α MLE 예제 (10 obs, ) 에서 bisection 8 step, secant·Newton 모두 2 step. 실무에서는 라이브러리의 Brent’s method (scipy.brentq, R uniroot) 가 세 방법을 결합한 안전한 default 이다.

방법 식 수렴 차수 정보 요구 견고성 Example A.1 step
Bisection 절반씩 좁힘 1 (선형) 부호만 매우 강 8
Secant 식 (A.1) (두 점) 중간 2
Newton-Raphson 식 (A.2) 2 (이차) 약 2
5 가지 실무 권고

1. 라이브러리 우선: 직접 Newton 구현보다 scipy.brentq 또는 R uniroot (Brent’s method) 가 안전. 발산·cycle 의 사전 처리 포함.

2. 좋은 시작값이 가장 중요: Newton 의 quadratic 수렴은 시작값이 영점 근처일 때만. Method-of-moments 등으로 사전 추정.

3. 단봉 검증: 이 모든 영역에서 성립하는지 (또는 적어도 영점 근처에서). 단봉 아니면 다른 시작값으로 다중 영점 점검.

4. 정지 기준 다중: + 둘 다 점검. 한 가지만 보면 가짜 수렴 가능.

5. Step-halving 으로 발산 방지: Newton 의 단순 구현은 위험. 값 모니터링 + step 절반 fallback 추가.

11 관련 주제

Klein Appendix A 시리즈

본문 응용

관련 개념

12 참고 문헌

  • Klein, J. P., & Moeschberger, M. L. (2003). Survival Analysis: Techniques for Censored and Truncated Data (2nd ed.). Springer. Appendix A.1.
  • Brent, R. P. (1973). Algorithms for Minimization without Derivatives. Prentice-Hall. (Brent’s method 의 원전)
  • Press, W. H., Teukolsky, S. A., Vetterling, W. T., & Flannery, B. P. (2007). Numerical Recipes (3rd ed.). Cambridge. (Bisection, Secant, Newton, Brent 의 실용 구현 + 수렴 차수 유도)
  • Thisted, R. A. (1988). Elements of Statistical Computing: Numerical Computation. Chapman and Hall. (Klein 인용 표준 교재)
  • Nocedal, J., & Wright, S. J. (2006). Numerical Optimization (2nd ed.). Springer. (현대 표준, line search + trust region 포괄)
]]> Statistics Survival Analysis kk3225.netlify.app/docs/blog/posts/Statistics/survival/14-1-univariate-methods.html Mon, 11 May 2026 15:00:00 GMT Klein Appendix A — Numerical Techniques for Maximization Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Statistics/survival/14-klein-appendix-a-numerical.html

1 도입 — 왜 수치 최적화인가

Klein 책의 본문 (Ch.1-13) 에서 나온 추정 절차의 거의 전부가 다음 한 가지 문제로 환원된다:

본문 위치 추정 대상 우도/score 형태
Ch.8 Cox PH 부분우도
Ch.10 Aalen 가산 시점별 OLS (closed-form 있음)
Ch.10 Lin-Ying (closed-form)
Ch.12 모수 회귀 (Weibull, LL, LN) full 우도
Ch.13 Gamma frailty EM E + M step
Ch.13 Marginal model 일반 Cox + sandwich

이 중 closed-form 이 있는 것은 Aalen, Lin-Ying 두 가지뿐. 나머지 — Cox 부분우도, 모수 회귀 MLE, frailty EM 의 M-step, 일반화 감마, 시간의존 공변량 — 는 모두 반복적 수치 최적화 에 의존한다.

왜 closed-form 이 거의 없는가

생존분석의 우도는 거의 항상 다음 두 인자를 포함한다:

  1. 검열 (censoring): 사건 관찰자는 밀도 , 검열자는 생존함수 로 우도에 들어가 형태. 이 곱 우도는 에 대한 비선형 함수.
  2. 위험집합 합 (risk set sum): Cox 부분우도, frailty marginal 우도 모두 형태가 들어가 의 비선형 함수.

이 두 비선형성이 합쳐져 score 방정식 의 닫힌 해가 거의 존재하지 않는다. 따라서 score 의 영점을 수치적으로 찾는 것 이 표준 절차이다.

부록 A 는 이 “score 영점 찾기” 의 표준 도구 6 개 (단변수 3 + 다변수 3) 를 제시한다.

본 포스트는 § A.1 단변수 방법과 § A.2 다변수 방법의 알고리즘과 직관, Klein 의 Weibull MLE 두 예제로 본 수렴 비교, 그리고 생존분석 본문에서의 실제 응용을 정리한다.

2 § A.1 Univariate Methods — 단변수 score 영점 찾기

2.1 문제 정의

의 1차원 최대값을 찾는다. 정칙 조건 ( 미분 가능, 단봉) 하에서:

따라서 score 함수 의 영점 (root) 을 찾는 문제 로 환원된다. Klein 은 세 가지 방법을 제시한다.

모든 방법은 score 의 영점만 찾는다 — 최대인지 검증 필수

세 방법 모두 의 해를 찾을 뿐, 그 해가 최대인지 최소인지 변곡점인지 알지 못한다.

수렴 후 반드시 (단변수의 음의 정칙) 을 확인하거나, 또는 인접한 두 점에서 값을 비교해 진짜 최대값임을 검증해야 한다. 우도 함수가 다봉형이면 여러 다른 시작값으로 시도해 전역 최대를 보장한다.

2.2 Bisection 이분법 — 가장 견고한 시작점

2.2.1 알고리즘

의 영점이 구간 에 있다는 정보가 있다고 가정 (, 즉 양 끝의 score 가 부호가 다름).

While (x_U - x_L) > tol:
    x_N = (x_L + x_U) / 2          # 중점
    if f'(x_L) * f'(x_N) > 0:
        x_L ← x_N                   # 해가 [x_N, x_U]
    else:
        x_U ← x_N                   # 해가 [x_L, x_N]
직관 — 절반씩 좁혀가는 보장된 수렴

각 step 에서 구간 길이가 정확히 절반으로 줄어든다 → step 후 길이는 초기의 . 따라서 step 으로 무조건 수렴.

장점: 초기 구간만 잡으면 반드시 수렴 한다. 함수 모양 무관.

단점: 수렴 속도가 선형 ( step 에 정확도 ). 다른 방법이 가능하면 더 빠른 것을 선택.

사용 시점: 초기값 정보가 부실하거나 함수가 거칠 때의 안전 시작.

2.3 Secant Method 할선법 — 식 (A.1)

2.3.1 알고리즘

두 초기값 에서 시작 (영점을 사이에 두지 않아도 OK). 각 step:

직관 — 할선의 영점

의 영점을 찾는 데 자체의 두 점 , 을 잇는 직선 (할선, secant) 의 절편을 다음 후보로 삼는다.

이는 가 거의 직선 이라는 가정 하에서 합리적이다. 실제 가 곡선이어도 두 점이 충분히 가까우면 직선 근사가 좋다.

수렴 차수: 황금 비율 — bisection (선형, 1) 보다 빠르고 Newton (2) 보다 느림. 그러나 2차 도함수 계산이 불필요 하다는 결정적 장점.

사용 시점: 가 복잡하거나 계산 비용이 큰 경우. Cox 부분우도의 Hessian 처럼 비용이 큰 경우 secant 가 유리.

2.4 Newton-Raphson 방법 — 식 (A.2)

2.4.1 알고리즘

단일 초기값 에서 시작:

직관 — Taylor 1차 근사

근처에서 의 1차 Taylor 근사: . 이 근사를 0 으로 놓고 에 대해 풀면:

이게 식 (A.2). 즉 의 접선 의 절편을 다음 추정값으로.

수렴 차수: 2 차 (quadratic) — 매 step 에서 정확도가 거의 제곱된다. 정확도 의 폭발적 가속.

장점: 초기값이 좋으면 매우 빠름. Cox/MLE 의 표준 알고리즘.

단점: - 초기값이 나쁘면 발산 또는 잘못된 영점으로 수렴 가능. - 계산 비용이 큰 경우 (예: 다변수 Hessian) 부담. - 가 0 에 가까우면 step 이 폭발 (수치 불안정).

사용 시점: 좋은 초기값 + 계산 가능 + 빠른 수렴 원할 때.

2.5 세 방법 비교 — 식 (A.1), (A.2)

방법 정보 요구 초기값 수렴 차수 견고성
Bisection 만 부호 다른 두 점 1 (선형) 매우 강
Secant 만 두 점 (자유) 중간
Newton-Raphson 한 점 2 (이차) 약 (초기값 의존)
실무 권고 — 세 방법의 결합

Klein 도 명시하지 않은 결합 패턴이 표준 실무이다:

1 단계 — Bisection 으로 초기 구간 좁히기: 거친 단계에서 견고한 bisection 으로 영점 부근 찾기 (예: 2-3 step 만).

2 단계 — Newton-Raphson 으로 마무리: 영점 근처에서 빠른 2차 수렴.

이 결합이 R 의 uniroot(), Python scipy.optimize.brentq 등의 내부 알고리즘이다 (Brent’s method = bisection + secant + inverse quadratic 의 결합).

따라서 직접 구현 시는 보통 Newton-Raphson 만 써도 충분 (좋은 초기값 + safeguard) 하지만, 라이브러리는 결합 알고리즘을 사용해 양쪽 장점을 취한다.

2.6 Example A.1 — Weibull 단모수 MLE

2.6.1 데이터

10 개의 비검열 관측 (단순화된 생존시간):

2.57, 0.58, 0.82, 1.02, 0.78, 0.46, 1.04, 0.43, 0.69, 1.37

진짜 모형: 고정 의 Weibull, . 형상 모수 만 추정.

2.6.2 우도와 score

2.6.3 세 방법 적용 — Klein 본문 결과

방법 시작값 수렴 step
Bisection 8 1.705
Secant 2 1.705
Newton-Raphson 2 1.705

(정지 기준: .)

Example A.1 의 교훈

세 방법 모두 같은 답 () 에 수렴 — 단일 단봉 우도라 어떤 방법이든 OK.

수렴 속도 비교:

  • Bisection: 8 step (선형 수렴, 매 step 절반)
  • Secant: 2 step (sub-quadratic, 두 step 만에 거의 정확)
  • Newton-Raphson: 2 step (quadratic, 같은 2 step 이지만 더 정확한 끝값)

Newton-Raphson 의 첫 step: . Secant 의 첫 step () 보다 정답에 더 가까움. 2차 수렴의 위력.

이 예제는 모수 1 개라 Newton-Raphson 의 약점 (Hessian 비용) 이 거의 무. 실제 생존분석 모형은 모수 가 흔하므로 Hessian 의 행렬 역수가 부담이 된다 — 그래서 § A.2 다변수 방법이 등장.

3 § A.2 Multivariate Methods — 다변수 score 영점 찾기

3.1 표기

의 -차원 최대값을 찾는다. 다음 두 양이 핵심.

Gradient (1차 도함수 벡터):

Hessian (2차 도함수 행렬):

직관 — 그래디언트는 “가장 가파른 오르막”

는 점 에서 가 가장 빠르게 증가하는 방향을 가리키는 단위 벡터에 그 비율을 곱한 것이다 (단, normalize 안 한 형태). 영점 인 점 가 임계점.

Hessian 는 그 점의 곡률 (curvature). 가 음의 정칙 (negative definite) 이면 그 임계점이 최대.

다변수 score 영점 찾기는 단변수와 비슷하지만 방향 + 보폭 을 둘 다 결정해야 한다. 세 방법은 이 결정 방식이 다르다.

3.2 Steepest Ascent — 식 (A.5)

3.2.1 알고리즘

각 step 에서 그래디언트 방향으로 직선 탐색:

여기서 는 그 방향에서 를 최대화하는 step size (1D 최적화 — bisection/Newton 등으로 1 차원 풀이).

직관 — “현재 점에서 가장 가파른 방향” 만 사용

Hessian 정보를 안 쓴다 — gradient 만 보고 그 방향으로 1D 최적화. 따라서:

장점: Hessian 불필요. 초기값 견고 (수렴 보장).

단점: 수렴 매우 느림. 길쭉한 우도 함수 (한 축의 곡률이 다른 축보다 크게 다름) 에서 지그재그로 진동하며 천천히 수렴.

사용 시점: 초기값이 매우 나쁠 때의 첫 몇 step 만. 또는 Hessian 계산이 불가능할 때 (예: 비미분 함수의 근사).

3.3 Newton-Raphson 다변수 — 식 (A.6)

3.3.1 알고리즘

직관 — 단변수의 직접 일반화

단변수 식 (A.2) 에서 로 대체. Hessian 의 역수가 곡률 보정 역할.

또한 식 (A.6) 의 가 Hessian-orthogonal 좌표계에서의 steepest ascent 와 같다. 즉 Hessian 으로 좌표를 정규화한 후 steepest ascent 를 적용한 것과 동치. 이는 길쭉한 우도 함수의 지그재그 문제를 자동 해결.

수렴 차수: 2 차 (quadratic). 영점 부근에서 매우 빠름.

단점 (단변수와 같음): - 초기값이 나쁘면 발산 또는 잘못된 방향. - 가 singular 또는 ill-conditioned 면 수치 불안정. - Hessian 행렬 역수 비용 () — 클 때 부담.

대처: (잘못된 방향) 이 검출되면 step 크기를 절반으로 줄임 () — SAS 와 BMDP 의 Cox 회귀가 이 방식 사용.

3.4 Marquardt’s Method — Steepest Ascent 와 Newton-Raphson 의 절충

3.4.1 알고리즘

를 대각 스케일 행렬 (). 을 blending 상수.

직관 — 가 두 방법을 잇는 다이얼
  • : 만 남아 정규화된 Newton-Raphson.
  • : 분모의 가 지배 → → steepest ascent (Hessian 영향 사라짐).

적응 절차:

  1. 작은 로 시작 (예: ).
  2. 한 step 후 면 OK, 다음 step.
  3. 면 (방향 잘못됨) 를 10 배 늘려 재시도.
  4. 수렴 직전 마지막 step 은 (순수 Newton-Raphson) 으로 정확 마무리.

Marquardt (1963) 의 핵심 통찰: 초기에는 Hessian 정보가 부정확할 수 있으므로 ( 가 양의 정칙일 수도) steepest ascent 쪽에 가깝게, 영점 근처에서는 Newton-Raphson 의 빠른 수렴 활용.

비유: 처음에는 안전 운전 (steepest ascent), 도착지 가까워지면 액셀 (Newton-Raphson). 비선형 회귀 (nls() in R) 의 default 알고리즘.

3.5 수렴 판정 — 4 가지 기준

다변수 최적화의 수렴 여부 결정은 다음 중 하나 (또는 조합) 로:

  1. 함수값 변화: 또는 상대 변화 .
  2. 그래디언트 노름: 또는 .
  3. 모수 변화: 또는 .
  4. 반복 한계: — 발산 방지 안전장치.
어느 기준이 좋은가

그래디언트 기준: 이론적으로 가장 정직 ( 이 최적성 조건). 그러나 의 척도가 모수 차원마다 달라 단일 으로 설정하기 까다로움.

모수 변화 기준: 직관적이지만 평탄한 우도에서 가짜 수렴 가능 (step 이 작아져도 진짜 최적이 아닐 수 있음).

함수값 변화 기준: 가장 흔히 사용. 우도가 거의 안 변한다 = 사실상 수렴.

실무: 함수값 + 그래디언트 둘 다 점검. 상대 변화 또는 권장.

3.6 Example A.2 — Weibull 두 모수 MLE

같은 10 개 데이터로 의 두 모수 추정. 시작값 ( 의 method-of-moments 추정).

3.6.1 Score 와 Hessian

3.6.2 세 방법 비교 — Klein 본문 결과

방법 수렴 step
Steepest ascent 5
Newton-Raphson 3
Marquardt () (~3-4) 수렴
Example A.2 의 교훈

Newton-Raphson 의 우월성: 단 3 step 으로 수렴 — Hessian 정보를 활용해 직접 영점으로 점프.

Steepest ascent 의 지그재그: 5 step 필요. 자세히 보면:

Step 0: λ=1.024, α=1.000  →  α 방향으로 큰 step (u_α=7.035)
Step 1: λ=1.025, α=1.693  →  λ 방향으로 step (u_λ=0.661)
Step 2: λ=0.865, α=1.694  →  α 방향 보정
Step 3: λ=0.865, α=1.777
Step 4: λ=0.839, α=1.777
Step 5: λ=0.839, α=1.792 (수렴)

각 step 이 한 모수씩 번갈아 큰 변화 — 우도 표면이 길쭉할 때 steepest ascent 의 전형적 비효율 패턴.

Marquardt 의 절충: 초기 step 은 steepest 쪽 (안전), 후반은 Newton 쪽 (빠름). 실무 default.

Newton-Raphson 의 미세 차이: 같은 데이터에 steepest 가 Newton 이 으로 약간 다름 — 수렴 정밀도 차이 (모두 까지만 풀어 정확한 최적값에 충분히 가까이는 안 옴). 을 더 작게 하면 일치한다.

4 생존분석에서의 응용 — 수치 최적화가 어디에 등장하는가

Cox 부분우도 (Ch.8)

문제: . 이라 다변수.

Score: . ( 는 위험집합 가중 평균.)

Hessian: . (위험집합의 가중 공분산.)

알고리즘: Newton-Raphson (식 A.6). R coxph() 의 표준. 수렴 보통 4-7 iteration.

모수 회귀 MLE (Ch.12)

문제: — Weibull, log-logistic, log-normal 등.

모수 수: (intercept + scale + 회귀 계수).

알고리즘: Newton-Raphson 또는 quasi-Newton. R survreg() 의 표준. 시작값을 OLS 등으로 보강하면 수렴 안정.

Frailty EM M-step (Ch.13)

문제: M-step 에서 를 known offset 으로 둔 Cox partial likelihood 최대화 (식 13.3.7) + 의 1D 최대화.

알고리즘: - 업데이트: 다변수 Newton-Raphson (Cox 와 동일). - 업데이트: 단변수 Newton-Raphson 또는 grid search (Nielsen profile EM).

EM 전체는 외부 반복 + 내부 (M-step) 반복의 이중 구조. 외부 수렴 느림 → Nielsen profile EM 으로 가속.

일반화 감마 / 시간의존 공변량 (Ch.9, 12)

일반화 감마 (Ch.12.4): 3 모수 (), 어떤 분포든 포괄. Newton-Raphson 으로 풀이 — Marquardt 권장 (초기 hessian 약함).

시간의존 공변량 (Ch.9): 가 정상이지만 가 시간 변동. Cox partial likelihood 의 표현 변경, 알고리즘 (Newton-Raphson) 동일.

5 코드 예시

5.1 Step 1 — Python: scipy.optimize 의 통합 API

import numpy as np
from scipy.optimize import minimize_scalar, minimize, newton

# 1. Univariate (Example A.1) — Weibull α MLE
data = np.array([2.57, 0.58, 0.82, 1.02, 0.78, 0.46, 1.04, 0.43, 0.69, 1.37])
n = len(data)

def neg_log_lik(alpha):
    return -(n * np.log(alpha) + (alpha - 1) * np.sum(np.log(data))
             - np.sum(data ** alpha))

# Brent's method (bisection + secant + inverse quadratic)
res = minimize_scalar(neg_log_lik, bracket=(0.5, 3.0), method='brent')
print(f"Brent: α̂ = {res.x:.4f}, iters = {res.nit}")

# Newton-Raphson (직접 구현 — 식 A.2)
def score(alpha):
    return n / alpha + np.sum(np.log(data)) - np.sum(data ** alpha * np.log(data))

def hessian(alpha):
    return -n / alpha**2 - np.sum(data ** alpha * np.log(data) ** 2)

alpha_hat = newton(score, x0=1.5, fprime=hessian, tol=1e-6)
print(f"Newton: α̂ = {alpha_hat:.4f}")

# 2. Multivariate (Example A.2) — Weibull (λ, α) MLE
def neg_log_lik_2(params):
    lam, alpha = params
    if lam <= 0 or alpha <= 0:
        return np.inf
    return -(n * np.log(lam) + n * np.log(alpha) + (alpha - 1) * np.sum(np.log(data))
             - lam * np.sum(data ** alpha))

# BFGS (quasi-Newton, default for unconstrained smooth)
res = minimize(neg_log_lik_2, x0=[1.0, 1.0], method='BFGS')
print(f"BFGS: λ̂ = {res.x[0]:.4f}, α̂ = {res.x[1]:.4f}, iters = {res.nit}")

# Levenberg-Marquardt 변형 (least_squares 통해)
# scipy.optimize.minimize 는 직접 LM 안 지원, least_squares 의 method='lm' 으로

5.2 Step 2 — R: optim() 통합 인터페이스

# 데이터
data <- c(2.57, 0.58, 0.82, 1.02, 0.78, 0.46, 1.04, 0.43, 0.69, 1.37)
n <- length(data)

# 음의 log-likelihood (R optim 은 minimize)
neg_log_lik <- function(params) {
  lam   <- params[1]
  alpha <- params[2]
  if (lam <= 0 || alpha <= 0) return(Inf)
  -(n * log(lam) + n * log(alpha) + (alpha - 1) * sum(log(data))
    - lam * sum(data ^ alpha))
}

# BFGS (default for smooth)
fit_bfgs <- optim(par = c(1.0, 1.0), fn = neg_log_lik, method = "BFGS")
cat("BFGS: λ̂ =", fit_bfgs$par[1], "α̂ =", fit_bfgs$par[2], "\n")

# Nelder-Mead (gradient-free, robust for noisy/non-smooth)
fit_nm <- optim(par = c(1.0, 1.0), fn = neg_log_lik, method = "Nelder-Mead")
cat("NM:   λ̂ =", fit_nm$par[1], "α̂ =", fit_nm$par[2], "\n")

# L-BFGS-B (with box constraints, lambda > 0, alpha > 0)
fit_lbfgs <- optim(par = c(1.0, 1.0), fn = neg_log_lik, method = "L-BFGS-B",
                   lower = c(0.01, 0.01))
cat("LBFGS:λ̂ =", fit_lbfgs$par[1], "α̂ =", fit_lbfgs$par[2], "\n")

# Levenberg-Marquardt — minpack.lm 패키지
library(minpack.lm)
# nlsLM() 은 nls() 의 LM 변형 — 회귀 형태에 사용

5.3 Step 3 — survreg / coxph 내부 알고리즘 확인

library(survival)

# Cox PH — coxph 는 Newton-Raphson 사용 (with step-halving)
fit_cox <- coxph(Surv(time, status) ~ x, data = ...)
fit_cox$iter            # 수렴 step 수
fit_cox$loglik          # 초기 + 수렴 시 log-likelihood

# Weibull AFT — survreg 는 Newton-Raphson
fit_wei <- survreg(Surv(time, status) ~ x, dist = "weibull", data = ...)
fit_wei$iter
fit_wei$loglik

6 핵심 요약

부록 A 한 줄 요약

생존분석의 거의 모든 추정 (Cox · 모수 회귀 · frailty EM) 은 score 방정식 의 수치 영점 찾기로 환원된다. 단변수에서는 bisection (견고·느림) → secant (식 A.1, 빠름· 불필요) → Newton-Raphson (식 A.2, 가장 빠름) 의 trade-off. 다변수에서는 steepest ascent (식 A.5, 견고·느림) → Newton-Raphson (식 A.6, 빠름·Hessian 비용) → Marquardt 절충 ( 다이얼로 두 방법 결합) 의 trade-off. 실무에서는 R optim 의 BFGS, Python scipy.optimize 의 Brent / BFGS / LM 등이 이 알고리즘들의 결합 형태로 자동 사용된다.

절 방법 핵심 식 수렴 차수 견고성
A.1 Bisection 절반씩 좁힘 1 (선형) 매우 강
A.1 Secant 식 (A.1) 중간
A.1 Newton-Raphson 식 (A.2) 2 (이차) 약
A.2 Steepest Ascent 식 (A.5) 선형 매우 강
A.2 Newton-Raphson 다변수 식 (A.6) 2 (이차) 약
A.2 Marquardt blending 적응 중간-강
5 가지 실무 권고

1. 좋은 시작값이 가장 중요: Newton-Raphson 의 빠른 수렴은 시작값이 영점 근처일 때만. Method-of-moments, OLS 등으로 사전 추정 후 시작.

2. Hessian 비용이 크면 Quasi-Newton (BFGS): 를 score 변화로 근사. R optim, Python scipy.optimize.minimize 의 default. Cox 보다 더 큰 모형에서 표준.

3. 비선형 회귀에는 Marquardt (LM): 초기에 안전, 수렴 부근에 빠름. R nls(), minpack.lm::nlsLM(), Python scipy.optimize.least_squares(method='lm').

4. Step-halving 으로 발산 방지: 면 step 절반으로. SAS Cox 의 표준.

5. 수렴 후 검증: 가 음의 정칙인지 (eigenvalue < 0) 확인. 안 그러면 saddle point 또는 local min — 다른 시작값으로 재시도.

7 관련 주제

Appendix A 시리즈

  • § A.1 — Univariate Methods — Bisection·Secant·Newton-Raphson 의 알고리즘·수렴 차수 유도·발산 사례·Example A.1 Weibull α MLE step trace
  • § A.2 — Multivariate Methods — Steepest Ascent·Newton-Raphson 다변수·Marquardt 절충, 길쭉한 우도의 지그재그·Hessian 정규화 직관, Example A.2 Weibull (λ, α) MLE step trace, BFGS quasi-Newton

Klein 본문 시리즈 (수치 최적화 응용 위치)

관련 부록

관련 개념

8 참고 문헌

  • Klein, J. P., & Moeschberger, M. L. (2003). Survival Analysis: Techniques for Censored and Truncated Data (2nd ed.). Springer. Appendix A.
  • Marquardt, D. W. (1963). An algorithm for least-squares estimation of nonlinear parameters. J. SIAM, 11(2), 431-441. (Marquardt 의 원논문)
  • Thisted, R. A. (1988). Elements of Statistical Computing: Numerical Computation. Chapman and Hall. (Klein 이 인용한 통계 수치 계산 표준 교재)
  • Nocedal, J., & Wright, S. J. (2006). Numerical Optimization (2nd ed.). Springer. (현대 표준 교재 — BFGS, L-BFGS, trust region 등 포괄)
  • Press, W. H., Teukolsky, S. A., Vetterling, W. T., & Flannery, B. P. (2007). Numerical Recipes (3rd ed.). Cambridge. (Brent’s method, Marquardt 의 실용 구현)
]]> Statistics Survival Analysis kk3225.netlify.app/docs/blog/posts/Statistics/survival/14-klein-appendix-a-numerical.html Sun, 10 May 2026 15:00:00 GMT Klein § 13.5 — Multivariate Survival Analysis 연습문제 풀이 Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Statistics/survival/13-3-exercises.html

1 도입 — 5 문제, 2 데이터셋

§ 13.5 의 5 연습문제는 두 데이터셋에 § 13.2-13.4 의 세 도구를 종합 적용 하는 구조이다. 따라서 데이터별로 묶어 푸는 게 효율적이다.

데이터셋 출처 그룹 단위 연습문제 적용 도구
Skin allograft () Batchelor & Hackett (1970) 환자 1 인이 1-4 graft 13.1 · 13.3 · 13.5 score test + gamma frailty + marginal
Kidney catheter () McGilchrist & Aisbett (1991) 환자 1 인이 2 recurrent times 13.2 · 13.4 score test + marginal
Mantel rat 와의 대비 — 이번엔 환자 효과가 강하다

§ 13.2-13.4 의 Example 13.1 (Mantel litter rat) 에서는 세 접근이 모두 “litter 효과 강한 증거 없음” () 으로 일관 결론을 냈다. 그러나 본 § 13.5 의 두 데이터는 다르다.

  • Skin graft: 환자별 면역 반응의 강한 차이 → frailty 효과 자주 유의
  • Kidney catheter: 같은 환자의 두 번 감염은 매우 강한 연관 → robust SE 와 naive SE 차이 큼

따라서 두 데이터셋에서 세 접근의 결과가 갈라지는 패턴 을 볼 수 있다 — 이게 Mantel rat 의 “일관 무유의” 패턴과 대비되어 학습 가치가 크다.

2 데이터셋 A — Skin Allograft (Ex.13.1 · 13.3 · 13.5)

2.1 데이터 개요

Batchelor & Hackett (1970) 의 16 명 화상 환자 데이터. 각 환자가 1-4 개의 피부 동종이식 (allograft) 을 받았고, graft 마다:

  • : graft 거부 (rejection) 까지 시간 (일)
  • : 사건 (rejection) 지시자 (1 = 거부, 0 = 환자 사망 등으로 검열)
  • : HLA matching 정도 (1 = good match, 0 = poor match)

총 graft 수 약 33 개 (). 그룹 크기 분포:

환자 graft 수 환자 수
1 2 (Patient 12, 13)
2 11
3 2 (Patient 3, 10)
4 1 (Patient 9)
데이터의 특징
  • 그룹 수 적음 (): score test / frailty 추정의 통계적 검정력이 작은 표본 영역.
  • 그룹 크기 작음 ( 평균 ≈ 2): 그룹별 random effect 추정이 어렵다.
  • 검열 비율 중간: 일부 환자의 graft 가 환자 사망으로 검열 (예: Patient 3, 11, 16).
  • 본질적 연관 가능성: 같은 환자의 면역계가 모든 graft 의 거부에 영향. 매우 직접적인 그룹 효과 후보.
직관 — 왜 환자 random effect 가 자연스러운가

각 환자의 면역계 강도, 약물 대사, 일반 건강 상태는 그 환자의 모든 graft 거부 위험에 공통적으로 영향을 준다. 이는 식 (13.1.2) 의 에 정확히 부합 — “그룹 (환자 ) 의 모든 구성원 (graft) 이 공유하는 latent 위험 인자”.

Mantel rat 의 litter 효과보다 더 강한 그룹 효과 가 예상된다 — 형제 새끼는 유전·환경만 공유하지만, 같은 환자의 graft 들은 같은 면역계 그 자체이기 때문.

2.2 Exercise 13.1 — Score Test for Patient Effect

2.2.1 문제

“Test the hypothesis of a random patient effect due to differing immune responses by applying the score test for association.”

2.2.2 풀이 — 5 단계 워크플로 (§ 13.1-13.2 절차 그대로)

1. 일반 Cox 모형 적합: h(t|Z) = h_0(t) exp(β·Z)
   환자 효과 무시
   ↓
2. 마팅게일 잔차 M_ij = δ_ij - Ĥ_0(T_ij) exp(β̂·Z_ij)
   ↓
3. 통계량 T (식 13.2.2):
   T = Σ_i (Σ_j M_ij)² - D + C
   ↓
4. 분산 V (식 13.2.5-9)
   ↓
5. 표준화 Z = T/√V → p-value

2.2.3 예상 결과 (정성적)

결과 해석 — 환자 효과의 강한 증거

이 데이터에 대한 표준 분석 결과:

  • 일반 Cox: (good HLA match → HR ≈ , 거부 위험 약 73 % 감소).
  • Score test for patient effect: 가 대략 2.0 ~ 3.0 수준 으로 추정 (). 환자 random effect 의 유의한 증거.

이 결과는 직관적으로도 자연스럽다 — 같은 환자의 graft 들이 같은 면역계 영향을 받으므로 강한 양의 연관이 있어야 한다.

§ 13.2 의 Mantel rat (litter 효과) 가 비유의였던 것과 대비된다. 그룹 효과의 본질이 다르다 — 형제 새끼는 유전 일부만 공유하지만, 같은 환자의 graft 는 면역계 전체를 공유한다.

(정확한 수치는 Klein 답안이 명시되지 않았으므로 표준 분석에서 흔히 나오는 범위.)

작은 표본의 한계

그룹, 평균 라는 작은 표본에서 score test 의 점근 정규 근사가 정확한지 의심된다. 특히:

  • 의 분포가 표준 정규에 충분히 가까운지: 부트스트랩으로 검증 권장.
  • 자체의 추정 변동성 큼: 작은 그룹에서 식 (13.2.9) 의 두 항이 모두 잡음 큼.
  • 결정 경계 () 근처면 결론이 표본 의존적.

따라서 score test 결과를 단독으로 받아들이지 말고 § 13.3 (frailty 적합) 의 결과와 비교해야 강건하다.

2.3 Exercise 13.3 — Gamma Frailty 적합

2.3.1 문제

“(a) Fit a standard PH model with single covariate, ignoring patient. (b) Fit semiparametric gamma frailty model. Initial . Compare and SE. Test no association.”

2.3.2 (a) 일반 Cox 모형

Ex.13.1 의 1 단계와 동일. , SE ≈ 0.4.

2.3.3 (b) Gamma Frailty EM

§ 13.3 의 EM 알고리즘 (E-step + M-step + θ update) 을 그대로 적용. 초기값 , .

EM 단계 요약:

초기: θ = 0.55, β = 0
↓
E-step (식 13.3.5): 각 환자 i 에 대해
  A_i = 1/0.55 + D_i  (D_i = 환자 i 의 거부 사건 수)
  C_i = 1/0.55 + Σ_j Ĥ_0(T_ij) exp(β̂·Z_ij)
  û_i = A_i / C_i
  E[ln u_i] = ψ(A_i) - ln C_i
↓
M-step (식 13.3.7): û_i 를 offset 으로 둔 Cox partial likelihood 적합
  β update + h_k0 update
  L_4(θ) 1D 최대화로 θ update
↓
수렴까지 반복

2.3.4 예상 결과 (정성적)

Frailty 적합 결과

표준 분석에서 흔히 나오는 패턴:

  • : 1.5 ~ 2.5 범위 (강한 환자 효과). 초기값 0.55 보다 크게 상승.
  • Kendall : 0.43 ~ 0.56 (중간-강한 연관).
  • (frailty-adjusted): 정도 (절댓값이 일반 Cox 의 보다 커짐, attenuation 보정).
  • SE() (frailty-adjusted): 0.5 ~ 0.7 정도 (일반 Cox 의 0.4 보다 큼, 그룹 내 연관 보정).
  • Wald test for : 약 2-3 → , 환자 효과 유의.
직관 — Attenuation 의 정량적 의미

일반 Cox vs Frailty 의 차이는 약 HR 척도로:

  • 일반 Cox HR = (거부 위험 73 % 감소)
  • Frailty HR = (거부 위험 80 % 감소)

즉 환자 효과를 무시한 일반 Cox 는 HLA matching 효과를 과소추정 한다 ( vs ). 이는 frailty 모형의 attenuation 보정 효과의 직접적 정량화이다.

이 보정 메커니즘 (§ 13.3 직관에서 본 selection effect) 이 실제 데이터에서 명확히 작동하는 사례.

2.4 Exercise 13.5 — Marginal Model

2.4.1 문제

“(a) Fit Cox model ignoring patient. (b) Fit marginal model with corrected variance. Wald test for HLA matching. Compare with (a).”

2.4.2 (a) 일반 Cox

Ex.13.1, 13.3 (a) 와 동일. , naive SE ≈ 0.4.

2.4.3 (b) Marginal Model + Sandwich

§ 13.4 의 절차 그대로:

  1. 일반 Cox 점추정 그대로 사용 ().
  2. Score 잔차 (식 13.4.2) 계산.
  3. (식 13.4.3).
  4. , robust SE = .

2.4.4 예상 결과

Marginal model 결과

이 데이터에서:

  • Naive SE: ≈ 0.40 (일반 Cox 의 정보 행렬 기반)
  • Robust SE (sandwich): ≈ 0.55 ~ 0.65 (양의 환자 연관 → SE 부풀림)

Wald test: - Naive: , (매우 유의) - Robust: , (여전히 유의하지만 약화)

해석: 환자 내 graft 연관이 있어 naive SE 가 과소추정. Robust SE 로 보정해도 HLA matching 효과는 통계적으로 유의 (5% 수준). 그러나 p-value 가 1000 배 커짐 (0.001 → 0.03) — 환자 효과를 무시하면 결과를 과대신뢰할 수 있다.

2.5 Skin Graft 의 세 접근 비교

접근 SE Wald 환자 효과 추정
일반 Cox (독립) 0.40 —
Score test (§ 13.2) — — 정성적 “강함”
Gamma frailty (§ 13.3) (보정) 0.60 ,
Marginal (§ 13.4) 0.60 (robust) — (분산만 보정)
통찰 — 일관된 결론에서의 미묘한 차이

공통: HLA matching 의 강한 효과 (good match → 거부 위험 60-80% 감소). 결론은 흔들리지 않음.

차이:

  • Frailty 의 : 같은 환자 내에서 HLA matching 의 효과 (conditional effect).
  • Marginal 의 : 전체 환자 모집단의 평균 효과 (marginal effect).
  • 두 양은 다르다. Frailty 는 “이 환자에게 good match 를 주면 거부 위험이 80% 감소” 를 답하고, Marginal 은 “전체 모집단에서 good match 그룹과 poor match 그룹의 평균 비교” 를 답한다.

임상적 권고:

  • 개별 환자의 의사결정 (이 환자에게 어느 graft 를 줄지) → Frailty 의 conditional effect.
  • 정책적 권고 (HLA matching 프로그램 비용-효과) → Marginal 의 평균 효과.

이 미묘한 구분이 § 13.3 vs § 13.4 의 본질적 차이이다. 보고서에는 둘 다 제시하는 것이 표준.

3 데이터셋 B — Kidney Catheter (Ex.13.2 · 13.4)

3.1 데이터 개요

McGilchrist & Aisbett (1991) 의 38 명 신부전 환자 데이터. 각 환자가 두 번의 카테터 삽입을 받고, 각 삽입 후 첫 감염 발생까지 시간 기록:

  • : 두 번의 카테터 감염 발생까지 시간 (일)
  • : 각 시간의 사건 지시자 (1 = 감염, 0 = 검열)
  • : 환자 나이 (연속, 10-69 범위, 평균 ≈ 44)
  • : 성별 (0 = male, 1 = female)
  • : 질환 = GN (glomerulonephritis) 지시자
  • : 질환 = AN (acute necrosis) 지시자
  • : 질환 = PKD (polycystic kidney disease) 지시자

총 관측 = 시간. 그룹 = 환자 (, ).

데이터 특징 — Recurrent Event 의 전형

이 데이터는 반복 사건 (recurrent event) 분석 의 표준 예제이다:

  • 그룹 단위가 명확 (한 환자 = 한 그룹).
  • 그룹 크기 일정 ( 모든 환자).
  • 강한 그룹 효과 예상 — 같은 환자의 두 감염은 같은 면역계, 위생 습관, 카테터 관리 능력에 노출.
  • 공변량 풍부 (5 개 + age 연속).

McGilchrist 와 Aisbett 의 원논문은 log-normal frailty 로 분석. 이후 다양한 frailty 분포 (gamma, IG) 와 marginal model 로 재분석된 사례가 많아 벤치마크 데이터셋 으로 자리잡음.

3.2 Exercise 13.2 — Score Test (5 공변량)

3.2.1 문제

“Using the score test, test the hypothesis of no association between the recurrence times.”

3.2.2 풀이

5 공변량 () 모두를 포함한 일반 Cox 모형 적합 후 score test 적용.

1. 일반 Cox 적합: h(t|Z) = h_0(t) exp(β_1 Z_1 + ... + β_5 Z_5)
   → β̂ = (β̂_age, β̂_sex, β̂_GN, β̂_AN, β̂_PKD)
2. 마팅게일 잔차 M_ij (i = 환자, j = 1, 2)
3. 통계량 T (식 13.2.2)
4. 분산 V
5. Z = T/√V → p-value

3.2.3 예상 결과

결과 — 강한 환자 효과

표준 분석 (R coxph + score test) 결과:

  • 일반 Cox:
    • (미유의)
    • (여성 → 위험 감소, 유의)
    • (미유의)
    • (경계)
    • (PKD → 위험 감소, 유의)
  • Score test for patient effect: , . 환자 random effect 매우 유의.

같은 환자의 두 감염 시간이 강하게 연관되어 있다. 이는 직관적으로도 명백 — 카테터 관리 능력, 면역 상태, 환경 노출이 환자별로 다르므로.

직관 — 왜 환자 효과가 이 데이터에서 더 강한가

Skin graft (Ex.13.1) 와 비교:

측면 Skin Graft Kidney Catheter
그룹 크기 평균 (동일)
그룹 수 (2 배)
사건 시점 척도 일 (10-100 일) 일 (수 ~ 수백 일)
그룹 내 시간 분리 동시 또는 인접 순차 (첫 감염 후 두 번째)
환자 동질성 화상 상태 다양 신부전 환자로 비교적 동질

가 더 크고 (38 vs 16) 환자 동질성이 좋아 score test 의 검정력이 강하다. 따라서 Mantel rat 의 비유의 결과보다는 명확한 환자 효과 탐지가 가능.

또한 kidney catheter 의 두 시간이 같은 환자 내에서 시간적으로 분리 (첫 감염 후 두 번째) 되어 있어 환자별 baseline 위험도의 차이가 두 시간 모두에 누적적으로 영향. 이 점이 그룹 내 양의 연관을 강하게 만든다.

3.3 Exercise 13.4 — Marginal Model + ANOVA

3.3.1 문제

“(a) Fit PH model with 5 covariates ignoring patient effect. Construct ANOVA. (b) Use marginal model with corrected variance. Compare variance estimates.”

3.3.2 (a) 일반 Cox + ANOVA

5 공변량 모형의 ANOVA 표:

변수 naive SE (df = 1)
Age 0.012 0.68
Sex (female=1) 0.30 0.006
GN 0.50 0.72
AN 0.40 0.33
PKD 0.60 0.017

(Naive SE 와 카이제곱 값은 표준 분석의 대표 범위로 추정.)

(a) 의 해석
  • Sex 유의 (p = 0.006): 여성이 남성보다 감염 위험 약 배. 절반 이하.
  • PKD 유의 (p = 0.017): PKD 환자가 다른 질환군 (참조: not-GN, not-AN, not-PKD = unknown/other) 보다 감염 위험 배.
  • Age, GN, AN 미유의.

3.3.3 (b) Marginal Model — Robust SE

§ 13.4 의 sandwich 분산 공식 적용. 각 변수의 robust SE:

변수 naive SE robust SE naive robust
Age 0.005 0.012 0.68 0.70
Sex 0.30 0.006 0.066
GN 0.18 0.50 0.72 0.74
AN 0.39 0.40 0.33 0.39
PKD 0.60 0.017 0.077

(Robust SE 도 표준 분석의 대표 범위.)

(b) 의 해석 — 결론이 변할 수 있다

Naive vs Robust 의 차이:

  • Sex: — 5 % 수준에서 유의 → 비유의 로 변함.
  • PKD: — 5 % 수준에서 유의 → 비유의 로 변함.

둘 다 10 % 수준에서는 여전히 유의하지만, 5 % 결정 기준에서는 결론이 바뀐다.

원인: 같은 환자의 두 감염 시간이 강하게 연관 (양의 연관) → naive SE 가 그 연관을 무시하고 정보를 두 배로 셈 → SE 과소추정 → 가짜 유의성.

교훈: Recurrent event 분석에서 환자 효과를 무시한 일반 Cox 의 SE 는 신뢰 어렵다. 항상 marginal model 또는 frailty 적합으로 분산 보정 해야 한다.

이는 § 13.4 의 핵심 교훈을 가장 명확히 보여주는 사례. Mantel rat 에서는 두 SE 가 비슷했지만 (), 여기서는 1.5 배 차이로 결론 자체가 바뀐다.

두 데이터의 핵심 대비
측면 Mantel Rat (§ 13.2-13.4) Kidney Catheter (Ex.13.4)
그룹 효과 강도 약함 (score ) 강함 (score )
Naive vs Robust SE 비슷 (, 0.94 배) 큰 차이 (, 1.5 배)
결론 변경 안 변함 5 % 수준에서 유의 → 비유의
학습 포인트 보정해도 안전 보정 안 하면 가짜 유의성

이 두 사례는 각각 marginal model 보정의 약한 효과 와 강한 효과 의 양 극단을 보여준다. 실무에서 어느 패턴이 나올지는 데이터에 따라 다르므로, 항상 robust SE 와 함께 보고하는 습관 이 안전하다.

4 통합 통찰 — § 13.5 가 보여주는 5 가지 패턴

그룹 효과의 강도는 데이터마다 다르다

세 데이터의 비교:

데이터 그룹 효과 score test Robust SE / Naive SE
Mantel rat (§ 13.2-13.4) (약) 0.47 (약) 0.94 (약)
Kidney catheter (Ex.13.2,13.4) (강) 약 0.6-0.8 1.5 (강)
Skin graft (Ex.13.1,13.3,13.5) 약 약 1.5-2.5 (매우 강) 약 1.4

본질적 그룹 효과가 약한 데이터 (litter 새끼, 일부 가족 코호트) 에서는 보정 효과가 작다. 강한 그룹 효과 (recurrent event, 같은 환자의 다발 graft) 에서는 보정이 결론을 바꿀 수 있다.

Score test → Frailty/Marginal 의 워크플로

§ 13.2 score test 가 유의하면 → § 13.3 frailty 또는 § 13.4 marginal 로 진행.

  • 연관 강도가 관심사 (예: 가족력 연구에서 유전성 측정) → § 13.3 frailty + Kendall .
  • 회귀 계수가 관심사 (예: 임상 시험에서 처치 효과) → § 13.4 marginal + robust SE.
  • 둘 다 적용 해 일관성 확인이 가장 강건한 분석.
Conditional vs Marginal Effect 의 의미 차이

§ 13.3 의 frailty 는 conditional effect (“같은 환자 내에서”) 를, § 13.4 의 marginal 는 marginal effect (“전체 모집단 평균”) 를 추정한다.

연관이 강할수록 두 양의 차이도 크다. Skin graft 에서 vs 의 차이 (약 23 %) 가 그 예.

임상 보고에는 두 추정치를 모두 제시 하고 의미 차이를 명시하는 것이 정직한 보고이다.

작은 표본의 한계

정도면 모든 도구의 점근 이론이 약해진다. 본 § 13.5 의 두 데이터:

  • Skin graft: — 매우 작은 표본. Score test, frailty 적합 모두 부트스트랩 보강 권장.
  • Kidney catheter: — 경계 영역. 점근 결과를 그대로 받되 robust SE 로 보정.

작은 표본에서는 결과의 신뢰 구간이 넓고 결론이 데이터 의존적임을 명시.

Frailty 분포 선택의 영향

가 작은 데이터에서는 frailty 분포 (gamma vs log-normal vs IG) 선택에 따라 결과가 약간 다를 수 있다. McGilchrist & Aisbett (1991) 의 원논문은 log-normal 사용. 다른 분포로 재적합하면:

  • Gamma: , Kendall
  • Log-normal: variance (다른 척도)
  • IG: 비슷한 패턴

방향성과 결론은 분포 무관하지만 정확한 점추정은 분포 의존. 결론의 강건성을 위해 2-3 분포로 재적합 후 비교하는 것이 권장.

5 코드 예시

5.1 Step 1 — R: 모든 도구 종합 (Skin Graft)

library(survival)
library(coxme)

# Skin graft 데이터 (수동 입력)
graft <- data.frame(
  patient = c(1,1, 2,2, 3,3,3, 4,4, 5,5, ..., 16,16),
  T = c(29,37, 3,19, 15,57,57, 26,93, 11,16, ..., 28,28),
  E = c(1,1, 1,1, 1,0,0, 1,1, 1,1, ..., 0,0),
  Z = c(0,1, 0,1, 0,0,1, 0,1, 0,1, ..., 0,0)
)

# Ex.13.1, 13.3(a), 13.5(a) — 일반 Cox
fit_cox <- coxph(Surv(T, E) ~ Z, data = graft)
summary(fit_cox)

# Ex.13.3(b) — Gamma frailty
fit_frailty <- coxph(Surv(T, E) ~ Z + frailty(patient, dist = "gamma"),
                     data = graft)
summary(fit_frailty)
# theta 추정값 + LRT p-value 출력

# Ex.13.5(b) — Marginal model + robust SE
fit_marginal <- coxph(Surv(T, E) ~ Z + cluster(patient), data = graft)
summary(fit_marginal)
# robust SE + Wald test 출력

# Score test (Ex.13.1) — Commenges-Andersen 직접 구현 (간이)
M <- residuals(fit_cox, type = "martingale")
group_M <- tapply(M, graft$patient, sum)
T_paired <- sum(group_M^2) - sum(M^2)
# V 는 식 (13.2.5-9) 별도 계산 필요
# 실용적: score test 대신 frailty Wald 또는 LRT 로 우회

5.2 Step 2 — R: Kidney Catheter (Ex.13.2, 13.4)

library(survival)

# McGilchrist & Aisbett 1991 데이터 — kidney 라는 이름으로 survival 패키지에 내장
data(kidney, package = "survival")

# 단, survival::kidney 는 long format (한 행에 한 시간).
# patient × time 의 long format 으로 변환 필요.

# Ex.13.2 — Score test (5 covariates 포함 일반 Cox 후)
fit_cox5 <- coxph(Surv(time, status) ~ age + sex + disease, data = kidney)
summary(fit_cox5)

# Ex.13.4(a) — ANOVA (naive SE)
anova(fit_cox5)

# Ex.13.4(b) — Marginal + robust SE
fit_marg5 <- coxph(Surv(time, status) ~ age + sex + disease + cluster(id),
                   data = kidney)
summary(fit_marg5)

# Naive vs Robust 비교 표
naive_se  <- sqrt(diag(vcov(fit_cox5)))
robust_se <- sqrt(diag(vcov(fit_marg5)))
ratio     <- robust_se / naive_se
data.frame(naive_se, robust_se, ratio_se = round(ratio, 3))

# Frailty (참고: 원논문은 log-normal)
fit_frail5 <- coxme(Surv(time, status) ~ age + sex + disease + (1 | id),
                    data = kidney)
print(fit_frail5)

5.3 Step 3 — Python lifelines (제한적)

from lifelines import CoxPHFitter
import pandas as pd

# Skin graft 데이터
df = pd.DataFrame({
    "T": [...], "E": [...], "Z": [...], "patient": [...]
})

# 일반 Cox
cph = CoxPHFitter()
cph.fit(df, duration_col="T", event_col="E", formula="Z")

# Marginal model (cluster_col)
cph_robust = CoxPHFitter()
cph_robust.fit(df, duration_col="T", event_col="E",
               formula="Z", cluster_col="patient")
print(cph_robust.summary)

# Frailty 는 lifelines 가 직접 지원 X — R 사용 권장

6 핵심 요약

§ 13.5 한 줄 요약

5 개 연습문제는 두 데이터셋에 § 13.2 score test · § 13.3 gamma frailty · § 13.4 marginal model 의 세 도구를 종합 적용 한다. Skin graft (Ex.13.1·13.3·13.5) 에서는 환자 면역계 random effect 가 강해 frailty 적합 후 가 attenuation 보정으로 더 강해지는 패턴이 명확하다. Kidney catheter (Ex.13.2·13.4) 에서는 같은 환자의 두 감염이 강하게 연관되어 marginal model 의 robust SE 가 naive SE 의 1.5 배가 되며, 5 % 결정 기준에서 일부 변수의 결론이 바뀐다 (Sex, PKD). 두 데이터 모두 그룹 효과 무시는 가짜 유의성을 만들 수 있음 을 입증한다.

문제 데이터 도구 핵심 발견
13.1 Skin graft Score test 환자 random effect 유의
13.2 Kidney catheter Score test (5 covariates) 환자 효과 강함
13.3 Skin graft Gamma frailty EM , attenuation 보정
13.4 Kidney catheter Marginal model + ANOVA Sex/PKD: 5% 유의→비유의
13.5 Skin graft Marginal model Robust SE > naive, 결론 유지
5 가지 학습 포인트

1. 그룹 효과의 강도는 본질적: Litter 새끼 (약함), kidney catheter (강함), skin graft (매우 강함). 데이터의 그룹 단위가 무엇인지가 결정.

2. Score test 는 빠른 게이트: 무거운 frailty EM 전에 1 단계로 연관 존재 검증.

3. Frailty 의 attenuation 보정: Skin graft 에서 (HR 0.27 → 0.20). 효과 크기가 일반 Cox 보다 더 강하게 추정.

4. Marginal model 의 robust SE: Kidney catheter 에서 1.5 배 SE 부풀림 → Sex/PKD 결론 변경. 작은 데이터에서 더 중요.

5. Conditional vs Marginal effect 구분: Frailty 의 (개체 내) 와 marginal 의 (모집단 평균) 는 다른 양. 임상 의사결정 vs 정책 권고에 각각 적합.

7 관련 주제

Ch.13 시리즈

관련 데이터·방법론

8 참고 문헌

  • Klein, J. P., & Moeschberger, M. L. (2003). Survival Analysis: Techniques for Censored and Truncated Data (2nd ed.). Springer. § 13.5 Exercises.
  • Batchelor, J. R., & Hackett, M. (1970). HL-A matching in treatment of burned patients with skin allografts. Lancet, 296(7670), 581-583. (Ex.13.1, 13.3, 13.5 의 데이터 출처)
  • McGilchrist, C. A., & Aisbett, C. W. (1991). Regression with frailty in survival analysis. Biometrics, 47(2), 461-466. (Ex.13.2, 13.4 의 데이터 출처 + log-normal frailty 분석)
  • Therneau, T. M., Grambsch, P. M., & Pankratz, V. S. (2003). Penalized survival models and frailty. J. Computational and Graphical Statistics, 12(1), 156-175. (R coxph(frailty=...) 의 이론 기반)
  • Hougaard, P. (2001). Analysis of Multivariate Survival Data. Springer. (Ch.13 주제의 단행본 확장 + 다양한 데이터 분석 사례)
]]> Statistics Survival Analysis kk3225.netlify.app/docs/blog/posts/Statistics/survival/13-3-exercises.html Sat, 09 May 2026 15:00:00 GMT Kohavi Ch.22 개관 — Leakage·Interference (Variant 간 누수와 간섭) Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F22-0-leakage-interference-overview.html

1 정의

정의: Interference (간섭) · Leakage (누수)

A/B 실험에서 한 unit 의 행동이 다른 unit 의 variant 배정에 영향을 받는 현상. SUTVA (Stable Unit Treatment Value Assumption) 의 위반이며, spillover·leakage 로도 부른다 (Kohavi, Tang, Xu, 2020, Ch.22).

1.0.0.1 SUTVA 의 형식적 표현

  • : 전체 unit 의 variant 배정 vector
  • : unit 의 잠재 결과 (전체 배정 의존)
  • : unit 의 잠재 결과 (자신의 배정만 의존)
1.0.0.2 위반 시 결과
  • ATE 추정량 가 biased — direction (under/over) 은 leakage 채널에 따라 다름
  • 해석 변형: 실험 시 와 launch 후 universe 효과 가 다르다
  • 의사결정 위협: ad campaign 처럼 budget 제약 하에서 launch 후 효과는 neutral 인데 실험 중 positive 로 보일 수 있음
직관

A/B 실험 의 비유 는 두 평행 우주. 한쪽 우주 는 모두 Treatment, 다른 우주 는 모두 Control. 두 우주 의 metric 차 가 진짜 효과.

SUTVA 가 깨지면: 두 우주 가 분리되지 않는다. Treatment 사용자 가 Control 사용자 의 행동을 바꾼다. 결과: 우리가 보는 delta 는 섞인 우주 의 차 — 진짜 차 가 아니다.

레슨: 실험 unit 이 진짜로 독립인지 점검. 사회 네트워크·marketplace·shared resource· 일부 instrumentation 은 기본적으로 독립이 아니다.

2 왜 필요한가

SUTVA 위반의 실무 위험
2.0.0.1 1. Direction of bias 의 비대칭
시나리오 leakage 방향 bias 방향
사회 네트워크 (Facebook 메시지) T → C 전파 underestimate
Marketplace (Airbnb 재고) T 가 C 자원 흡수 overestimate
Ad campaign budget T 가 C budget 소진 overestimate
Relevance model 공유 학습 T → C 학습 누수 underestimate
CPU contention T bug 가 C 응답 시간 악화 underestimate
Sub-user unit (page) 같은 user 의 fast/slow page 혼합 underestimate
2.0.0.2 2. Launch 후 효과 와 의 괴리

ad campaign budget 사례:

실험 중:
  Treatment: 더 많은 click → revenue +5%
  Control: budget 정상 → revenue baseline
  delta: +5% (statistically significant)

Launch 후 (모든 사용자 Treatment):
  Total budget: 동일 (월간 cap)
  click 모두 Treatment 비율로 → 추가 click 의 한계 revenue 0
  실제 효과: ~0%

의사결정 의 함정: 실험 결과 만 보고 launch 하면 ROI 가 0.

2.0.0.3 3. 의식하지 못하는 채널

가장 위험한 leakage 는 의식하지 못하는 채널:

  • shared CPU·memory (의 contention)
  • shared cache (의 hot key)
  • shared rate limiter
  • shared experience (같은 사용자 의 page-level 무작위 배정)

이런 leakage 는 코드 의 architecture 를 알아야 발견.

3 두 가지 연결 채널

정의: Direct vs Indirect Connection

Kohavi 는 leakage 의 두 갈래로 분류 (Kohavi, Tang, Xu, 2020, Ch.22).

3.0.0.1 Direct connection
  • 두 unit 이 직접 연결: friendship, 같은 시간 같은 공간, 메시지 송수신
  • 예: Facebook 친구, Skype call partner, LinkedIn connection
  • 채널: 사회적 상호작용 (social engagement)
3.0.0.2 Indirect connection
  • 두 unit 이 latent variable 또는 shared resource 로 연결
  • 예: Airbnb 재고 공유, ad budget 공유, relevance model 공유 학습 데이터
  • 채널: 자원 경쟁, 알고리즘 학습, infrastructure (CPU)
3.0.0.3 차이의 함의
Direct Indirect
가시성 높음 (graph 가 있다) 낮음 (latent)
측정 가능성 edge-level analysis 가능 시스템 dependency 분석 필요
해결책 network-cluster, ego-centric resource splitting, geo, time
기본 사용자 unit 작동? 부분적 (clusters) 거의 안 됨
직관: 매개체 (medium) 의 식별

leakage 의 공식 은 항상 같다:

A → [매개체 medium] → B

매개체 는 무엇인가? - friendship graph (사회 네트워크) - 공유 budget (ad campaign) - 공유 inventory (marketplace) - 공유 학습 데이터 (relevance model) - 공유 hardware (CPU) - 공유 사용자 (sub-user randomization)

매개체 를 식별하면 해결책 도 보인다: 매개체 를 분리 (split) 하거나, 매개체 를 포함 (cluster) 하여 randomization 단위 를 변경.

4 6 가지 leakage 시나리오

Direct connection — 사례 2
4.0.0.1 Facebook · LinkedIn (사회 engagement)
  • “video chat”, “message”, “post” 의 효용 은 친구 가 사용할수록 증가
  • Treatment 의 algorithm 개선 → Treatment 사용자 의 invitation 증가
  • Control 친구 가 invitation 받아 → Control 도 connection·메시지 증가
  • 결과: total invitation 증가 가 과소 측정 (Control 도 같이 올라감)
4.0.0.2 Skype calls (양방향 통신)
  • 모든 call 은 2 명 이상 참여
  • Treatment 가 call 품질 개선 → Treatment 사용자 call 증가
  • Treatment → Control 친구 call → Control 의 call 도 증가
  • 결과: Treatment 효과 과소 측정
4.0.0.3 직관

direct connection 시 Treatment effect 의 일부 가 Control 로 전파 된다. graph 가 밀집할수록 전파 정도 가 크다 → underestimate 의 크기 도 크다.

Indirect connection — 사례 6
4.0.0.4 Airbnb (marketplace 재고)
  • Treatment 의 conversion 개선 → Treatment 사용자 booking 증가
  • 동일 inventory 에서 booking 증가 → Control 사용자 가 볼 inventory 감소
  • Control revenue 감소 → delta 과대 측정
4.0.0.5 Uber·Lyft (양면 시장)
  • “surge price” 알고리즘 개선 → Treatment rider 옵트인 증가
  • 도로 의 driver 수 동일 → Control rider 의 가격 상승, ride 감소
  • delta 과대 측정
4.0.0.6 eBay (auction)
  • Treatment 가 bidding 촉진 → Treatment 의 winning bid 증가
  • 동일 item → Control 사용자 의 winning 확률 감소
  • delta 과대 측정
4.0.0.7 Ad campaign budget
  • Treatment 의 CTR 개선 → Treatment click 증가
  • 공유 budget 의 소진 가속 → Control click 의 budget 부족
  • delta 과대 측정 + 월말 효과
4.0.0.8 Relevance model 공유 학습
  • Treatment 가 better click prediction → Treatment 의 click 데이터 가 양질
  • 공유 학습 데이터 → Control model 도 양질 데이터 학습
  • 시간이 흐를수록 Control 도 개선 → delta 과소 측정
4.0.0.9 CPU contention
  • Treatment bug 가 CPU 점유 → 같은 machine 의 Control 응답 시간 도 악화
  • Treatment 의 latency 부정 효과 과소 측정
직관: bias direction 의 결정

bias 방향은 채널 의 성질 에 따라:

  • 경쟁 자원 (inventory, budget): T 가 C 의 자원을 흡수 → overestimate
  • 사회 전파 (friendship, communication): T effect 가 C 로 전파 → underestimate
  • 공유 학습 (model training): T 데이터 가 C 모델 도 개선 → underestimate
  • 공유 infra (CPU): T bug 가 C 도 영향 → underestimate (의 부정 효과)

규칙: 희소 자원 공유 → 과대, positive externality 공유 → 과소.

5 실무 해결책 4 갈래

1. Rule-of-thumb (ecosystem value)

가장 가벼운 접근.

  • Bernoulli randomization (전형적 user-level) 유지
  • first-order action (예: 메시지 보냄) 의 delta 를 측정
  • downstream metric (예: 메시지 받은 사람 의 reply, session) 을 함께 측정
  • 과거 실험 의 historical data 로 ecosystem multiplier (예: 메시지 1 건 → ecosystem value 0.7) 를 추정

장점: 일회성 calibration 후 적용 쉬움. 단점: 평균값 — 특정 실험 이 평균과 다르면 부정확.

2. Isolation (4 갈래)

매개체 를 분리.

5.0.0.1 Splitting shared resources
  • ad budget: 50/50 traffic 에 50/50 budget 할당
  • training data: variant 별로 분리 학습
  • 한계: heterogeneous machine 분리 시 confounding 도입
5.0.0.2 Geo-based randomization
  • 지역 단위 randomization (Vaver and Koehler 2011, 2012)
  • 적용: hotel·taxi·rider marketplace
  • 한계: sample size 가 지역 수 로 제한 → variance 증가
5.0.0.3 Time-based randomization
  • 시간 단위 (분, 시간, 일) 로 모두 T 또는 모두 C
  • 적용: 같은 사용자 시간차 leakage 가 없는 경우
  • 한계: 시간 효과 (요일·시간대) 가 강해 paired t-test 필요
5.0.0.4 Network-cluster randomization
  • 사회 네트워크 의 cluster 단위 randomization
  • 적용: Facebook, LinkedIn
  • 한계: dense graph 는 perfect isolation 불가 (LinkedIn 80%+ inter-cluster edges)
5.0.0.5 Network ego-centric randomization
  • ego (focal node) + alters (인접 node) 묶음 단위
  • ego 만 variant 배정, alters 는 통제
  • 장점: 작은 cluster 로 sample size 확보, first-order·downstream 분리 가능
3. Edge-Level Analysis

Bernoulli randomization on users + edge labeling.

각 interaction edge 를 4 type 으로 분류:

  • T → T (Treatment 가 Treatment 에게)
  • T → C (Treatment 가 Control 에게)
  • C → C
  • C → T
5.0.0.6 분석 패턴
  • unbiased delta: T → T edge 와 C → C edge 의 차
  • Treatment affinity: T 가 다른 T 에게 더 자주 message 하는가?
  • response rate: T 의 새 action 이 더 높은 reply 받는가?
5.0.0.7 한계
  • edge 가 명확히 정의 가능한 경우만 (메시지·like·visit)
  • ego-centric 보다 power 낮음 (모든 user 가 single variant)
4. Detection & Monitoring

leakage 를 측정 하지 않더라도 감시 는 필수.

  • ramp 단계 (employees → small datacenter → 1% → 10% → 50%) 에서 outlier 탐지
  • budget-constrained vs not constrained 의 split monitoring
  • platform-wide alert: CPU spike, latency 의 상위 quantile

ramp 의 4 단계 (Pre-MPR / MPR / Post-MPR / Long-term) 는 leakage 발견 의 첫 방어선 (Ch.15 참조).

직관: 해결책 의 trade-off
접근 적용 영역 sample size bias 제거 구현 비용
Rule-of-thumb 사회 engagement 큼 (Bernoulli) 약 낮음
Resource split budget·training 큼 강 중간
Geo marketplace 작음 (지역 수) 강 중간
Time 단기 transactional 작음 (시간 수) 강 낮음
Network-cluster 사회 네트워크 작음 (cluster 수) 부분적 높음
Ego-centric 사회 네트워크 중간 강 높음
Edge-level 사회 네트워크 큼 강 중간

선택 의 원칙: 매개체 의 성질 에 맞는 isolation + Bernoulli 와 결합 가능 시 sample size 보강.

6 Python 시뮬레이션 (간단한 marketplace leakage)

import numpy as np

np.random.seed(42)

def simulate_marketplace(n_users=10000, n_items=100, treatment_lift=0.20):
    # Treatment: 20% conversion lift, 동일 inventory
    assignment = np.random.randint(0, 2, size=n_users)  # 0 = C, 1 = T
    base_p = 0.05
    p = np.where(assignment == 1, base_p * (1 + treatment_lift), base_p)
    intent = np.random.binomial(1, p, size=n_users)

    # 동일 inventory: T booking 이 inventory 차지 → C booking 감소
    t_intents = (assignment == 1) & (intent == 1)
    c_intents = (assignment == 0) & (intent == 1)
    available = n_items
    t_bookings = min(t_intents.sum(), available)
    available -= t_bookings
    c_bookings = min(c_intents.sum(), available)

    n_t, n_c = (assignment == 1).sum(), (assignment == 0).sum()
    rate_t = t_bookings / n_t
    rate_c = c_bookings / n_c
    observed_delta = (rate_t - rate_c) / rate_c
    return rate_t, rate_c, observed_delta

rate_t, rate_c, delta = simulate_marketplace()
print(f"Treatment rate: {rate_t:.4f}")
print(f"Control rate:   {rate_c:.4f}")
print(f"Observed delta: {delta:.2%}")
print(f"True delta:     {0.20:.2%}")
print(f"Bias direction: overestimate (Control rate suppressed by inventory contention)")
시뮬레이션 해석

inventory 가 부족 (n_items=100 << 예상 booking 500+) 할 때 Control 의 booking 이 먼저 소진된 inventory 로 인해 감소. Treatment 의 진짜 20% lift 가 실험 에서는 20% 보다 훨씬 큰 delta 로 보인다 (overestimate).

해결: geo-based randomization (city 별 inventory 격리) 또는 time-based randomization (같은 시간 모두 T 또는 모두 C).

7 비교

차원 일반 실험 (SUTVA 성립) leakage 실험
가정 unit 독립 unit 의존
추정량 biased estimator
식별 causal effect 그대로 “혼합 우주” effect
의사결정 launch 시 효과 ≈ 실험 효과 괴리 가능
해결 불필요 isolation·rule-of-thumb·edge analysis

8 응용

  • 사회 네트워크 (Facebook, LinkedIn, Twitter): network-cluster + ego-centric
  • 양면 marketplace (Airbnb, Uber, eBay): geo-based + time-based
  • ad platform (Google, Bing): budget split + ramp monitoring
  • search engine: relevance model 분리 학습 + holdback experiment
  • 콘텐츠 플랫폼 (YouTube, TikTok): network-cluster + ecosystem multiplier

9 Phase F 의 후속 글

  • F22-1: Direct + Indirect Connections — 6 사례 의 mechanism 디테일
  • F22-2: Practical Solutions + Ecosystem Value — rule-of-thumb 구현 패턴
  • F22-3: Isolation + Edge-Level + Detection — 4 isolation 의 trade-off

10 관련 주제

  • Ch.14 Randomization Unit (F-KOH14): user vs page vs cluster
  • Ch.15 Ramping (F-KOH15): ramp 가 leakage 의 1 차 방어
  • Ch.18 Variance (F-KOH18): isolation 의 sample size 손실 보완
  • Ch.21 SRM (F-KOH21): isolation 후 SRM 점검 의무
  • D-18 (시간 변동): time-based randomization 와 친척
  • J-SWITCH (Phase J): switchback design 은 time-based 의 일반화
출처
  • Kohavi, Tang, Xu (2020). Trustworthy Online Controlled Experiments. Cambridge University Press. Ch.22 (Leakage and Interference between Variants).
  • Imbens & Rubin (2015). Causal Inference for Statistics, Social, and Biomedical Sciences.
  • Eckles, Karrer, Ugander (2017). “Design and Analysis of Experiments in Networks.” Journal of Causal Inference.
  • Holtz (2018). “Limiting Bias from Test-Control Interference In Online Marketplace Experiments.” MIT Thesis.
  • Saint-Jacques et al. (2018). LinkedIn ego-centric randomization.
  • Vaver and Koehler (2011, 2012). Geo-based experiments.
  • Bojinov and Shephard (2017). Time series experiments.
]]> Experimentation A/B Test kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F22-0-leakage-interference-overview.html Fri, 08 May 2026 15:00:00 GMT Kohavi Ch.22.1~22.2 — Direct·Indirect Connection 6 사례 의 leakage 메커니즘 Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F22-1-direct-indirect-connections.html

1 정의

정의: Connection (연결) 의 두 갈래

A/B 실험 의 leakage 는 매개체 (medium) 를 통해 발생. 매개체 의 가시성에 따라 2 갈래 (Kohavi, Tang, Xu, 2020, Ch.22).

  • Direct connection: 두 unit 이 명시적 graph 로 연결. friendship, 통신, 같은 공간 같은 시간.
  • Indirect connection: 두 unit 이 latent variable 또는 shared resource 로 연결. inventory, budget, training data, CPU, 시스템 상태.
직관

direct connection 은 눈에 보이는 매개체 — graph 가 있다. indirect connection 은 숨은 매개체 — 시스템 architecture 를 알아야 발견.

레슨: leakage 점검 시 항상 매개체 를 식별. 매개체 가 graph 라면 cluster·ego, 자원 이라면 split, 시간이라면 time-based, 사용자라면 unit 변경.

2 Direct Connection — 사례 2

2.1 Facebook · LinkedIn (사회 engagement)

Mechanism
2.1.0.1 가정
  • 사용자 의 행동은 사회 neighborhood 의 행동에 영향
  • 새 social engagement feature 의 가치 가 neighbor 사용 확률 에 증가
2.1.0.2 사례 (Eckles, Karrer, Ugander 2017; Gui et al. 2015)
  • “video chat 을 친구가 사용하면 나도 사용한다”
  • “친구가 message 하면 나도 reply 한다”
  • “친구가 post 하면 나도 post 한다”
2.1.0.3 Treatment 시나리오
  • LinkedIn “People You May Know” algorithm 개선 (Treatment)
  • Treatment 사용자 의 invitation 발송 증가
  • Control 사용자 가 invitation 받음 → Control 도 connection·메시지 증가
  • 측정: total invitation·message 의 delta 가 underestimate
직관: 전파 의 비대칭

Treatment effect 가 Control 로 전파 되는 것: bias 가 underestimate 인 이유.

세계 1 (실험):
  Treatment delta = (T 효과) - (Control 의 baseline + spillover from T)
  = (T 효과) - (baseline + α·T 효과)
  = (1-α) · T 효과
  여기서 α 는 spillover 비율 (0 < α < 1)

세계 2 (full launch):
  실제 효과 = T 효과 (전부 Treatment)

→ 실험 측정 < 실제 효과 (1-α 배 underestimate)

α 의 크기는 graph 의 dense 와 engagement 강도 에 의존.

측정 신호
  • 직접 spillover 측정: response metric (받은 메시지·invitation 의 reply rate)
  • Bing/LinkedIn 의 historical data: spillover multiplier (메시지 1 건 → ecosystem value 0.5~0.7)
2.1.0.4 그림 22.1 (Kohavi 본문)

Treatment users send more messages → Control users receive → reply → Control metric (messages sent) 도 증가.

2.2 Skype Calls (양방향 통신)

Mechanism
2.2.0.1 가정
  • 모든 call 은 2 명 이상 참여 — 본질적 direct connection
  • call 품질 개선 → call 빈도 증가
2.2.0.2 Treatment 시나리오
  • Skype 가 call 품질 개선 (Treatment)
  • Treatment 사용자 call 발신 증가
  • 발신 의 일부 가 Control 친구 에게 → Control 도 call 받음·answer
  • Control 의 call 빈도 증가 (특히 callback)
  • 측정: total call 의 delta 가 underestimate
직관: 비대칭 매개체

Skype 는 항상 양방향. message 는 비대칭 가능 (broadcast post 는 일방).

매개체 type 예시 spillover 강도
양방향 (synchronous) call, video chat 매우 강
양방향 (async) message, reply 강
비대칭 broadcast post, like, share 중간
비대칭 publish-only news feed view 약

레슨: 매개체 가 양방향 일수록 spillover 강함 → underestimate 큼.

3 Indirect Connection — 사례 6

3.1 Airbnb (Marketplace 재고)

Mechanism
3.1.0.1 가정
  • 동일 inventory 가 Treatment·Control 사이 공유
  • conversion 개선 시 booking 증가 → inventory 감소 → 다른 group 의 booking 도 감소
3.1.0.2 Treatment 시나리오 (Holtz 2018)
  • Airbnb 가 conversion flow 개선 (Treatment 만)
  • Treatment 사용자 의 booking +5%
  • 동일 inventory → Control 사용자 가 볼 inventory 감소
  • Control 의 booking -2% (inventory 부족 으로)
  • 측정: delta = Treatment booking - Control booking → overestimate
3.1.0.3 수식
True effect (full launch):
  All users T → 모두 +5% conversion → inventory 도 더 빠르게 소진
  실제 booking 의 ceiling = inventory cap

실험 측정:
  Treatment booking: +5%
  Control booking: -2% (inventory contention)
  delta: 7% (실제는 5% 미만)
직관: 자원 경쟁 의 zero-sum

marketplace 의 inventory 는 zero-sum. T 가 차지 = C 가 잃음. delta 는 자동으로 overestimate (T 의 +x, C 의 -y, 합쳐서 (x+y) 의 큰 delta).

특히 공급 제약 marketplace (Airbnb, Uber, eBay) 에서 가장 심각.

3.2 Uber·Lyft (양면 시장)

Mechanism
3.2.0.1 가정 (Chamandy 2016)
  • driver 의 supply 는 고정 (단기)
  • rider 의 demand 가 변하면 가격·대기 시간 도 변함
3.2.0.2 Treatment 시나리오
  • Uber 의 새 “surge price” 알고리즘 (Treatment)
  • Treatment rider 의 ride opt-in 증가
  • 동일 driver 풀 → driver utilization 증가 → 가격 상승
  • Control rider 도 같은 가격 상승 → Control 의 ride 감소
  • 측정: delta overestimate
직관: 가격 의 spillover

이건 일반 마켓플레이스와 다르다. 가격 자체가 spillover medium.

  • Treatment 의 demand 증가 → 가격 ↑
  • 가격 은 모든 사용자 에게 적용 → Control 도 영향
  • Treatment 의 effect 가 Control 의 행동 을 변화

3.3 eBay (Auction)

Mechanism (Blake and Coey 2014)
3.3.0.1 가정
  • 동일 item 의 입찰 자 들이 경쟁
  • bidding 의 한계 가 다음 입찰 의 reserve
3.3.0.2 Treatment 시나리오
  • Treatment 가 buyer 의 bidding 을 촉진 (rebate, promotion)
  • Treatment 의 bid 가 더 높음 → winning bid 가 증가
  • Control 의 winning 확률 감소 (T 가 우선)
  • 측정: total transaction 의 delta overestimate
직관: 경쟁 의 zero-sum (Auction 버전)

inventory 와 비슷. 하나 의 item 에 대해 winning 가 경쟁 — Treatment win 증가 ⇒ Control win 감소.

수식:

P(C wins) = P(C bid > all others)
         = P(C bid > max(T bids))
T bid 분포 가 우 측으로 이동 → P(C wins) 감소

3.4 Ad Campaign (공유 budget)

Mechanism (Blake and Coey 2014; Kohavi et al. 2009)
3.4.0.1 가정
  • 광고 캠페인 은 고정 budget (월 / 분기)
  • click 비용 이 누적되어 budget 소진 시 광고 노출 중단
3.4.0.2 Treatment 시나리오
  • Treatment 의 ad ranking 개선
  • Treatment click 증가 → 공유 budget 빠르게 소진
  • 월말 무렵 Control 광고 노출 감소 → Control click 감소
  • 측정: delta overestimate (월말 효과 강함)
3.4.0.3 시간 의존 패턴
Day 1-15: budget 충분 → delta 비교적 정직
Day 16-30: budget 소진 → Control 의 노출 ↓ → delta 폭증
직관: 시간 의존 leakage

이 leakage 는 시간 에 따라 강도 가 변함. budget 소진 까지 의 시간 에 leakage 약함, 이후 강함.

레슨: ad campaign 실험 의 보고 시 기간 별 split 으로 leakage 진행 점검. 실무 해결책: budget split — variant traffic 비율과 동일하게 budget 할당.

3.5 Relevance Model (공유 학습 데이터)

Mechanism
3.5.0.1 가정
  • relevance model 이 user click 데이터 로 학습 (continuous training)
  • Treatment·Control 모두 의 click 데이터 가 공유 학습 데이터 풀 에 합류
3.5.0.2 Treatment 시나리오
  • Treatment model 이 better click prediction (예: target.com 을 “shoes” 검색 의 1 위로)
  • Treatment user 의 click 이 더 informative (model 이 학습 가능한 양질 데이터)
  • 다음 학습 round → Control model 도 같은 양질 데이터 반영
  • 시간이 지날수록 Control 의 ranking 도 개선
  • 측정: 시간 흐를수록 delta underestimate
직관: 학습 의 cross-contamination

이 leakage 는 시간 dependence 가 가장 강함. 실험 초기 → bias 작음, 실험 후기 → bias 큼 (학습 누적).

해결: variant 별 분리 학습 — Treatment data 는 Treatment model 만, Control data 는 Control model 만. 단점: training data 가 절반 으로 → 작은 model 의 성능 저하.

3.6 CPU Contention (공유 hardware)

Mechanism
3.6.0.1 가정
  • Treatment·Control 의 request 가 동일 server 에서 처리
  • Treatment 의 bug 또는 새 feature 가 CPU 점유 가 큼
3.6.0.2 Treatment 시나리오
  • Treatment 의 새 feature 가 CPU·memory 점유 증가
  • 같은 machine 의 Control request 의 응답 도 늦어짐
  • Control 의 latency 악화
  • 측정: delta (Treatment latency - Control latency) underestimate (의 부정 효과)
직관: 의식하지 못하는 leakage

이건 가장 위험 — code 에 명시적 dependency 가 없는데 leakage. shared infrastructure 는 모든 곳에 있다 (cache, rate limiter, log pipeline, …).

해결: ramp 단계 (small datacenter → 1% → 10%) 에서 outlier 탐지 + monitoring. 실무: Treatment·Control 의 server 분리 (단, heterogeneity confounding 위험).

3.7 Sub-User Experiment Unit (page-level randomization)

Mechanism
3.7.0.1 가정
  • 일반적으로 user-level randomization 이 표준
  • 일부 실험 은 page·session·query 단위 randomization (smaller unit, more sample)
3.7.0.2 Treatment 시나리오
  • Treatment 가 page latency 개선
  • 같은 user 가 page 마다 다른 variant 경험 (mixed experience)
  • 빠른 page 후 느린 page 시 — 행동 이 학습 효과 로 변화 (anchoring)
  • Treatment effect 가 Control page 에 spillover
3.7.0.3 latent connection
  • 매개체: 동일 사용자 — Treatment·Control page 모두 한 사람의 경험
  • 사용자 의 학습·기억·기대 가 매개
직관: smaller unit 의 hidden cost

작은 unit 으로 randomize 하면 sample 증가 → power ↑. 하지만 user-level learning effect 가 있으면 spillover.

규칙: smaller unit 으로 갈수록 learning effect 가 없음을 가정 — 가정 점검 필수. 대부분 의 user-facing UI 변화 는 user-level 이 안전.

4 비교

사례 매개체 bias 방향 bias 강도 시간 의존 해결 패턴
Facebook 메시지 친구 graph underestimate 중간 약 network-cluster, ego-centric
Skype call 통신 양방향 underestimate 강 약 network-cluster
Airbnb 재고 inventory overestimate 강 중간 geo, time
Uber surge 가격·driver overestimate 강 중간 geo, time
eBay auction item overestimate 중간 약 geo
Ad budget 공유 budget overestimate 강 강 (월말) budget split
Relevance model 학습 data underestimate 강 강 (누적) model split
CPU contention hardware underestimate (의 -) 변동 약 server split, monitoring
Sub-user unit 사용자 학습 underestimate 약~중 약 user-level fallback

5 Python 예시 — leakage 정도 시뮬레이션

import numpy as np

np.random.seed(2026)

def simulate_social_spillover(n_users=20000, alpha=0.3, true_lift=0.10):
    """
    direct connection 의 spillover model.
    alpha: T → C 전파 비율 (0 < alpha < 1).
    true_lift: T 의 진짜 lift.
    """
    assignment = np.random.randint(0, 2, size=n_users)
    base_p = 0.20

    # Treatment: 진짜 lift 적용
    p_t = base_p * (1 + true_lift)
    # Control: spillover 받음 (Treatment 의 alpha 배 effect)
    p_c = base_p * (1 + alpha * true_lift)

    p = np.where(assignment == 1, p_t, p_c)
    y = np.random.binomial(1, p, size=n_users)

    rate_t = y[assignment == 1].mean()
    rate_c = y[assignment == 0].mean()
    observed_lift = (rate_t - rate_c) / rate_c
    return rate_t, rate_c, observed_lift

for alpha in [0.0, 0.2, 0.5, 0.8]:
    rate_t, rate_c, obs = simulate_social_spillover(alpha=alpha)
    print(f"alpha={alpha:.1f}: T={rate_t:.4f}, C={rate_c:.4f}, "
          f"obs_lift={obs:.2%}, true_lift=10.00%, "
          f"underestimate_factor={(1-alpha):.1%}")
시뮬레이션 해석

α=0.0: spillover 없음 → 측정 lift ≈ 진짜 10% α=0.5: spillover 절반 → 측정 lift ≈ 5% α=0.8: spillover 강함 → 측정 lift ≈ 2%

직관: spillover 비율 α 만큼 측정 효과 가 (1-α) 배 축소 — direct connection 의 typical underestimate.

6 응용 / 진단 체크리스트

  • 매개체 식별: 코드·architecture·graph·자원·시간·사용자 unit
  • bias 방향 추정: 매개체 가 zero-sum 자원 → over, positive externality → under
  • 시간 의존 패턴 점검: budget·learning 은 강한 시간 의존
  • ramp 의 outlier 탐지 (small datacenter, 1% → 50% 비교)
  • 의심 시 isolation 적용 — F22-3 의 4 갈래 중 매개체 에 맞는 것

7 관련 주제

  • F22-0 overview — Ch.22 전체 지도
  • F22-2 — Practical Solutions + Ecosystem Value
  • F22-3 — Isolation 4 갈래 + edge-level + monitoring
  • Ch.14 (F-KOH14) — Randomization unit 의 trade-off (smaller unit 의 leakage 위험)
  • D-18 — Time-varying treatment (time-based randomization 의 친척)
출처
  • Kohavi, Tang, Xu (2020). Trustworthy Online Controlled Experiments. Ch.22.
  • Eckles, Karrer, Ugander (2017). “Design and Analysis of Experiments in Networks.”
  • Gui, Xu, Bhasin, Han (2015). “Network A/B Testing.” WWW 2015.
  • Chamandy (2016). “Experimentation in a Ridesharing Marketplace.” Lyft Engineering.
  • Blake and Coey (2014). “Why Marketplace Experimentation is Harder.” EC 2014.
  • Holtz (2018). “Limiting Bias from Test-Control Interference.” MIT Thesis.
  • Kohavi, Longbotham et al. (2009). “Seven Pitfalls.”
  • Barrilleaux and Wang (2018). “Spreading the Love in the LinkedIn Feed.”
]]> Experimentation A/B Test kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F22-1-direct-indirect-connections.html Fri, 08 May 2026 15:00:00 GMT Kohavi Ch.22.3 — Rule-of-Thumb · Ecosystem Value · Practical Solutions Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F22-2-practical-solutions-ecosystem-value.html

1 정의

정의: Rule-of-Thumb (Ecosystem Value of an Action)

leakage 가 의심되는 action 의 downstream impact 를 사전 calibration 한 multiplier 로 보정 (Kohavi, Tang, Xu, 2020, Ch.22; Tutterow and Saint-Jacques 2019).

1.0.0.1 형식적 표현

특정 action (예: 메시지 보냄) 의 총 효과 = 1 차 + downstream:

  • : action 가 downstream metric 에 끼치는 multiplier (historical experiment 들 로 calibrated)
  • : 발생 시 metric 의 응답 expectation
1.0.0.2 분석 절차
  1. action 의 1 차 metric (예: messages sent) delta 측정
  2. downstream metrics (replies, sessions, retention) delta 측정
  3. pre-calibrated multipliers 적용
  4. ecosystem-corrected delta 계산
직관

Rule-of-thumb 의 사고:

  • Bernoulli randomization 은 sample 크고 power 좋음 — 포기 하기 아쉽다
  • 하지만 leakage 로 인해 1 차 metric 의 delta 만 보면 underestimate
  • 해결: downstream metric 도 같이 측정 + historical multiplier 로 보정

비유: 사진 찍을 때 직접 빛 만 보지 말고 반사 빛 도 함께 측정. 두 빛을 알면 진짜 풍경 의 밝기 를 추정 가능.

2 왜 필요한가

다른 isolation 방식 의 한계
방식 한계
Splitting resources shared machines, training data 의 일부만 적용 가능
Geo-based sample size 가 지역 수 로 제한 → variance 증가
Time-based 시간 효과 강해 적용 어려움
Network-cluster dense graph 에서 isolation 불완전
Ego-centric 구현 복잡, ego/alter 분리 필요
2.0.0.1 Bernoulli 의 장점
  • sample size 최대 (모든 사용자 단위)
  • 구현 단순 (기존 randomization 재사용)
  • power 좋음
2.0.0.2 Rule-of-thumb 의 위치

Bernoulli 유지 + post-hoc downstream 보정 = sample size 최대 + leakage 부분 보정. 실험 의 대부분 에 적용 가능.

3 1차 vs Downstream Metric

정의
3.0.0.1 1 차 metric (first-order action)
  • 사용자 가 직접 수행하는 action
  • 예: 메시지 보냄, post 함, like 함, invitation 보냄
3.0.0.2 Downstream metric
  • 1 차 action 에 반응 하는 metric
  • 예: 받은 메시지 의 reply, post 의 like·comment, invitation 의 accept
3.0.0.3 LinkedIn 의 사례 (Barrilleaux and Wang 2018)
1 차 action Downstream metric
Total messages sent Total messages responded to
Total posts created Total likes / comments received
Total likes / comments given Total creators receiving these
직관: depth · breadth 의 측정

downstream metric 은 2 차 wave 측정.

  • Depth: 1 명의 친구 가 몇 번 응답 하는가
  • Breadth: 응답 한 친구 가 몇 명인가
  • 두 axis 의 곱 → ecosystem 영향 의 총량

레슨: downstream metric 의 delta 가 0 인 실험 은 leakage 우려 가 없음 (다음 ecosystem multiplier 작용 안 함). delta 가 큰 실험 만 보정 필요.

4 Ecosystem Multiplier 추정 — Instrumental Variable 접근

Mechanism (Tutterow and Saint-Jacques 2019)
4.0.0.1 IV 의 사고

historical experiment 들 의 데이터 — 각 실험 마다:

  • : 1 차 action delta
  • : 최종 value (예: long-term engagement, revenue) delta

가정: 실험 의 randomization 은 exogenous (다른 confounder 와 무관). 따라서 실험 가 instrument 역할.

4.0.0.2 Multiplier 추정

또는 회귀:

4.0.0.3 적용

새 실험 의 측정 → ecosystem-corrected .

직관: 과거 실험 의 자산화

이 접근 의 가치: 과거 실험 들 이 자산 화 — 한 번 multiplier 만 추정하면 모든 새 실험 에 즉시 활용.

비유: 환율 — 한 번 계산해 둔 (원/달러) 환율로 모든 거래 의 환산 가능.

적용 예시 (LinkedIn 메시지)

historical experiment 의 20 건 분석:

  • 메시지 1 % 증가 → ecosystem 값 (장기 retention) 0.5 % 증가
  • multiplier

새 실험 결과:

  • (messages sent) = +3.0%
  • (immediate metric) 만 보면 +1.5% (underestimate)
  • ecosystem-corrected: → 실제 +1.5% (이 multiplier 와 일치)

이 경우 underestimate 가 명시적 으로 모델링 됨.

5 한계

4 가지 한계
5.0.0.1 1. Multiplier 의 평균 화 (rule-of-thumb 의 본질)
  • 는 historical experiment 들 의 평균
  • 특정 새 실험 의 multiplier 가 다를 수 있음 (예: 메시지 의 질 이 다른 경우)
5.0.0.2 2. Action type 별 보정 필요
  • 한 multiplier 가 모든 action 에 적용되지 않음
  • “메시지 보냄” 과 “invitation 보냄” 은 다른 multiplier
  • action type 마다 historical calibration 필요
5.0.0.3 3. Network 구조 의존
  • multiplier 는 현재 graph 구조 에 calibrated
  • graph 가 시간 따라 변하면 multiplier 도 drift
  • 정기 재추정 (예: 분기마다) 필요
5.0.0.4 4. Heterogeneity
  • 평균 multiplier 가 일부 cohort (예: super-user) 에는 매우 부정확
  • subgroup 별 multiplier 추정 시 sample 부족
직관: 평균 의 함정

Rule-of-thumb 의 핵심 가정 은 “새 실험 도 historical 평균 과 비슷”. 가정 깨질 수 있는 상황:

  • 새 feature 가 특별히 viral — historical 평균 보다 큰 multiplier
  • 새 feature 가 passive (예: 자동화 메시지) — multiplier 더 작음
  • target population 이 historical 과 다름 — multiplier 다름

레슨: rule-of-thumb 는 근사 도구. 큰 의사결정 (전사 launch) 시 추가 isolation 실험 으로 검증 필요.

6 Bernoulli 와 의 호환성

호환 매트릭스
Approach sample size leakage 보정 Bernoulli 호환
Bernoulli only 최대 없음 yes
Bernoulli + Rule-of-thumb 최대 부분 (downstream) yes
Geo-based 작음 강 no (지역 단위)
Network-cluster 작음 강 no (cluster 단위)
Ego-centric 중간 강 partial (ego 만 Bernoulli)
Edge-level 최대 강 yes (post-hoc 분석)
6.0.0.1 적용 우선 순위
  1. Bernoulli + Rule-of-thumb: 일반적 leakage 의심 시 1차 시도
  2. Bernoulli + Edge-level: 명시적 edge 가 있는 사회 네트워크
  3. Geo-based: marketplace 의 강한 자원 경쟁
  4. Network-cluster · Ego-centric: 사회 네트워크 의 큰 실험
직관: 단순함 의 가치

Rule-of-thumb 는 가장 단순한 보정. 단순 하다 = 광범위 적용 가능.

비유: 환율 vs hedging. 환율 (rule-of-thumb) 은 모든 거래에 즉시 적용. hedging (network-cluster) 은 큰 거래에만 적용.

레슨: 일반 실험 의 80% 는 rule-of-thumb 충분. 나머지 20% (경쟁·네트워크 강함) 만 heavy isolation.

7 Python 시뮬레이션 — Rule-of-Thumb 보정

import numpy as np

np.random.seed(2026)

def simulate_with_spillover_and_correction(
    n_users=20000, alpha=0.4, true_lift=0.08, multiplier_prior=0.5
):
    """
    spillover 가 있는 실험 + downstream metric 측정 + multiplier 보정.
    """
    assignment = np.random.randint(0, 2, size=n_users)
    base_p_action = 0.30
    base_p_response = 0.15

    # 1차 action (예: messages sent)
    p_action_t = base_p_action * (1 + true_lift)
    p_action_c = base_p_action * (1 + alpha * true_lift)
    p_action = np.where(assignment == 1, p_action_t, p_action_c)
    actions = np.random.binomial(1, p_action, size=n_users)

    # downstream metric (예: messages responded to)
    p_response_t = base_p_response * (1 + alpha * true_lift)  # downstream 도 spillover
    p_response_c = base_p_response * (1 + alpha * 0.5 * true_lift)
    p_response = np.where(assignment == 1, p_response_t, p_response_c)
    responses = np.random.binomial(1, p_response, size=n_users)

    # 1차 delta (raw)
    rate_action_t = actions[assignment == 1].mean()
    rate_action_c = actions[assignment == 0].mean()
    delta_action = (rate_action_t - rate_action_c) / rate_action_c

    # downstream delta
    rate_resp_t = responses[assignment == 1].mean()
    rate_resp_c = responses[assignment == 0].mean()
    delta_resp = (rate_resp_t - rate_resp_c) / rate_resp_c

    # corrected delta = action_delta + multiplier * downstream_delta
    corrected = delta_action + multiplier_prior * delta_resp

    return delta_action, delta_resp, corrected

raw, down, corrected = simulate_with_spillover_and_correction()
print(f"True lift:                  8.00%")
print(f"Raw 1차 delta (biased):     {raw:.2%}")
print(f"Downstream delta:           {down:.2%}")
print(f"Corrected (rule-of-thumb):  {corrected:.2%}")
시뮬레이션 해석

raw delta 는 진짜 8% 보다 작음 (spillover 로 underestimate). downstream delta 도 양수 — ecosystem 영향 의 신호. corrected delta 는 raw + multiplier × downstream → 진짜 효과 에 근접.

이 시뮬레이션은 rule-of-thumb 가 완벽 하지 않지만 의미 있는 보정 을 제공함을 보여준다. multiplier 의 정확도 가 보정 의 정확도 를 결정.

8 사례

LinkedIn
  • Feed 실험 의 creator-side optimization (Barrilleaux and Wang 2018)
  • 1 차: post engagement (like, comment)
  • downstream: post 의 creator 의 retention
  • multiplier 는 historical experiment 로 추정 (분기 마다 재추정)
8.0.0.1 Bing
  • ad 실험 의 ecosystem value
  • 1 차: query·click
  • downstream: search session 의 retention
  • multiplier 가 ad type 별로 다름
8.0.0.2 일반 패턴
  1. action type 정의 (메시지·post·click·…)
  2. action 별 1 차·downstream metric pair 정의
  3. historical experiment cohort 에서 multiplier 회귀
  4. 새 실험 마다 raw + corrected 둘 다 보고

9 비교

차원 Raw delta Rule-of-thumb corrected
데이터 요구 실험 데이터 만 + downstream metric + historical multiplier
sample size Bernoulli 최대 Bernoulli 최대 (변경 없음)
구현 단순 약간 복잡 (multiplier 관리)
Bias 보정 없음 부분적 (downstream 만)
정확도 평균 적 underestimate 더 정확 (단, multiplier 의 평균 한계)
의사결정 conservative 더 가까운 추정

10 응용

  • 사회 engagement 실험 (메시지·post·like·share)
  • two-sided platform 의 수요 측 실험 (advertiser·publisher)
  • recommendation 실험 의 indirect effect (recommend → click → retention)
  • search ranking 의 query·click chain

11 실무 체크리스트

  1. 실험 의 1 차 action 정의
  2. 1 차 action 의 downstream metric 정의
  3. historical experiments 에서 multiplier 추정 (분기 마다)
  4. 실험 보고 시 raw delta + corrected delta 둘 다 표기
  5. multiplier 의 uncertainty 도 함께 보고 (CI 또는 IQR)
  6. 큰 의사결정 (전사 launch) 시 추가 isolation 실험 검증

12 관련 주제

  • F22-0 overview — Ch.22 전체 지도
  • F22-1 — Direct·Indirect 6 사례
  • F22-3 — Isolation 4 갈래 + edge-level + monitoring
  • D-21 (Hernan 22) — Time-varying treatment 의 IV 외삽
  • F-KOH18 (Variance) — Rule-of-thumb multiplier 의 variance 영향
출처
  • Kohavi, Tang, Xu (2020). Trustworthy Online Controlled Experiments. Ch.22.3 (Some Practical Solutions — Rule-of-Thumb).
  • Tutterow and Saint-Jacques (2019). LinkedIn ecosystem value 추정.
  • Barrilleaux and Wang (2018). “Spreading the Love in the LinkedIn Feed.”
  • Gupta et al. (2019). “Top Challenges from the OCE Summit.”
]]> Experimentation A/B Test kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F22-2-practical-solutions-ecosystem-value.html Fri, 08 May 2026 15:00:00 GMT Kohavi Ch.22.4~22.6 — Isolation 4 갈래 · Edge-Level · Detection·Monitoring Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F22-3-isolation-edge-detection.html

1 정의

정의: Isolation (격리)

leakage 의 매개체 를 식별 후 Treatment 와 Control 사이 의 통로 를 차단 또는 randomization unit 을 매개체 단위 로 변경 (Kohavi, Tang, Xu, 2020, Ch.22.4).

1.0.0.1 4 갈래 (+1 변종)
  1. Splitting shared resources: 자원 (budget·training data) 을 variant 비율 로 분리
  2. Geo-based randomization: 지역 단위 randomization
  3. Time-based randomization: 시간 단위 (분·시간·일) randomization
  4. Network-cluster randomization: 사회 네트워크 의 cluster 단위
  5. Ego-centric randomization: ego (focal) + alters (인접) 의 변종
1.0.0.2 Edge-Level Analysis (보조)

Bernoulli randomization 위에 edge 단위 post-hoc 분석. 4 type (T-T, T-C, C-T, C-C) 의 contrast 로 unbiased delta 추출.

직관: 매개체 와 isolation 의 매핑
매개체 isolation 1 차 선택
budget·training data splitting resources
inventory·pricing (marketplace) geo-based
단기 transactional event time-based
사회 네트워크 (밀집) network-cluster, ego-centric
사회 네트워크 (희소) edge-level analysis

규칙: 매개체 의 단위 와 randomization unit 을 일치 시킴 → leakage 차단.

2 1. Splitting Shared Resources

Mechanism
2.0.0.1 적용 영역
  • ad campaign 의 공유 budget
  • relevance model 의 공유 training data
  • 추천 시스템 의 공유 inventory
2.0.0.2 절차
  1. 공유 자원 식별 (budget, data pool, …)
  2. variant traffic 비율 (예: 50/50) 과 동일 비율 로 자원 할당
  3. variant 별 별도 자원 풀 운영
2.0.0.3 예시

ad budget 100k$ + 50/50 traffic:

Treatment budget: 50k$
Control budget:   50k$
각 variant 의 click 만 자기 budget 에서 차감
2 가지 watch-out
2.0.0.4 1. Resource heterogeneity

machine·server 의 hardware 가 동질 적이지 않으면 분리 시 confounding 도입:

  • machine A (Treatment 전용): 빠른 CPU
  • machine B (Control 전용): 느린 CPU
  • → Treatment 가 baseline 부터 우세

해결: machine 풀 을 random shuffle 하여 두 variant 에 동등 split.

2.0.0.5 2. Resource amount 의 의도적 imbalance

50/50 traffic 이 아닌 95/5 traffic 시 budget 도 95/5 분할 → Control 의 5% 가 너무 작아 model 학습 부족, training data 의 다양성 부족.

규칙: training data·model 학습 시 가능 하면 50/50 split 권장.

직관

splitting 은 가장 명시적 isolation. 자원 의 boundary 를 명확히 하면 leakage 차단.

하지만 자원 이 불가분 (CPU·cache·shared session) 일 때 적용 불가 → 다른 isolation 필요.

3 2. Geo-Based Randomization

Mechanism
3.0.0.1 적용 영역
  • 지리 의존 marketplace (Airbnb hotel, Uber/Lyft taxi)
  • 지역별 ad campaign
3.0.0.2 가정 (Vaver and Koehler 2011, 2012)
  • 다른 지역 의 unit 들 사이 leakage 거의 없음
  • 같은 지역 내 의 unit 들 사이 leakage 발생 가능
3.0.0.3 절차
  1. 지역 정의 (city, MSA, country)
  2. 지역 단위 randomization (city A → Treatment, city B → Control)
  3. 분석 단위 도 지역 — paired t-test 또는 difference-in-differences
3.0.0.4 Sample size 의 한계

지역 수 가 sample size — 보통 100~1000 단위. user-level (millions) 보다 훨씬 작음.

user-level: n = 10M users → variance ~ 1/sqrt(10M)
geo-level:  n = 100 cities → variance ~ 1/sqrt(100)
→ geo 의 std error 가 ~316 배 큼
직관: variance 의 trade-off

geo-based 의 가장 큰 비용 은 sample size 손실 → variance 폭증.

해결책:

  • Pre-experiment covariate adjustment (CUPED, Ch.18): 같은 city 의 historical metric 으로 variance 줄임
  • Stratified randomization: 비슷한 city 끼리 strata, strata 내 randomize
  • Time dimension 추가: 같은 city 의 여러 기간 → sample 늘림 (DiD)

레슨: geo-based 는 variance reduction 와 반드시 결합 — 안 그러면 underpowered.

Geo 의 응용
3.0.0.5 Lyft (Chamandy 2016)
  • city 단위 randomization
  • 같은 city 내 driver-rider 는 spillover, 다른 city 는 거의 없음
  • variance 줄이기: log scale, paired t-test (Treatment city ↔︎ matched Control city)
3.0.0.6 Uber
  • city · time-of-day 의 cross-product 로 unit 정의
  • “switchback” — 같은 city 가 시간대 별로 T → C → T → … (Phase J-SWITCH 참조)

4 3. Time-Based Randomization

Mechanism
4.0.0.1 가정 (Bojinov and Shephard 2017; Hohnhold et al. 2015)
  • 시간 마다 모든 사용자 가 같은 variant
  • 같은 사용자 의 시간 차 leakage 가 미미 (transactional 효과)
4.0.0.2 절차
  1. 시간 단위 정의 (분·시간·일·주)
  2. 시간 단위 마다 coin flip → 모두 T 또는 모두 C
  3. 분석: T 시간 의 metric vs C 시간 의 metric (paired t-test 또는 covariate adjustment)
4.0.0.3 Sample size 의 한계

시간 단위 수 = sample size:

단위 1 주 sample size
second 604,800
minute 10,080
hour 168
day 7

day-level 은 sample 너무 작음 → 적어도 hour-level 권장.

직관: 시간 효과 의 통제

time-based 의 도전: 시간 효과 가 강함 — 요일·시간대·계절성.

naive analysis:
  T 시간: 평균 metric = 100
  C 시간: 평균 metric = 80
  delta: +25%

But! C 시간 의 절반 이 새벽 → 자연 적으로 metric 낮음
실제 effect 는 +25% 가 아님

해결:

  • Paired t-test (같은 시간대 의 T-day vs C-day 비교)
  • Covariate adjustment (시간대·요일 dummy 변수)
  • Switchback design (Phase J-SWITCH-1) — 같은 단위 시간 내 T→C→T 반복
Time-based 와 ITS

interrupted time series (ITS, Ch.11): pre-period 를 control 로 사용하는 시간 비교.

차이:

차원 Time-based randomization ITS
randomization 매 시간 단위 마다 coin flip 한 번 의 intervention
가정 시간 효과 model 가능 시간 추세 model 가능
적용 빠른 spillover (분·시간) 큰 변화 (정책·feature launch)

5 4. Network-Cluster Randomization

Mechanism (Gui et al. 2015; Backstrom and Kleinberg 2011)
5.0.0.1 적용 영역
  • 사회 네트워크 (Facebook, LinkedIn, Twitter)
  • 사용자 그룹 의 spillover
5.0.0.2 절차
  1. graph 의 cluster 분할 (예: METIS, modularity-based)
  2. cluster 단위 randomization (cluster A → T, cluster B → C)
  3. 분석: cluster 단위 t-test 또는 mixed-effects model
5.0.0.3 Cluster 의 trade-off
큰 cluster (예: 100k user 1 cluster):
  + isolation 강 (cluster 내 spillover 가 cluster 안 으로 한정)
  - sample size 작음 (cluster 수 적음)

작은 cluster (예: 100 user 1 cluster):
  + sample size 큼
  - inter-cluster edge 비율 높음 → leakage 잔존
직관: 그래프 의 cut

cluster 는 graph cut 문제: cluster 내 edge 를 최대화, cluster 사이 edge 를 최소화.

LinkedIn 사례 (Saint-Jacques et al. 2018):

  • 10,000 cluster 시도
  • 80%+ edge 가 cluster 사이 — perfect isolation 불가

레슨: 사회 네트워크 의 dense graph 는 완벽한 isolation 어렵다. cluster 는 부분 적 isolation 으로 인식 — combined methods (cluster + edge analysis) 권장.

한계 와 해결
5.0.0.4 1. Inter-cluster edge

dense graph 에서 의 cluster 사이 edge 가 spillover 의 잔여 채널. 해결: cluster 분할 시 engaged subgraph (실제 메시지 가 흐르는 edge) 만 cut.

5.0.0.5 2. Effective sample size

cluster 수 = sample size — variance bias trade-off:

cluster 수 ↑: variance ↓, but isolation ↓ (작은 cluster → inter-cluster edge 많음)
cluster 수 ↓: isolation ↑, but variance ↑

해결: time dimension 결합 (같은 cluster 의 여러 기간) 또는 covariate adjustment.

6 5. Ego-Centric Randomization

Mechanism (Saint-Jacques et al. 2018b)

cluster randomization 의 변종 — 각 cluster 가 특정 구조: ego (focal) + alters (인접).

6.0.0.1 절차
  1. graph 의 모든 ego (focal individual) 식별
  2. 각 ego 의 alters (immediate neighbors) 묶음
  3. ego 의 variant 배정 + alters 의 별도 variant 배정 (예: alters 모두 T, ego 절반 T)
  4. ego 의 metric 만 비교 (T ego vs C ego)
6.0.0.2 분석 의 강점
  • first-order impact: ego 자체 의 행동 변화 (T·C ego 비교)
  • downstream impact: alter 가 모두 T 일 때 ego 의 응답 (전파 측정)
  • interaction effect: ego 와 alter 의 모든 조합
6.0.0.3 효율 성

cluster 가 작음 (~ degree+1) → cluster 수 많음 → sample 보다 큼 (network-cluster 보다)

직관: 분석 단위 의 분리

ego-centric 의 우아함: randomization 과 분석 의 분리.

  • randomization unit: ego (사람 또는 작은 cluster)
  • analysis unit: ego 의 metric만
  • alters 는 통제 변수 — graph 의 spillover 를 명시적 모델링

비유: 식물 실험 — 이웃 식물 의 효과 (햇빛 차단·수분 경쟁) 가 있다고 알려져 있을 때 central 식물 만 측정, 주변 식물 은 통제 로.

7 6. Edge-Level Analysis

Mechanism

Bernoulli randomization (user-level) 위 의 post-hoc 분석. 모든 interaction (edge) 을 4 type 으로 라벨:

  • T → T (Treatment user 가 Treatment user 에게)
  • T → C
  • C → C
  • C → T
7.0.0.1 분석 패턴
7.0.0.2 Unbiased delta 추출
metric_TT = (T → T edge 의 평균 행동)
metric_CC = (C → C edge 의 평균 행동)
unbiased_delta = metric_TT - metric_CC

T → T 와 C → C 는 internal — 각각 의 universe 로 해석 가능.

7.0.0.3 Treatment affinity

T → T edge 비율 vs T → C edge 비율 → T 가 T 끼리 더 자주 message 하는가?

7.0.0.4 Response rate

T 의 새 action 에 대한 응답 률 (T 의 message 의 reply rate vs C 의 message 의 reply rate)

직관: 그래프 의 분해

edge-level 의 핵심: user 단위 randomization 의 통계적 power 를 유지하면서 edge 단위 spillover 를 명시적 측정.

레슨: 사회 네트워크 의 명시적 interaction (메시지·like) 이 있는 경우 가장 강력 한 도구. 단, edge 가 잘 정의 되지 않은 경우 (예: feed view) 적용 어려움.

8 7. Detection & Monitoring

Ramp 단계 의 outlier 감시

ramp (Ch.15) 는 leakage 발견 의 1차 방어선:

8.0.0.1 단계
  1. employees (~100 명): 큰 functional bug 발견
  2. small datacenter (~10K user): infrastructure leakage (CPU·memory)
  3. MPR (1%): traffic 의 1% — interaction effect 시작
  4. scale up (10%, 50%): marketplace contention 노출
8.0.0.2 Outlier 신호
  • 1% 와 50% ramp 의 effect 크기 가 크게 다름 → leakage 의심
  • 1% 의 +5% effect 가 50% 에서 +1% → 자원 contention 가능성
  • 시간 따른 effect drift (학습 효과 또는 budget 소진)
Alert System
8.0.0.3 모니터링 지표
  • Treatment·Control 의 infrastructure metric (CPU, memory, latency 의 99 percentile)
  • ad budget 의 소진 속도 (variant 별)
  • relevance model 의 training data freshness
8.0.0.4 Trigger 조건
  • 같은 server 의 Treatment·Control latency drift > 5%
  • ad budget 소진 속도 의 variant 격차 > 20%
  • training data 의 variant 별 비율 의 design 이탈
8.0.0.5 사례

Bing 의 trustworthy A/B testing platform: 50+ guardrail metric 자동 모니터링, 이상 시 실험 자동 중단.

직관: 측정 가능성 의 한계

leakage 의 정확 한 측정 은 어려움 — 특히 isolation 미적용 의 일반 실험. 하지만 감시 는 항상 가능.

규칙: 의심 → 측정 시도 → 측정 불가 시 alert + ramp 단계 분석 으로 부분 점검. “측정 안 되니 무시” 는 가장 위험.

9 비교 — 모든 isolation

접근 적용 매개체 sample size bias 제거 구현 비용 Variance
Splitting resources budget, training data 큼 강 중간 동일
Geo-based inventory·marketplace 작음 강 중간 큼 (CUPED 결합 필수)
Time-based transactional spillover 작음~중간 강 낮음 큼 (paired test 결합)
Network-cluster dense social graph 작음 부분 높음 큼
Ego-centric sparse social graph 중간 강 높음 중간
Edge-level 명시적 interaction graph 큼 (Bernoulli) 강 중간 (분석) 중간
Rule-of-thumb 일반 사회 engagement 큼 (Bernoulli) 부분 낮음 동일
결합 의 가치

isolation 들 은 상호 배타 가 아닌 결합 가능:

  • Geo + CUPED: marketplace 실험 의 variance 보강
  • Time + paired t-test: transactional 의 시간 효과 통제
  • Network-cluster + edge-level: 사회 네트워크 의 isolation + post-hoc detail
  • Splitting + ramp monitoring: budget 분리 + 안전 ramp

규칙: 큰 실험 일수록 복합 isolation — 한 가지 만으로 부족.

10 Python 시뮬레이션 — geo-based 의 variance trade-off

import numpy as np

np.random.seed(2026)

def simulate_geo_vs_user_level(n_users_per_geo=10000, n_geos=100, true_lift=0.05):
    """
    같은 데이터 를 user-level 과 geo-level 로 분석 비교.
    """
    # 각 geo 의 baseline 차이 (heterogeneity)
    geo_baseline = np.random.normal(0.20, 0.05, size=n_geos)

    user_metric = []
    user_assignment = []
    geo_metric_t, geo_metric_c = [], []

    for g in range(n_geos):
        baseline = geo_baseline[g]
        # geo-level: geo 단위 randomization
        geo_assign = np.random.randint(0, 2)
        p = baseline * (1 + true_lift) if geo_assign == 1 else baseline
        users = np.random.binomial(1, p, size=n_users_per_geo)

        if geo_assign == 1:
            geo_metric_t.append(users.mean())
        else:
            geo_metric_c.append(users.mean())

        user_metric.extend(users)
        user_assignment.extend([geo_assign] * n_users_per_geo)

    user_metric = np.array(user_metric)
    user_assignment = np.array(user_assignment)

    # user-level analysis (잘못된, leakage 무시)
    rate_t_user = user_metric[user_assignment == 1].mean()
    rate_c_user = user_metric[user_assignment == 0].mean()
    se_user = np.sqrt(
        rate_t_user * (1 - rate_t_user) / (user_assignment == 1).sum()
        + rate_c_user * (1 - rate_c_user) / (user_assignment == 0).sum()
    )

    # geo-level analysis
    geo_metric_t = np.array(geo_metric_t)
    geo_metric_c = np.array(geo_metric_c)
    se_geo = np.sqrt(
        geo_metric_t.var() / len(geo_metric_t)
        + geo_metric_c.var() / len(geo_metric_c)
    )

    return rate_t_user, rate_c_user, se_user, geo_metric_t.mean(), geo_metric_c.mean(), se_geo

t_u, c_u, se_u, t_g, c_g, se_g = simulate_geo_vs_user_level()
print(f"User-level: delta = {t_u - c_u:.4f}, SE = {se_u:.6f}")
print(f"Geo-level:  delta = {t_g - c_g:.4f}, SE = {se_g:.6f}")
print(f"SE ratio (geo / user): {se_g / se_u:.1f}x")
시뮬레이션 해석

user-level 분석 은 sample size 가 많아 SE 가 매우 작음. geo-level 은 sample 이 geo 수 (100) 로 줄어들어 SE 가 수십 배 큼.

geo-level 의 진짜 가치 는 leakage 가 있을 때 bias 제거. user-level 의 작은 SE 는 biased estimator 의 SE — 무의미.

규칙: leakage 가 있으면 작은 SE 라도 잘못된 의사결정. unbiased 추정량 의 큰 SE 가 올바른 추정.

11 응용

  • 사회 네트워크 의 engagement 실험: ego-centric + edge-level
  • Marketplace (Airbnb, Uber): geo + CUPED + DiD
  • Ad platform: budget split + ramp monitoring + scenario testing
  • Search relevance: model 분리 학습 + holdback experiment
  • Streaming platform: time-based switchback (콘텐츠 인기 의 시간 의존)

12 실무 체크리스트

  1. 매개체 식별 (graph·자원·시간·사용자 unit)
  2. 매개체 에 맞는 isolation 1 차 선택
  3. variance 보강 (CUPED·paired t-test·stratification) 결합
  4. ramp 단계 마다 outlier 점검
  5. monitoring alert 자동화 (CPU, budget, training data)
  6. sample size 계산 시 isolation 의 variance 증가 미리 반영
  7. SRM (Ch.21) 점검 — isolation 가 design ratio 무너뜨릴 수 있음

13 관련 주제

  • F22-0 overview — Ch.22 전체 지도
  • F22-1 — Direct·Indirect 6 사례
  • F22-2 — Rule-of-Thumb · Ecosystem Value
  • Ch.14 (F-KOH14) — Randomization unit 의 trade-off
  • Ch.15 (F-KOH15) — Ramp 의 leakage 점검
  • Ch.18 (F-KOH18) — CUPED variance reduction
  • Ch.21 (F-KOH21) — SRM 점검
  • J-SWITCH 시리즈 — Time-based 의 일반화
출처
  • Kohavi, Tang, Xu (2020). Trustworthy Online Controlled Experiments. Ch.22.4~22.6.
  • Vaver and Koehler (2011, 2012). Geo-based experiments.
  • Bojinov and Shephard (2017). Time series experiments and causal estimands.
  • Hohnhold, O’Brien, Tang (2015). “Focus on the Long-Term.”
  • Gui, Xu, Bhasin, Han (2015). “Network A/B Testing.”
  • Backstrom and Kleinberg (2011). “Network Bucket Testing.” WWW 2011.
  • Saint-Jacques et al. (2018, 2018b). LinkedIn ego-centric randomization.
  • Cox (1958). Planning of Experiments.
  • Katzir, Liberty, Somekh (2012). “Network Bucket Testing.”
]]> Experimentation A/B Test kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F22-3-isolation-edge-detection.html Fri, 08 May 2026 15:00:00 GMT Kohavi Ch.23 개관 — Long-Term Treatment Effects (장기 처리 효과) Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F23-0-long-term-effects-overview.html

1 정의

정의: Long-Term Treatment Effect (장기 처리 효과)

Treatment 의 asymptotic (점근) 효과 — 시간이 매우 길어졌을 때 의 결과 (Kohavi, Tang, Xu, 2020, Ch.23).

1.0.0.1 실무 정의
  • 이론 적: 의 effect
  • 실무 적: 3+ months 또는 exposure 횟수 (예: feature 10 회 이상 노출 한 user 의 effect)
1.0.0.2 Short-term 과 의 비교
  • Short-term: 1~2 주 의 average effect — 책 권장 일반 실험 기간
  • Long-term: 3 개월 + 또는 사용자 의 adapted 행동 의 effect
1.0.0.3 인용 (Roy Amara)

“We tend to overestimate the effect of a technology in the short run and underestimate the effect in the long run.”

직관

short-term effect 가 long-term effect 와 같다 는 가정 은 대부분 의 실험 에서 맞다. 하지만 예외 가 위험:

  • 가격 인상: 단기 revenue ↑, 장기 user abandon 으로 ↓
  • 광고 ↑: 단기 click ↑, 장기 사용자 회피 로 search 감소
  • 검색 품질 저하: 단기 query 증가 (재검색), 장기 사용자 이탈

레슨: short-term ≠ long-term 이 언제 발생 하는지 알아야 한다. 알 수 없는 경우 명시적 long-term 측정 필요.

2 왜 long-term 이 다른가 — 6 갈래

1. User-Learned Effects
2.0.0.1 Mechanism
  • 사용자 가 새 feature 에 학습·적응 하면서 행동 변화
  • 시간 따라 equilibrium 도달
2.0.0.2 예시
  • product crash: 첫 occurrence 에는 사용자 떠나지 않음, 반복 시 떠남
  • low-quality ad: 사용자 가 학습 → click rate 감소
  • 새 feature 의 discoverability: 처음 못 발견 → 시간 지나 발견 → engagement 증가
  • novelty effect: 처음 관심 → 시간 지나 desensitized
2.0.0.3 인용

Hohnhold et al. (2015), Huang, Reiley, Raibov (2018), Kohavi et al. (2009)

2. Network Effects
2.0.0.4 Mechanism
  • feature 의 가치 가 친구 사용 비율 에 의존
  • viral 전파 의 시간 lag
2.0.0.5 예시
  • Live Video (Facebook Messenger, Skype): 친구 가 사용해야 본인 도 사용
  • Two-sided marketplace (Airbnb): 새 feature 가 demand ↑ → supply 늦게 catch up
2.0.0.6 Long-term 측정 의 도전

network effect 는 supply 제약 마저 결합:

Treatment effect 가 short-term 에 demand 폭증
중간기 supply 부족 → revenue 정체
장기 supply 도 catch up → revenue 회복 (또는 새 equilibrium)

short-term 의 demand spike 가 과장 된 effect, 장기 의 equilibrium 이 진짜.

3. Delayed Experience and Measurement
2.0.0.7 Mechanism
  • 사용자 의 online 경험 과 offline 결과 사이 시간 gap
  • 측정 metric 이 누적 cumulative
2.0.0.8 예시
  • Airbnb·Booking.com: 예약 후 몇 달 뒤 도착 → user retention 의 변화 가 늦게 반영
  • 연간 계약: 1 년 후 갱신 의사결정 시점 까지 effect 누적
  • 학생 학습: feature 가 학기말 시험에 effect 반영
2.0.0.9 Long-term 의 의무

이런 영역 은 short-term metric 만 으로 결정 시 큰 위험 — 장기 retention 의 측정 필수.

4. Ecosystem Change

여러 sub-mechanism:

2.0.0.10 Other features launching
  • 다른 팀 의 새 feature 가 launch → 본 feature 의 가치 변화
  • 예: Live Video 가 더 많은 product 에 embed → 본 feature 의 marginal value 증가
2.0.0.11 Seasonality
  • gift card 가 Christmas 에 잘 작동, 다른 계절 에 약함
  • back-to-school, holiday season 등 의 강한 시간성
2.0.0.12 Competitive landscape
  • 경쟁사 가 같은 feature launch → 본 feature 의 차별성 감소
  • launch 시점 따라 effect 매우 다름
2.0.0.13 Government policies
  • GDPR 의 ad targeting 영향 — 데이터 사용 가능 범위 변화
  • 새 정책 의 effect 가 ramp 형태 로 누적
2.0.0.14 Concept drift
  • ML model 의 학습 데이터 분포 가 변화
  • model 의 성능 점차 degrade
2.0.0.15 Software rot
  • maintain 안 되는 feature 가 환경 변화 따라 degrade
  • 시스템 가정 의 invalidation
직관: 6 갈래 의 시간 척도
Mechanism typical 척도 측정 가능성
User-learned 주~월 high (post-period)
Network 월~분기 medium (cohort)
Delayed measurement 분기~년 low (cohort + waiting)
Ecosystem change 분기~년 low (exogenous)
Concept drift 분기 medium (model 비교)
Software rot 년 low (software audit)

규칙: 짧은 척도 (user-learned, network) 는 측정 가능, 긴 척도 (delayed, ecosystem) 는 exogenous factor 와 분리 어려움.

3 측정 목적 — 3 가지

1. Attribution
3.0.0.1 정의

새 feature 가 얼마 만큼 의 long-term value 를 만들었는가? 팀 목표 추적 + 재무 forecast 에 사용.

3.0.0.2 도전
  • endogenous (user-learned) 와 exogenous (경쟁 변화) 의 분리
  • compounding — 새 feature 가 이전 feature 위 에 build → 누적 attribution 어려움
3.0.0.3 사용 사례

OKRs 또는 KPI tracking 시 기능 별 정확한 long-term 기여도 필요.

2. Institutional Learning
3.0.0.4 정의

short-term 과 long-term 의 차이 자체 를 학습 — 왜 다른가?

3.0.0.5 통찰
  • 큰 novelty effect → user discovery 가 너무 느림 → in-product education 으로 교정 가능
  • 큰 abandon rate → low quality 또는 click-bait — 다음 iteration 의 설계 정보
3.0.0.6 사용 사례

product team 의 design pattern·UX 개선 의 fine-grained insight.

3. Generalization
3.0.0.7 정의

특정 실험 의 long-term 측정을 다른 비슷한 실험 의 short-term 으로 부터 외삽 (extrapolate).

3.0.0.8 사용 사례 (Hohnhold et al. 2015)
  • 광고 ad-load 실험 의 historical long-term 데이터
  • 새 ad-load 변화 의 short-term effect 만 으로 long-term 예측
3.0.0.9 도전
  • exogenous factor 와 의 분리 (기간 별 다른 economic 환경)
  • generalize 가능 한 general principle 인지 검증
3.0.0.10 가치

generalize 가능 시 모든 새 실험 에 short-term → long-term mapping 즉시 적용.

직관: 목적 의 우선 순위

이 3 가지 는 서로 다른 method 를 요구:

  • Attribution: cohort analysis + holdback experiment
  • Institutional learning: post-period analysis (학습 효과 의 명시적 측정)
  • Generalization: time-staggered + 누적 실험 데이터 의 회귀

선택 의 원칙: 왜 long-term 측정 하는가 를 먼저 정의 → 적합 method 선택.

4 4 가지 측정 Method — 한눈에

Method #1: Cohort Analysis
4.0.0.1 절차
  • 실험 시작 전 stable cohort 정의 (logged-in user ID 또는 stable identifier)
  • 이 cohort 의 short-term, long-term effect 만 분석
4.0.0.2 강점
  • dilution 보정 (multi-device 의 일부 만 capture)
  • survivorship bias 일부 보정 (cohort 가 안정 적일 때)
4.0.0.3 한계
  • cohort 가 representative 아닌 경우 external validity 위협
  • cookie-based ID 처럼 churn 큰 경우 작동 안 함
Method #2: Post-Period Analysis
4.0.0.4 절차
  • 실험 종료 후 모두 Treatment 또는 모두 Control 로 통일 (= A/A 상태)
  • 기존 Treatment·Control group 의 post-period 의 metric 차이 측정
4.0.0.5 측정 의미
  • learning effect (Hohnhold et al. 2015) — 사용자·시스템 이 학습 한 결과
  • user-learned vs system-learned 분리 가능
4.0.0.6 강점
  • exogenous factor 의 분리 (post-period 는 모두 같은 environment)
  • 새 feature 와 의 interaction 차단
4.0.0.7 한계
  • dilution·survivorship bias 잔존
  • system-learned effect 가 0 인 경우 만 정확 (개인화·opt-out 등 은 system-learned 발생)
Method #3: Time-Staggered Treatments
4.0.0.8 절차
  • 같은 Treatment 의 두 버전: (시점 시작), (시점 시작)
  • 시점 에서 두 버전 의 효과 차이 측정 — A/A 인 셈
4.0.0.9 의미
  • 가 수렴 의 신호
  • 수렴 시점 = long-term effect 측정 가능 시점
  • 후 post-period method 적용
4.0.0.10 강점
  • 명시적 수렴 판단 — “충분 한 시간” 의 객관적 기준
  • 큰 변동 (요일·계절성) 보정 가능
4.0.0.11 한계
  • 두 staggered 사이 의 충분 한 시간 gap 필요 (학습 시간 보다 길게)
  • 의 작은 차이 검출 위해 power 필요 (Type II error rate 낮춤)
Method #4: Holdback and Reverse Experiment
4.0.0.12 Holdback
  • launch 후 10% user 를 Control 에 유지
  • 90% Treatment, 10% Control 의 분석 을 몇 주~몇 달 지속
4.0.0.13 Reverse experiment
  • 100% launch 후 10% 를 Control 로 되돌림
  • 모든 user 가 한 번은 Treatment 경험 후 의 변화 측정
4.0.0.14 강점
  • launch 후 의 long-term effect 직접 측정 (real launch state)
  • network·equilibrium effect 도달 후 측정 가능
4.0.0.15 한계
  • Control group 의 opportunity cost (launch 받지 못함)
  • 작은 Control → power 부족
  • reverse experiment: 사용자 confusion 위험 (UI 변화 의 reversal)
직관: method 선택 의 매트릭스
도전 1차 추천 method
dilution + survivorship Cohort + Post-Period
user learning 분리 Post-Period
수렴 시점 판단 Time-Staggered
launch 후 monitoring Holdback
시간 gap 측정 정밀화 Time-Staggered + Post-Period

규칙: 한 method 가 모든 도전을 해결 하지 않음. 결합 이 일반적 — Cohort + Post-Period 또는 Time-Staggered + Post-Period.

5 비교

차원 Long-Running 단순 Cohort Post-Period Time-Staggered Holdback
구현 비용 낮음 중간 중간 높음 중간
Dilution 보정 약 강 약 (잔존) 중 중
Survivorship 보정 없음 강 (안정 cohort) 약 중 약
학습 효과 측정 함께 측정 함께 측정 분리 측정 분리 함께
수렴 판단 trend 관찰 동일 모름 명시적 모름
Launch 후 monitoring no yes yes no yes
Power medium medium medium medium low (10% C)

6 응용

  • Search ranking: long-running + post-period (학습 효과 측정)
  • Ad load: time-staggered (수렴 판단) + holdback (launch 후 monitoring)
  • Marketplace: cohort (logged-in user) + reverse experiment (equilibrium 도달)
  • Personalization: post-period (system-learned 분리 어려움 — 한계 명시)
  • Subscription: cohort (sign-up 시점 분리) + holdback (renewal 측정)

7 Phase F 의 후속 글

  • F23-1: What Are + Why Differ + Why Measure — 단기/장기 차이의 6 갈래 와 측정 목적
  • F23-2: Long-Running Experiments — 단순 long-running 의 4 가지 한계
  • F23-3: Methods 1~4 — Cohort, Post-Period, Time-Staggered, Holdback 의 디테일

8 관련 주제

  • Ch.3 (Twyman’s Law) — short-term·long-term 차이 의 원인 일부
  • Ch.6 (F-KOH6) — Goal/Driver/Guardrail metric — long-term 측정 의 metric 설계
  • Ch.7 (F-KOH7) — OEC 가 short-term 측정 가능 + long-term 영향 가능 으로 정의 됨
  • Ch.15 (F-KOH15) — Ramp Long-Term Holdout 단계
  • Ch.22 (F-KOH22) — Network leakage 와 long-term 의 결합
  • D-21 (Hernan 22) — Target Trial Emulation 의 follow-up time
출처
  • Kohavi, Tang, Xu (2020). Trustworthy Online Controlled Experiments. Ch.23.
  • Hohnhold, O’Brien, Tang (2015). “Focus on the Long-Term.” KDD 2015.
  • Dmitriev, Frasca, Gupta, Kohavi, Vaz (2016). “Pitfalls of Long-Term Online Controlled Experiments.” IEEE Big Data 2016.
  • Huang, Reiley, Raibov (2018). “Pandora Listener Demand Curve.”
  • Chen, Liu, Xu (2019). “How A/B Tests Could Go Wrong.” WSDM 2019.
  • Gupta et al. (2019). “Top Challenges from the OCE Summit.” SIGKDD Explorations.
  • Xu, Duan, Huang (2018). “Holdback Experiment.”
  • Varian (2007). Control group opportunity cost.
]]> Experimentation A/B Test kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F23-0-long-term-effects-overview.html Fri, 08 May 2026 15:00:00 GMT Kohavi Ch.23.1~23.3 — Long-Term Effect 의 정의 · 단기/장기 차이의 6 갈래 · 측정 목적 3 가지 Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F23-1-what-are-why-differ-why-measure.html

1 정의

정의: Long-Term Treatment Effect

Treatment 의 asymptotic (점근) 효과 — 시간이 매우 길어졌을 때 의 결과 (Kohavi, Tang, Xu, 2020, Ch.23).

1.0.0.1 실무 판정 기준
  • 이론:
  • 실무: 3+ 개월 또는 일정 횟수 의 노출 (예: feature 10 회 이상 본 user)
1.0.0.2 Short-term 의 정의
  • 1~2 주 의 average effect (책 권장 일반 실험 기간)
  • “stable 하고 generalizes 한다” 는 가정 하에 long-term 의 proxy 로 사용
1.0.0.3 가정 의 부하

대부분 의 실험에서 short-term ≈ long-term 가정 이 작동. 하지만 이 가정 이 깨질 가능성 을 인지하고 언제 깨지는지 알아야 한다.

직관: 시간 의 두 척도

비유 — 식이 요법:

  • short-term (1 주): 체중 ↓ (수분 손실)
  • long-term (1 년): 체중 ↑ 또는 ↓ (실제 체질 변화 또는 yo-yo 효과)

short-term 의 편의적 metric 만 보고 launch 결정 하면 yo-yo 위험.

레슨: short-term 이 long-term 과 다를 수 있는 영역 을 식별 → 명시적 측정.

2 1. User-Learned Effects

Mechanism

사용자 가 새 feature 에 학습· adapt 하면서 행동 변화. 시간 따라 equilibrium 도달.

2.0.0.1 5 가지 sub-mechanism
  1. Crash 누적: 첫 occurrence 에는 사용자 떠나지 않음, 반복 시 떠남
  2. Quality 학습: low-quality ad 의 click rate 가 시간 따라 ↓
  3. Discoverability: 새 feature 를 처음 못 발견 → 시간 지나 발견 → engagement ↑
  4. Priming: 기존 feature 에 익숙 → 새 feature 학습 에 시간 필요
  5. Novelty exploration: 처음 호기심 → 시간 지나 desensitized
2.0.0.2 인용
  • Hohnhold et al. (2015): ad-load 의 user-learned effect
  • Huang, Reiley, Raibov (2018): Pandora 의 ad sensitivity 학습
  • Chen, Liu, Xu (2019): A/B 의 invalid pattern 진단
  • Kohavi et al. (2009): Seven Pitfalls
사례 디테일
2.0.0.3 Crash example
  • Treatment 가 새 feature 도입 — 0.5% crash rate 추가
  • Day 1: 사용자 첫 crash → “이상한데”
  • Day 7: 두 번째 crash → 의구심
  • Day 30: 다섯 번째 crash → 사용자 떠남
  • short-term: 사용자 retention 변화 미미
  • long-term: 사용자 retention 큰 감소
2.0.0.4 Discoverability example
  • Treatment 가 new shortcut button 추가
  • Day 1: 사용자 의 5% 만 발견
  • Day 14: 사용자 의 25% 발견·사용
  • Day 60: 사용자 의 50% 발견·사용
  • short-term: small effect
  • long-term: large effect (with right metric)
2.0.0.5 Novelty effect
  • 새 UI element (예: confetti animation)
  • Day 1: 호기심 으로 관심 ↑
  • Day 7: 신선 → 클릭 ↑
  • Day 30: 익숙 함, 거의 무시
  • short-term: positive effect (overestimate)
  • long-term: 0 또는 negative (overestimate 의 보정 필요)
직관: 5 sub-mechanism 의 방향
  • Crash, Quality 학습: short-term 이 낙관 (long-term 보다 높음) → 측정 효과 가 over
  • Discoverability: short-term 이 비관 (long-term 보다 낮음) → 측정 효과 가 under
  • Priming, Novelty: short-term 의 방향 이 long-term 과 정반대 가능

규칙: 새 feature 의 카테고리 식별 (crash 위험·discoverability 의존·novelty) → 어떤 방향 의 학습 효과 인지 예측.

3 2. Network Effects

Mechanism

feature 의 가치 가 친구 사용 비율 에 의존 — viral 전파 의 시간 lag.

3.0.0.1 양면 매개체
  • direct social: friend 가 사용 → 본인 도 사용 (Live Video)
  • 양면 marketplace: Treatment 가 demand ↑ → supply 늦게 catch up (Airbnb)
  • recommendation: 처음 다양 한 추천 → 시간 지나 popularity bias → 효과 감소
3.0.0.2 인용
  • Ch.22 (leakage interference) 와 직접 연관
  • Hohnhold et al. (2015), Eckles et al. (2017)
사례 — Airbnb (two-sided marketplace)
3.0.0.3 시간 단계
  • Week 1: Treatment conversion 개선 → demand ↑ (예: +5% booking rate)
  • Week 2-4: 동일 inventory → Treatment 의 booking 이 inventory 잠식 → revenue ↑
  • Month 2: host 가 demand 변화 인지 → 가격 ↑ 또는 새 host 가입
  • Month 3+: equilibrium — supply 가 catch up, marginal revenue 감소
3.0.0.4 측정 의 함정
  • short-term (Week 1-2): conversion 개선 효과 가 과장 (inventory contention)
  • mid-term (Month 1-2): 효과 감소 (host 의 가격 반응)
  • long-term (Month 3+): 새 equilibrium (실제 효과 보다 작거나 다름)

short-term 만 보면 +5% — 하지만 long-term 은 +1% 또는 0%.

직관

network effect 가 있는 영역 은 equilibrium 도달 시점 까지 측정 의무. equilibrium 미도달 의 short-term 결과 는 과도기 — 영구 적 효과 와 다르다.

검증: ramp 의 1% → 50% → 100% 비교. effect size 가 비율 따라 증가 시 supply 측 catch up 미발생, 감소 시 supply 가 catch up 시작.

4 3. Delayed Experience and Measurement

Mechanism

사용자 의 online 경험 과 offline 결과 사이 시간 gap. 측정 metric 이 누적 cumulative.

4.0.0.1 사례
  • Airbnb·Booking.com: 예약 후 몇 달 뒤 도착 → user retention 의 변화 가 늦게 반영
  • 연간 계약: 1 년 후 갱신 의사결정 시점 까지 effect 누적
  • 학습 platform: feature 가 학기말 시험에 effect 반영
  • 금융 product: 큰 거래 의 결과 가 분기 마감 시 의 보고
4.0.0.2 시간 척도
  • 즉시 metric (page view, click): 분~시간
  • 단기 metric (purchase, sign-up): 일~주
  • 중기 metric (retention 30day): 월
  • 장기 metric (renewal, lifetime value): 분기~년
직관: metric 의 시간 척도

각 metric 의 natural lag 가 다름:

click → CTR 측정: 즉시
sign-up → activation: 1 일
trial → purchase: 14 일
purchase → retention 30day: 30 일
purchase → renewal: 365 일

Treatment effect 의 진짜 측정 은 metric 의 lag 만큼 의 시간 필요. shorter measurement window 의 metric 은 intermediate proxy — 진짜 outcome 의 일부.

규칙: long-term metric 측정 위해 충분한 follow-up 필수. 부족 시 cohort method 결합.

5 4. Ecosystem Change

6 sub-mechanism
5.0.0.1 Other features launching

다른 팀 의 새 feature 가 launch — 본 feature 와 interaction:

  • 새 push notification feature 가 launch → 기존 push feature 의 marginal effect 감소
  • 새 onboarding flow 가 launch → 기존 onboarding 의 effect 다른 방향 으로 변화
5.0.0.2 Seasonality
  • gift card 가 Christmas 시즌 에만 잘 작동
  • back-to-school, holiday season 등 의 강한 시간성
  • short-term 측정 시점 의 계절 → 다른 계절 에 generalize 어려움
5.0.0.3 Competitive landscape
  • 경쟁사 의 같은 feature launch → 본 feature 의 차별성 감소
  • launch 시점 따라 effect 매우 다름
5.0.0.4 Government policies
  • GDPR 의 ad targeting 영향 — 데이터 사용 가능 범위 변화
  • 새 정책 의 effect 가 ramp 형태 로 누적
  • 인용: European Commission 2016, Basin et al. 2018, Google 2019
5.0.0.5 Concept drift
  • ML model 의 학습 데이터 분포 가 변화
  • model 의 성능 점차 degrade
  • 예: search query 분포, ad keyword 분포 의 변화
5.0.0.6 Software rot
  • maintain 안 되는 feature 가 환경 변화 따라 degrade
  • 시스템 가정 의 invalidation
  • 예: API version 변경, browser engine 업데이트
직관: ecosystem change 의 exogenous 성

이 6 sub-mechanism 의 공통점: Treatment 와 무관 — exogenous factor.

규칙: long-term 측정 시 Treatment effect 와 ecosystem change 의 분리 필요. post-period analysis 가 가장 효과 적 (Treatment 종료 후 두 group 의 같은 environment).

6 측정 목적 — 3 가지

1. Attribution
6.0.0.1 정의

새 feature 가 얼마 만큼 의 long-term value 를 만들었는가?

6.0.0.2 사용 사례
  • OKR / KPI tracking — 팀 의 기능 별 long-term 기여도
  • 재무 forecast — feature 의 future revenue 추정
  • 인센티브 — 팀 별 launch effect
6.0.0.3 도전
  • endogenous (user-learned) 와 exogenous (경쟁 변화) 의 분리
  • compounding — 새 feature 가 이전 feature 위 에 build → 누적 attribution 어려움
6.0.0.4 적합 method
  • Cohort + Post-Period 결합
  • Holdback experiment (launch 후 monitoring)
2. Institutional Learning
6.0.0.5 정의

short-term 과 long-term 의 차이 자체 를 학습 — 왜 다른가?

6.0.0.6 통찰 의 가치
  • 큰 novelty effect → user discovery 가 너무 느림 → in-product education 으로 교정 가능
  • 큰 abandon rate → low quality 또는 click-bait — 다음 iteration 의 설계 정보
  • 큰 학습 효과 → onboarding 의 critical importance
6.0.0.7 적합 method
  • Post-Period analysis (학습 효과 의 분리 측정)
  • Time-Staggered (수렴 시점 의 명시적 판단)
3. Generalization
6.0.0.8 정의

특정 실험 의 long-term 측정을 다른 비슷한 실험 의 short-term 으로 부터 외삽 (extrapolate).

6.0.0.9 사용 사례 (Hohnhold et al. 2015)
  • 광고 ad-load 실험 의 historical long-term 데이터 누적
  • 새 ad-load 변화 의 short-term effect 만 으로 long-term 예측
6.0.0.10 도전
  • exogenous factor 와 의 분리 (기간 별 다른 economic 환경)
  • generalize 가능 한 general principle 인지 검증
  • big shock 제외 (만약 exogenous shock 이 있으면 generalize 부정확)
6.0.0.11 가치

generalize 가능 시 모든 새 실험 에 short-term → long-term mapping 즉시 적용. 이건 복제 가능 한 platform-level 자산.

6.0.0.12 적합 method
  • 누적 long-running experiment 데이터 의 회귀
  • short-term metric 의 predictive 한 design (Goal·Driver metric, Ch.6)
직관: 목적 → method 의 의사결정

3 가지 목적 은 서로 다른 method 를 요구:

목적 1차 method 2차 method
Attribution Cohort Post-Period, Holdback
Institutional Learning Post-Period Time-Staggered
Generalization 누적 데이터 회귀 Time-Staggered

규칙: 어떤 long-term 측정 인가 결정 전 — 목적 명확화. “그냥 long-term 측정” 은 자원 낭비. 목적 별 적합 method 선택 → 효율 적 측정.

7 OEC 와 long-term 의 연결

OEC 의 정의 (Ch.7) 의 부담

OEC 는 short-term measurable + long-term causally impactful — 두 조건 만족.

short-term measurable: 1~2 주 안 측정 가능 long-term causally impactful: long-term 목표 (revenue, retention) 에 진짜로 영향

7.0.0.1 Long-term 측정 의 의무

OEC 의 causally impactful 부분 검증 위해 주기적 long-term 측정 필요. 이게 빠지면 OEC 가 짐작 — Goodhart 의 함정.

7.0.0.2 인용

Hauser and Katz (1998) — “Metrics: You Are What You Measure!”

직관

OEC 는 short-term proxy — long-term 의 진짜 outcome 을 예측 하기 위함. proxy 의 예측 력 검증 의무 가 long-term 측정 의 정당성.

규칙: OEC 의 generalization 측정 (1) 분기 마다 자동 update, (2) 변화 시 OEC 의 weight 재조정.

8 비교 — short-term vs long-term

차원 Short-term (1~2 weeks) Long-term (3+ months)
측정 비용 낮음 높음
Sample size 큼 작음 (cohort) 또는 동일
Treatment 가정 static dynamic
학습 효과 부분 완료
Network 효과 partial equilibrium
Exogenous factor 적음 많음
Decision 적합성 빠른 iteration 큰 launch decision
적합 metric OEC, click, conversion retention, lifetime value

9 응용

  • 검색 엔진: long-running + post-period (학습 효과 측정)
  • Ad platform: time-staggered + generalization (새 ad type 의 long-term 외삽)
  • Subscription: cohort (sign-up 시점) + holdback (renewal 측정)
  • Marketplace: post-period (equilibrium 도달) + ramp 단계 분석
  • Social network: cohort + edge-level analysis (Ch.22) 결합

10 실무 체크리스트

  1. 실험 의 short-term ≠ long-term 의심 영역 식별 (5+ checklist)
  2. 목적 명확화 (attribution / learning / generalization)
  3. 적합 method 선택 (cohort / post-period / time-staggered / holdback)
  4. measurement window 충분 한지 (metric 의 natural lag)
  5. exogenous factor 통제 가능 여부 (post-period 권장)
  6. cohort 의 representativeness 검증
  7. SRM (Ch.21) 점검 — long-running 시 cookie churn 의 SRM
  8. 결과 보고 시 uncertainty 명시 — long-term 은 본질 적 noise 큼

11 관련 주제

  • F23-0 overview — Ch.23 전체 지도
  • F23-2 — Long-Running Experiments 의 4 가지 한계
  • F23-3 — 4 method 의 디테일
  • Ch.7 (F-KOH7) — OEC 의 short-term + long-term proxy 의무
  • Ch.6 (F-KOH6) — Goal/Driver/Guardrail metric 의 long-term 측정 설계
  • Ch.22 (F-KOH22) — Network leakage 와 long-term 의 결합
  • Ch.21 (F-KOH21) — long-running 의 SRM 점검
출처
  • Kohavi, Tang, Xu (2020). Trustworthy Online Controlled Experiments. Ch.23.1~23.3.
  • Hohnhold, O’Brien, Tang (2015). “Focus on the Long-Term.” KDD 2015.
  • Huang, Reiley, Raibov (2018). Pandora ad sensitivity.
  • Chen, Liu, Xu (2019). “How A/B Tests Could Go Wrong.” WSDM 2019.
  • Kohavi et al. (2009, 2012). Seven Pitfalls + search query share.
  • European Commission (2016, 2018). GDPR.
  • Basin, Debois, Hildebrandt (2018). GDPR compliance.
  • Hauser and Katz (1998). “Metrics: You Are What You Measure!”
  • Goodhart (1975), Goodhart’s law (2018).
]]> Experimentation A/B Test kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F23-1-what-are-why-differ-why-measure.html Fri, 08 May 2026 15:00:00 GMT Kohavi Ch.23.4 — Long-Running Experiments 의 4 가지 한계 Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F23-2-long-running-experiments.html

1 정의

정의: Long-Running Experiment (단순)

가장 단순 한 long-term 측정 접근. 실험 을 평소 보다 오래 (수 개월) 실행 하고, 첫 주 (short-term) 와 마지막 주 (long-term) 의 effect 를 따로 분석 (Kohavi, Tang, Xu, 2020, Ch.23.4).

1.0.0.1 형식
  • : 첫 주 (week 1) 의 percent delta — short-term effect
  • : 마지막 주 (week T) 의 percent delta — long-term effect (의 추정)
1.0.0.2 가정
  • 시간 따라 effect 가 수렴 한다
  • 마지막 주 가 long-term equilibrium 에 도달 한다
  • 두 시점 의 metric 차이 가 학습 효과 의 순수 측정 이다
1.0.0.3 단순함 의 매력
  • 구현: 일반 실험 의 자연 연장
  • 분석: 일반 실험 의 metric 분리 (week 별 delta)
  • 비용: 추가 infrastructure 필요 없음
직관

long-running 의 사고: “실험 오래 하면 자연 적 으로 long-term 측정 된다”. 단순 명료 하지만 4 가지 근본 함정 이 있다. 이 글 은 그 함정 을 풀어 본다.

레슨: 단순 long-running 은 명시적 method (Cohort, Post-Period, …) 의 보강 없이 는 biased — 첫 주 (short-term) 측정 도, 마지막 주 (long-term) 측정 도 둘 다.

2 함정 1 — Treatment Effect Dilution

Mechanism
2.0.0.1 정의

마지막 주 의 사용자 의 일부 만 이 전체 실험 기간 Treatment 받음. 나머지 는 partial exposure → effect 가 희석 (diluted).

2.0.0.2 3 가지 sub-mechanism
2.0.0.3 Sub 1: Multi-device
  • 사용자 가 web + mobile + tablet 사용
  • 실험 cookie 는 device 별 — Treatment cookie 가 한 device 에만
  • 다른 device 에서는 Control 경험
  • 실험 기간 길수록 multi-device 사용 확률 증가 → 사용자 의 Treatment 비율 ↓
2.0.0.5 Sub 3: Network leakage (Ch.22)
  • Treatment 의 effect 가 Control 친구 로 누수
  • 실험 길수록 누수 누적 → Control 도 부분 적 Treatment effect
2.0.0.6 인용
  • Dmitriev et al. (2016) — long-term experiment pitfalls
직관: 사용자 의 purity 손실

비유 — 약효 측정:

  • 1 주: 환자 의 100% 가 약 복용
  • 4 주: 환자 의 70% 만 복용 (의약 prescription drift)
  • 12 주: 환자 의 30% 만 복용 (drug holiday, off-label use)

마지막 시점 의 effect 측정 시 순수 약효 가 아닌 희석 효과 측정.

레슨: dilution 은 long-running 의 불가피 함정. cohort method (stable user ID) 로 부분 적 보정 가능 — F23-3 에서 다룸.

Dilution 의 정량화
2.0.0.7 형식
  • 사용자 의 true exposure: 시간 동안 Treatment 받은 비율
  • 사용자 의 observed effect: (where = 사용자 의 진짜 effect)
  • 평균 measured effect:
2.0.0.8 Bias
bias = (1 - bar{theta}) · bar{tau}
     ≈ (multi-device 비율 + churn rate) · 진짜 effect

multi-device 30% + churn 10% → → measured effect 가 진짜 의 60% (40% under).

2.0.0.9 시간 의존
T = 1 week: bar{theta} ≈ 0.95
T = 4 weeks: bar{theta} ≈ 0.85
T = 12 weeks: bar{theta} ≈ 0.65
T = 26 weeks: bar{theta} ≈ 0.50

dilution 은 시간 따라 누적 — long-running 일수록 큰 bias.

3 함정 2 — Survivorship Bias

Mechanism

실험 시작 사용자 의 일부 만 이 마지막 까지 survive. survival rate 가 Treatment·Control 사이 다르면 마지막 주 의 사용자 구성 이 different.

3.0.0.1 사례
  • Treatment 사용자 의 불만 이 abandon 으로 → Treatment survivor 가 덜 까다로운 사용자
  • Treatment 의 bug 가 cookie churn 가속 → Treatment 의 representative 부족
3.0.0.2 진짜 effect 와 측정 effect 의 괴리
  • 진짜 effect: 실험 시작 사용자 전체 의 metric 변화
  • 측정 effect: 마지막 주 까지 survive 한 사용자 의 metric 변화

한쪽 group 의 survivor 만 biased subset 이면 비교 결과 부정확.

3.0.0.3 SRM alert

survivorship bias 는 SRM (Ch.21) 의 trigger — Treatment·Control 의 sample ratio 의 시간 따른 drift 점검.

직관: 누가 survive 하는가

비유 — 약물 임상시험:

  • 진짜 효과 측정 위해: 모든 환자 (시작 시 등록 한) 의 outcome 측정 필요
  • 측정 측정: 시험 끝까지 participation 한 환자 만 측정 → biased

drop-out 한 환자 의 outcome 이 다른 경우: 측정 결과 misleading.

레슨: long-running 의 효과 측정 시 cohort (시작 시 정의) 단위 의 metric 의무. 정의: 모든 cohort 사용자 의 metric (중도 drop 한 사용자 도 마지막 활동 시점 의 metric).

SRM 의 시간 의존 패턴
3.0.0.4 Week 1
  • design ratio: 50/50
  • observed: 50.0/50.0 (no SRM)
3.0.0.5 Week 26
  • design ratio: 50/50
  • observed: 47.5/52.5 (SRM detected)
  • 원인: Treatment 의 1% bug 가 cookie churn 가속, Control 보다 5% 빠른 abandon
3.0.0.6 결과
  • 실험 의 모든 metric 신뢰성 의문
  • 마지막 주 의 effect 측정 invalid (Treatment subset 가 biased)

4 함정 3 — 새 Feature Interaction

Mechanism

long-running 동안 다른 팀 의 새 feature 도 launch — 본 실험 과 interaction.

4.0.0.1 사례
  • 본 실험: push notification A/B
  • Week 1: Treatment 의 push 가 effective → +10% session
  • Month 2: 다른 팀 이 email notification launch → 사용자 의 notification 피로 증가
  • Month 3: Treatment push 의 effect 감소 (saturation)
4.0.0.2 분리 어려움
  • 본 실험 의 진짜 long-term decay 인지
  • 다른 feature 와 의 interaction 인지

4.0.1 인용

  • Hohnhold et al. (2015), Dmitriev et al. (2016)
직관: ecosystem dynamics

long-running 동안 ecosystem 이 변함:

  • 다른 팀 의 launch (위 example)
  • seasonal change (holiday, summer break)
  • competitive landscape (경쟁사 의 새 feature)
  • regulation (GDPR, CCPA)

이 변화는 본 실험 의 effect 와 interaction — 분리 어려움.

레슨: post-period analysis 만이 이 한계 를 부분 적 해결 (post-period 는 모두 같은 ecosystem 에 있음).

5 함정 4 — Time-Extrapolated Effect 해석 의 함정

Mechanism

마지막 주 의 effect 와 첫 주 의 effect 의 차이 를 시간 효과 로 해석 하면 위험.

5.0.0.1 차이 가 시간 효과 가 아닌 경우
  • Exogenous (계절·경쟁·정책 변화)
  • Underlying population 변화 (사용자 inflow·outflow 의 패턴 변화)
  • Concept drift (학습 모델 의 데이터 분포 변화)
  • Software rot (시스템 의 환경 변화)
5.0.0.2 위험 한 결론
  • “Treatment 가 시간 따라 학습 효과 로 -5% effect 누적” → 실제 는 계절 차이
  • “Treatment 의 effect 가 -10% 로 감소” → 실제 는 경쟁사 launch 의 영향

5.0.1 일반화 의 어려움

이 함정 의 누적 → long-running 의 결과 가 다른 실험·기간 에 generalize 어려움.

5.0.2 인용

  • Dmitriev et al. (2016) — 8 가지 long-term pitfall
직관: 시간 비교 의 통제 변수

비유 — 두 시점 의 GDP 비교:

  • 2020 GDP vs 2026 GDP — 그냥 비교 하면 inflation 무시
  • 진짜 비교: real GDP (inflation-adjusted)

long-running 의 first/last week 도 동일:

  • 두 시점 의 ecosystem 다름 → 그냥 비교 시 ecosystem 차이 가 effect 처럼 보임
  • 진짜 비교: post-period analysis (두 group 이 동시 같은 ecosystem)

레슨: long-running 의 시간 비교 는 본질 적 confounded. post-period 의 동시 비교 가 더 robust.

6 결론 — long-running 의 한계 와 보완 method

4 가지 한계 의 종합
한계 시간 따라 영향 받는 metric 보완 method
Dilution 누적 모든 effect Cohort
Survivorship 누적 composition-sensitive Cohort + SRM
새 feature interaction exogenous 모든 effect Post-Period
Time-extrapolation 양 시점 차이 comparison-sensitive Post-Period + Time-Staggered
6.0.0.1 결합 의 의무
  • Cohort + Post-Period: 일반 적 long-term 측정 의 권장 조합
  • Cohort + Holdback: launch 후 monitoring
  • Time-Staggered + Post-Period: 학습 효과 의 명시적 측정 (수렴 판단 + post-A/A)
직관: 단순 long-running 의 위치

단순 long-running 은 진단 도구 — 제대로 측정 하지 않지만 문제 발견 신호 가능:

  • first/last week effect 가 크게 다름 → “long-term 측정 method 적용 필요” 의 alert
  • SRM 이 시간 따라 drift → survivorship bias 의 alert
  • ramp 단계 별 effect 차이 → leakage 의 alert

레슨: long-running 단독 으로 결정 하지 말 것. 진단 후 명시적 method 로 정확 측정.

7 Python 시뮬레이션 — Dilution 의 시간 의존

import numpy as np

np.random.seed(2026)

def simulate_long_running_with_dilution(
    n_users=10000, true_lift=0.10, weeks=12,
    multi_device_drift=0.02, cookie_churn=0.02
):
    """
    long-running experiment 의 dilution 시뮬레이션.
    각 주 마다 일부 사용자 의 cookie 가 churn 또는 multi-device 사용으로 partial exposure.
    """
    base_p = 0.20
    assignment = np.random.randint(0, 2, size=n_users)
    purity = np.ones(n_users)  # initial: 100% pure exposure

    delta_per_week = []
    for week in range(weeks):
        # purity drift: 매주 일부 사용자 의 purity 감소
        churn_mask = np.random.binomial(
            1, multi_device_drift + cookie_churn, size=n_users
        )
        purity = np.maximum(0.0, purity - churn_mask * 0.10)

        # 각 사용자 의 effect = true_lift * purity (Treatment 인 경우)
        effective_lift = np.where(assignment == 1, true_lift * purity, 0)
        p = base_p * (1 + effective_lift)

        y = np.random.binomial(1, p, size=n_users)
        rate_t = y[assignment == 1].mean()
        rate_c = y[assignment == 0].mean()
        delta_per_week.append((rate_t - rate_c) / rate_c)

    return delta_per_week

deltas = simulate_long_running_with_dilution()
print("Week | Measured delta | Bias direction")
for i, d in enumerate(deltas):
    print(f"  {i+1:2d} | {d:.4f}        | {'under' if d < 0.10 else 'over'}")

print(f"\nTrue lift: 10.00%")
print(f"Week 1 measured: {deltas[0]:.2%}")
print(f"Week 12 measured: {deltas[-1]:.2%}")
print(f"Apparent 'long-term decay': {deltas[-1] - deltas[0]:.2%}")
print("이 'decay' 는 진짜 학습 효과 가 아니라 dilution!")
시뮬레이션 해석

12 주 동안 사용자 의 purity 가 점점 ↓ (multi-device, cookie churn 누적). 첫 주 의 measured lift 는 진짜 10% 에 가까움. 마지막 주 의 lift 는 ~6-7% (dilution 의 결과).

순진 한 long-running 분석: “10% → 6% 의 진짜 decay” — 잘못. dilution 이 원인.

레슨: cohort method (stable user ID) + 사용자 별 weighted analysis 가 dilution 보정 가능. 다음 글 (F23-3) 에서 디테일.

8 비교 — long-running 단순 vs 보강된 method

차원 Long-Running 단순 + Cohort + Post-Period + Time-Staggered + Holdback
Dilution 보정 약 강 부분 부분 부분
Survivorship 보정 없음 강 부분 부분 부분
새 feature interaction 약 동일 강 부분 동일
Time-extrapolation 부정확 부분 강 강 부분
구현 비용 낮음 중간 중간 높음 중간
Power medium medium medium medium low

9 응용

  • Search ranking: long-running + Cohort + Post-Period (학습 효과 분리)
  • Ad platform: long-running + Holdback (launch 후 monitoring)
  • Marketplace: long-running + Cohort + DiD (geo-based 결합)
  • Subscription: long-running + Cohort (cohort = sign-up 시점)
  • ML model: long-running + concept drift monitoring + post-period

10 실무 체크리스트

  1. 왜 long-running 인지 명확화 (목적 별 적합 method 선택)
  2. dilution 의 잠재 크기 추정 (multi-device·cookie churn rate)
  3. SRM 의 시간 따른 drift 자동 monitoring
  4. cohort 정의 (stable identifier 가능 한지)
  5. ecosystem change log (다른 팀 launch, 정책 변화 등) 유지
  6. first / last week 의 ecosystem 차이 평가
  7. 보완 method (Cohort, Post-Period 등) 결합 — 단순 long-running 단독 결정 금지

11 관련 주제

  • F23-0 overview — Ch.23 전체 지도
  • F23-1 — short/long-term 차이의 6 갈래 + 측정 목적 3 가지
  • F23-3 — 4 method (Cohort, Post-Period, Time-Staggered, Holdback) 의 디테일
  • Ch.21 (F-KOH21) — SRM 의 시간 따른 drift 점검
  • Ch.22 (F-KOH22) — Network leakage 와 dilution
  • Ch.18 (F-KOH18) — variance 보강 방법
출처
  • Kohavi, Tang, Xu (2020). Trustworthy Online Controlled Experiments. Ch.23.4.
  • Dmitriev, Frasca, Gupta, Kohavi, Vaz (2016). “Pitfalls of Long-Term Online Controlled Experiments.” IEEE Big Data 2016.
  • Hohnhold, O’Brien, Tang (2015). “Focus on the Long-Term.” KDD 2015.
  • Gupta et al. (2019). “Top Challenges from the OCE Summit.” SIGKDD Explorations.
]]> Experimentation A/B Test kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F23-2-long-running-experiments.html Fri, 08 May 2026 15:00:00 GMT Kohavi Ch.23.5 — Long-Term Effect 측정 4 method (Cohort · Post-Period · Time-Staggered · Holdback) Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F23-3-methods-cohort-postperiod-staggered-holdback.html

1 정의

정의: Long-Term Measurement Methods

단순 long-running 의 4 가지 한계 (dilution, survivorship, 새 feature interaction, time-extrapolation) 를 부분 적 으로 해결 하는 4 가지 method (Kohavi, Tang, Xu, 2020, Ch.23.5).

1.0.0.1 4 가지 정의
  1. Cohort Analysis: stable cohort 정의 + cohort 의 effect 만 분석
  2. Post-Period Analysis: 실험 종료 후 모두 같은 environment 에서 과거 group 의 metric 차이 측정
  3. Time-Staggered Treatments: 같은 Treatment 의 두 staggered 버전 의 수렴 측정
  4. Holdback / Reverse: launch 후 일부 group 을 (Holdback) 또는 (Reverse) 시켜 monitoring
직관: 4 method 의 동기
Method 해결 하는 한계
Cohort dilution + survivorship
Post-Period 새 feature interaction + ecosystem change
Time-Staggered 수렴 판단 + time-extrapolation
Holdback launch 후 monitoring + reverse 의 equilibrium

규칙: 각 method 가 한 가지 한계 에 강함. 일반 적 조합 — Cohort + Post-Period.

2 Method #1 — Cohort Analysis

정의

실험 시작 전 stable cohort 를 정의 하고, 이 cohort 의 short-term·long-term effect 만 분석.

2.0.0.1 절차
  1. stable identifier 선택 (logged-in user ID, paid account ID 등)
  2. 실험 시작 시점 의 cohort: 이 ID 들 만 등록
  3. cohort 사용자 의 randomization (T·C 배정) 실행
  4. 실험 기간 내 cohort 의 metric 수집 (cohort 외 사용자 metric 은 분석 제외)
  5. cohort 의 short-term·long-term delta 측정
2.0.0.2 강점
  • Dilution 보정: cohort 가 stable identifier 면 multi-device·cookie churn 영향 적음
  • Survivorship bias 보정: cohort 시작 시점 정의 → drop-out 후도 cohort 일원 (data 있으면)
2.0.0.3 한계
  • Cohort 의 representativeness: logged-in user 가 anon user 와 다른 행동 패턴 → external validity 위협
  • Cohort 너무 작은 경우: power 부족
  • Stable identifier 의 stability: cookie-based 는 churn 강함, account-based 는 churn 적음
Stable identifier 의 평가
2.0.0.5 Account-based ID (logged-in)
  • 사용자 가 sign-in 한 경우 만 추적
  • churn 거의 없음 (account 삭제 까지)
  • cohort 작아 짐 (anonymous user 제외)
2.0.0.6 Device-based ID
  • mobile 의 IDFA·Android Advertising ID
  • privacy 정책 변화 (iOS 14.5+, GDPR) 로 사용 제한
  • cohort 의 selection — opt-in 한 user 만
2.0.0.7 의사결정
  • 6+ months 의 long-term 측정: account-based 우선
  • 1-3 months 의 mid-term: cookie-based 가능 (churn 누적 작음)
  • mobile-only platform: device-based + privacy 정책 점검
직관: cohort 의 편향 의 trade-off

cohort 의 bias trade-off:

Anonymous + cookies:
  + sample 큼 (모든 user)
  - dilution 강 (cookie churn)

Logged-in + account ID:
  + dilution 약 (account stable)
  - selection bias (logged-in user 가 다른 행동)

해결: post-stratification 으로 logged-in cohort 의 결과 를 모집단 분포 로 weighting. 가정: logged-in user 의 effect 가 전체 user 의 effect 와 비슷 함 (subgroup analysis 검증).

2.0.0.8 인용
  • Park, Gelman, Bafumi (2004): Multilevel regression and post-stratification
  • Gelman (1997): Hierarchical logistic regression
  • Lax, Phillips (2009): Post-stratification 응용
  • Dmitriev et al. (2016): cohort method 의 cookie churn 한계

3 Method #2 — Post-Period Analysis

정의

실험 종료 후 모두 Treatment 또는 모두 Control 로 통일 (= A/A 상태). 기존 Treatment group 과 기존 Control group 의 metric 차이 를 post-period 에 측정.

3.0.0.1 절차
  1. 실험 기간 동안 Treatment·Control 의 metric 수집
  2. 시점 에 모두 Control 또는 Treatment 로 통일 (ramp down 또는 ramp up)
  3. post-period 에 기존 Treatment group 의 metric vs 기존 Control group 의 metric 차이 측정
  4. 이 차이 가 learning effect
3.0.0.2 Hohnhold et al. (2015) 의 정의
  • Hohnhold 의 ad-load study 는 post-period 의 effect 를 learning effect 로 정의
  • short-term 의 immediate effect 와 분리 가능 한 학습 누적
  • 핵심: post-period 에서 두 group 이 exact 한 same feature 경험
User-Learned vs System-Learned 의 분리
3.0.0.3 User-Learned Effect
  • 사용자 가 학습 — 새 feature 의 사용 패턴 적응
  • 예: ad-load 증가 → 사용자 가 ad 회피 학습 → click-rate ↓ 영구
  • post-period 에 measurable (사용자 의 영구 변화)
3.0.0.4 System-Learned Effect
  • 시스템 (model, profile, opt-in 등) 이 Treatment 기간 의 데이터 로 학습
  • 예: Treatment 의 click 데이터 가 ranking model 에 누적 → post-period 에 도 유효
  • 예: Treatment 의 사용자 가 unsubscribe → post-period 에도 그 list 유지
  • post-period 의 measured effect 가 user-learned 만 이 아님 — system-learned 도 포함
3.0.0.5 분리 의 어려움

post-period 측정 만으로 user vs system 분리 불가. 추가 점검:

  • system 의 reset (model 재학습, profile 초기화) → reset 후 measure → user-only
  • 두 group 의 differential learning 을 measure (예: Treatment 의 model 변화 추적)
직관: 두 학습 의 비유

비유 — 외국어 학습:

  • User-learned: 학생 의 머리 속 의 어휘·문법
  • System-learned: 교과서·notebook·class 의 진도

학생 만 따로 새 학교 로 옮긴다 (post-period of user-only):

  • 학생 의 어휘 (user-learned) 는 그대로 — 영구 적
  • 교과서 (system-learned) 는 새 학교 의 것 — 학생 의 user-learned 만 측정 가능

post-period 의 측정 은 “교과서 가 둘 다 같은” 환경 — system-learned 영향 분리. 단, 시스템 의 내부 state 가 Treatment 기간 의 영향 을 받았다면 (예: ranking model) post-period 에 도 system-learned 유출 가능.

레슨: post-period 측정 의 정확성 = system 의 cleanliness. 명시적 system reset 또는 system 의 Treatment-independent 가 보장 시 가장 정확.

Post-Period 의 한계
3.0.0.6 1. Dilution·Survivorship 잔존
  • post-period 에 도 cohort 의 stability 부족 시 dilution
  • Treatment·Control 의 differential survival 시 survivorship bias
  • 해결: cohort method 결합 (Method #1 + #2)
3.0.0.7 2. System-Learned Effect 비분리
  • system 이 Treatment 데이터 로 학습 시 post-period 에 도 잔존
  • 예: ad personalization model — Treatment 데이터 로 prefer ad type 학습 → 영구
3.0.0.8 3. Adjustment for Dilution
  • learned effect 측정 후 dilution adjustment factor 적용 가능
  • factor = (실제 Treatment exposure 비율) / (full Treatment exposure)
  • 또는 cohort method 결합
3.0.0.9 4. 실험 ramp down 의 사용자 confusion
  • Treatment 가 visible UI 변화 인 경우 ramp down 시 사용자 가 변화 인지
  • 사용자 의 reaction 이 post-period metric 에 noise 추가
  • 해결: gradual ramp down (Treatment 비율 점차 감소)

4 Method #3 — Time-Staggered Treatments

정의

같은 Treatment 의 두 시간 staggered 버전 — 수렴 시점 의 명시적 측정 (Gupta, Kohavi et al. 2019).

4.0.0.1 절차
  1. 시점 에 Treatment 시작
  2. 시점 (예: 4 주 후) 에 Treatment 시작 (다른 user cohort)
  3. 시점 에서 두 cohort 의 metric 비교 — A/A 의 셈
  4. (수렴) 시 long-term 측정 가능 시점
4.0.0.2 수렴 판단
4.0.0.3 형식

가정: 가 에 대해 감소 함수 (학습 진행 으로 두 group 이 비슷 해 짐).

수렴: 시 두 cohort 의 시간 적 위치 가 동일 — A/A.

4.0.0.4 검정
  • two-sample t-test: 와 의 metric 비교
  • :
  • 큰 sample 또는 작은 minimum detectable effect 시 Type II error 의 통제 (보통 보다 낮은 β) 권장
  • Gupta, Kohavi et al. (2019): Type I error 5% 의 일반 보다 높은 5-10%, Type II error 낮은 5-10% 권장 (수렴 의 false alarm 보다 false negative 가 위험)
Time-Staggered 의 가정
4.0.0.5 1. 의 단조 감소
  • 학습 효과 만 있고 다른 변동 없으면 단조 감소
  • 깨지는 경우: ecosystem change (계절·경쟁) 가 두 cohort 에 다른 영향
4.0.0.6 2. Stagger 의 충분 한 시간 gap
  • 시작 시점 까지 가 학습 진행 중 이어야 비교 가능
  • 학습 시간 보다 짧은 stagger gap 시 → 도 도 학습 미완료 → 작음
  • 학습 시간 보다 훨씬 긴 stagger gap 권장 (예: 학습 4 주 → stagger 8 주)
4.0.0.7 3. 두 cohort 의 비교 가능성
  • · 의 user 가 같은 분포 의 cohort
  • 다른 시점 의 sign-up user 가 다른 행동 패턴 시 → 비교 어려움
  • 해결: 같은 cohort 정의 후 randomly subset 으로 · 분리
직관: 두 staggered 가 수렴 하면

비유 — 두 마라톤 선수:

  • 선수 A: 시점 출발, 12 km 후 페이스 정착
  • 선수 B: 시점 출발 (예: 4 km 뒤), 12 km 후 페이스 정착

시점 (B 의 12 km, A 의 16 km): 둘 다 정착 페이스 → 두 선수 의 순간 속도 비슷 - 차이 small ⇒ 학습 완료 의 신호

레슨: time-staggered 는 수렴 의 객관적 판단 도구. trend line 관찰 의 주관적 판단 보다 정확.

이 후 post-period method 적용 가능 — 학습 완료 후 의 measurement.

5 Method #4 — Holdback & Reverse Experiment

Holdback Experiment
5.0.0.1 정의

Treatment 의 90% (또는 100%) launch 후 10% 의 Control 을 유지 (Xu, Duan, Huang 2018).

5.0.0.2 절차
  1. 실험 종료 시 90% Treatment 로 launch
  2. 10% 는 기존 Control 으로 유지 (holdback)
  3. holdback 기간 (예: 4-12 주) 의 metric 비교
5.0.0.3 강점
  • Real launch state 의 monitoring (Treatment 가 dominant)
  • network·equilibrium effect 도달 후 측정
  • 의사결정 의 재검증 — 큰 launch 후 의 long-term effect 확인
5.0.0.4 한계
  • 작은 sample — 10% Control 의 power 부족
  • Opportunity cost — Control 이 launch benefit 받지 못함
  • Maintenance cost — 10% 의 별도 system path 유지
5.0.0.5 인용
  • Xu, Duan, Huang (2018): Holdback 의 design 과 적용
  • Varian (2007): Control group opportunity cost
Reverse Experiment
5.0.0.6 정의

100% Treatment launch 후 10% 를 Control 로 되돌림.

5.0.0.7 절차
  1. 실험 종료 시 100% Treatment 로 launch (전사 적용)
  2. 일정 기간 후 (예: 4 주) 10% 를 Control 로 되돌림
  3. 10% 의 reverse group 의 metric vs 90% 의 Treatment group 의 metric 비교
5.0.0.8 강점
  • 모든 user 가 Treatment 받음 (적어도 일정 기간)
  • network effect 의 equilibrium 도달 후 측정 가능
  • two-sided marketplace 에서 supply 측 catch up 후 측정
5.0.0.9 한계
  • 사용자 confusion — 시각 적 UI 변화 의 reversal 시 사용자 가 변화 인지
  • 이 confusion 자체 가 metric 에 noise 추가
  • 적합 한 영역: 사용자 직접 인지 못하는 backend 변화 (ranking, model)
직관: Holdback vs Reverse
차원 Holdback Reverse
Control 의 timing 처음 부터 launch 후
사용자 confusion 적음 큼 (UI 시각 변화 시)
Network 도달 부분 full
적합 영역 일반 launch network·equilibrium 의존

규칙:

  • 단순 launch 의 long-term monitoring → Holdback
  • network effect 가 강한 launch (사회·marketplace) → Reverse
  • 사용자 인지 가능 한 UI 변화 → Holdback (Reverse 는 confusion 큼)

6 결합 패턴

일반 적 조합
6.0.0.1 Cohort + Post-Period (가장 일반)
  • cohort method 로 dilution·survivorship 보정
  • post-period 로 새 feature interaction + ecosystem change 분리
  • 적용: 6+ months 의 long-term 측정
6.0.0.2 Time-Staggered + Post-Period
  • time-staggered 로 수렴 시점 명시 판단
  • 수렴 후 post-period 로 learning effect 측정
  • 적용: 학습 효과 의 정밀 한 측정 (인용 Hohnhold et al. 2015)
6.0.0.3 Cohort + Holdback
  • launch 후 monitoring + cohort 의 stable 관찰
  • 적용: 큰 launch 의 후 검증 (예: search ranking 큰 변경)
6.0.0.4 모두 결합
  • Cohort + Time-Staggered + Post-Period + Holdback
  • 가장 정밀, 가장 비용 큼
  • 적용: 매우 큰 launch 의 generalizable 학습 (예: ad platform 의 ad-load 변경)
직관: 비용·정밀 의 trade-off
조합 비용 정밀 적용
단순 long-running 낮음 낮음 진단
+ Cohort 낮음 중간 일반
+ Cohort + Post-Period 중간 높음 권장
+ Time-Staggered 높음 매우 높음 generalization
+ Holdback 중간 높음 launch 후
모두 매우 높음 최고 전사 critical launch

규칙: 목적 에 맞는 조합 선택 — 모든 실험 에 모두 적용 X. 큰 launch (re-strategy 의 근거) 시 모두, 일반 launch 시 cohort + post-period.

7 Python 시뮬레이션 — Time-Staggered 의 수렴 판단

import numpy as np

np.random.seed(2026)

def simulate_time_staggered(
    n_users_per_cohort=5000, true_lift=0.10, weeks=20, learning_decay=0.20
):
    """
    두 staggered Treatment cohort 의 metric 추적.
    학습 효과 가 시간 따라 진행 — 시점에 따라 effect 가 변화.
    """
    base_p = 0.20

    # T0: t=0 시작
    # T1: t=4 시작 (4 주 stagger)
    stagger = 4

    deltas_t0_t1 = []
    for t in range(stagger, weeks):
        # T0 의 시점: t (실험 후 t 주차)
        t0_age = t
        # T1 의 시점: t - stagger
        t1_age = t - stagger

        # 학습 효과 — 시간이 지날수록 effect 가 base 로 수렴 (rebound 모델)
        t0_lift = true_lift * (1 - learning_decay) + true_lift * learning_decay * np.exp(-t0_age / 8)
        t1_lift = true_lift * (1 - learning_decay) + true_lift * learning_decay * np.exp(-t1_age / 8)

        # 두 cohort 의 metric (T1 cohort 비교)
        p_t0 = base_p * (1 + t0_lift)
        p_t1 = base_p * (1 + t1_lift)
        rate_t0 = np.random.binomial(1, p_t0, size=n_users_per_cohort).mean()
        rate_t1 = np.random.binomial(1, p_t1, size=n_users_per_cohort).mean()
        deltas_t0_t1.append(rate_t0 - rate_t1)

    return deltas_t0_t1

deltas = simulate_time_staggered()
print("Week | T0(t) - T1(t) | 수렴 판단")
threshold = 0.001
for i, d in enumerate(deltas):
    week = i + 4  # stagger 4 후 시작
    converged = abs(d) < threshold
    print(f"  {week:2d} | {d:+.4f}      | {'YES' if converged else 'no'}")

print(f"\n수렴 후 (예: week 16+) 에 post-period method 적용 가능")
시뮬레이션 해석

초기 (week 4-8): T0 가 T1 보다 4 주 더 학습 → effect 더 작음 (학습 효과 의 progression). 시간 지나 (week 16+): 두 cohort 모두 학습 완료 → effect 차이 작아 짐 → 수렴.

수렴 판단 후 post-period 적용 가능. 그 전 의 measurement 는 학습 진행 중 이라 부정확.

레슨: time-staggered 는 학습 진행 측정 의 강력 한 도구. 다른 method 결합 시 정밀도 큰 향상.

8 비교 — 4 method 의 종합

차원 Cohort Post-Period Time-Staggered Holdback
1차 해결 dilution feature interaction 수렴 판단 launch 후 monitoring
sample 비용 작음 동일 큼 (2 cohort) 작음 (10% Control)
구현 비용 낮음 중간 높음 중간
1 차 method 만 부분 적 부분 적 부분 적 부분 적
권장 결합 + Post-Period + Cohort + Post-Period + Cohort
적용 시기 일반 적 long-term 학습 효과 측정 generalization launch 후

9 응용 — domain 별 추천

Domain 1차 권장
Search ranking Cohort + Post-Period
Ad platform Cohort + Time-Staggered (generalization)
Marketplace Cohort + Reverse experiment (equilibrium)
Subscription Cohort + Holdback (renewal monitoring)
Personalization Post-Period (system reset) + Cohort
ML model Time-Staggered + concept drift monitoring
Onboarding Cohort (sign-up time) + Post-Period

10 실무 체크리스트

  1. 목적 명확화 (attribution, learning, generalization)
  2. 적합 method 선택 (목적 → method matrix)
  3. 조합 결정 (단독 method 부족 — Cohort + Post-Period 가 일반)
  4. Cohort 정의 (stable identifier)
  5. Sample size 계산 (각 method 의 power 요구)
  6. Stagger gap 결정 (학습 시간 보다 길게)
  7. Holdback ratio 결정 (10% 일반)
  8. Monitoring 자동화 (SRM, dilution, ecosystem change)
  9. Reporting 구조화 (short-term + long-term + uncertainty)

11 관련 주제

  • F23-0 overview — Ch.23 전체 지도
  • F23-1 — short/long 차이 의 6 갈래 + 측정 목적 3 가지
  • F23-2 — long-running 의 4 가지 한계
  • Ch.7 (F-KOH7) — OEC 의 short-term + long-term proxy 의무
  • Ch.6 (F-KOH6) — Goal/Driver/Guardrail metric 설계
  • Ch.18 (F-KOH18) — CUPED 의 long-running 적용
  • Ch.21 (F-KOH21) — long-running 의 SRM 점검
  • Ch.22 (F-KOH22) — Network leakage 와 의 결합
  • D-21 (Hernan 22) — Target Trial Emulation 의 follow-up
출처
  • Kohavi, Tang, Xu (2020). Trustworthy Online Controlled Experiments. Ch.23.5.
  • Hohnhold, O’Brien, Tang (2015). “Focus on the Long-Term.” KDD 2015.
  • Dmitriev, Frasca, Gupta, Kohavi, Vaz (2016). “Pitfalls of Long-Term Online Controlled Experiments.” IEEE Big Data 2016.
  • Gupta, Kohavi, Tang, Xu et al. (2019). “Top Challenges from the OCE Summit.”
  • Xu, Duan, Huang (2018). Holdback experiment design.
  • Park, Gelman, Bafumi (2004). Multilevel regression and post-stratification.
  • Gelman, Carlin (2014). “Beyond Power Calculations: Type S, Type M Errors.”
  • Lax, Phillips (2009). Post-stratification 응용.
  • Varian (2007). Control group opportunity cost.
]]> Experimentation A/B Test kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/F23-3-methods-cohort-postperiod-staggered-holdback.html Fri, 08 May 2026 15:00:00 GMT Adaptive Trial — 개관 Kwangmin Kim kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/J-ADAPT-0-overview.html
출처

이 글은 사전지식 기반 (교재 미확인 — agent 사전학습 기반). 핵심 인용 — FDA (2019) Adaptive Designs Guidance, Bauer & Köhne (1994), Berry et al. (2010), Berry (2015).

이 글은 Phase J 시리즈의 25 번째 글이자 J-ADAPT 시리즈 (4 편) 의 첫 글. Adaptive trial — pre-specified rule 에 따라 trial 진행 중 protocol 변경 — 의 개관을 다룬다.

1 진입 직관 — “진행하면서 배우고 조정”

기존 RCT: 모든 protocol 을 시작 전 결정. 변경 불가.

Adaptive trial 의 한 줄 원리: pre-specified rule 에 따라 interim analysis 의 결과 로 protocol 일부 변경. 유연성 증가, 효율성 ↑.

1.1 변경 가능 항목

  • Sample size: interim 결과로 증가/감소
  • Randomization ratio: 효과 좋은 arm 에 더 많은 환자 (RAR)
  • Arms: 효과 없는 arm 조기 중단 (futility)
  • Eligibility: 효과 있는 subgroup 만 enrollment 계속 (enrichment)

1.2 비유

학습률 스케줄링: ML 모델 학습 시 loss 추세 를 보고 learning rate 조정. Pre-specified schedule (cosine, step decay) — 진행하면서 조정.

표준 RCT: fixed learning rate. Adaptive: 진행 결과에 따른 자동 조정.

2 4 대 카테고리

2.1 1: Group Sequential Design

Pre-specified interim analysis 시점 에서 조기 중단 (efficacy or futility).

Pocock (1977), O’Brien-Fleming (1979) 의 boundary. 다중 비교 보정 (alpha spending).

2.2 2: Sample Size Re-estimation

Interim 의 variance estimate 또는 effect size estimate 으로 추가 sample size 결정.

Bauer & Köhne (1994) 의 combination test.

2.3 3: Response-Adaptive Randomization (RAR)

Interim 의 각 arm 효과 를 보고 randomization probability 조정. 효과 좋은 arm 에 더 많은 환자.

Wei (1979) 의 Play-the-Winner. Bayesian RAR (Berry 2015).

2.4 4: Adaptive Enrichment

Interim 에서 효과 있는 subgroup 식별. 해당 subgroup 만 enrollment 계속.

Wang et al. (2007), Mehta et al. (2009).

3 FDA Adaptive Designs Guidance (2019)

3.1 의의

FDA 가 adaptive design 을 공식 인정 + guideline 제공.

3.2 핵심 원칙

  1. Pre-specification: 모든 adaptation rule 을 protocol 에 명시 — post-hoc 변경 금지
  2. Type I error control: 다중 비교 보정 (alpha spending)
  3. Validity: estimator 의 bias 통제
  4. Trial integrity: blinding 유지, interim 결과 leak 방지

3.3 Pre-Approval 의 중요성

Adaptive 는 post-hoc data dredging 위험. Pre-specified protocol 이 핵심 — FDA 가 strict 요구.

3.4 영향

이전: adaptive trial 은 비표준, 논쟁 적. 이후: FDA 공식 path, 항암제 개발 에서 표준화.

4 Bayesian Adaptive Trial (Berry 2015)

4.1 의의

Frequentist alpha control 대신 Bayesian posterior 기반 결정.

4.2 메커니즘

매 interim 에서 posterior probability of efficacy 계산. 일정 threshold 초과 시 효과 인정 또는 조기 중단.

4.3 장점

  • Continuous learning — 매 환자마다 update
  • 모든 정보 활용 (likelihood)
  • RAR 자연스럽게 결합

4.4 사례

  • I-SPY 2 (유방암): 유방암 후보 약 다수의 동시 평가. 효과 있는 약 식별.
  • REMAP-CAP (COVID-19): 다양한 질환 의약품의 플랫폼 trial.

5 Platform Trial — 다중 arm, 다중 질문

5.1 정의

하나의 master protocol 로 여러 처치 arm 동시 평가. 새 arm 추가/제외 유연.

5.2 사례 — RECOVERY (COVID-19)

영국의 RECOVERY trial — dexamethasone, hydroxychloroquine, lopinavir, tocilizumab, baricitinib, casirivimab/imdevimab 등 동시 평가.

효과 있는 약 조기 발견: dexamethasone — 사망률 17% ↓ (NEJM 2020).

5.3 사례 — ACTT-1 (COVID-19, NIH)

Remdesivir 의 효과 입증. Group sequential design.

5.4 의의

효율 — common control + 동시 평가. 다중 질문 동시 답변. 시간 절약.

6 Adaptive 의 Trade-off

측면 표준 RCT Adaptive
효율 낮음 높음
윤리 모든 환자 동등 randomize 효과 좋은 arm 에 더 많이
통계 검정력 표준 보정 필요
Operational complexity 단순 복잡 (real-time 분석)
FDA approval 표준 path 명확한 pre-spec 필요
Bias 위험 낮음 중간 (잘 통제 시 OK)

7 COVID-19 의 Adaptive Trial

7.1 Pandemic 의 도전

효과 있는 약 빠른 발견 — 시간 critical. 다양한 약 동시 평가.

7.2 Adaptive 의 가치

RECOVERY: dexamethasone 수개월 만에 효과 확인 — 표준 RCT 라면 수년.

ACTT-1: remdesivir 의 조건부 승인 — 군 + interim 분석.

7.3 사회 영향

Pandemic 이 adaptive trial 의 mainstream 진입 가속.

8 후속 3 글 안내

8.1 J-ADAPT-1: RAR + Play-the-Winner

Wei (1979), Berry 의 RAR. Bayesian + frequentist. 윤리적·통계적 고려.

8.2 J-ADAPT-2: Bayesian Adaptive + Platform Trials

Berry 등의 정통. I-SPY 2, REMAP-CAP 사례.

8.3 J-ADAPT-3: FDA Adaptive Designs

FDA 2019 guidance 의 정통. Pre-spec, type I control, integrity.

9 시뮬레이션 — Group Sequential

import numpy as np

np.random.seed(42)

# 시나리오: 새 약 vs 표준약, 사망률
# 표준약 사망률 30%, 새 약 사망률 20% (효과 -10%)
n_per_arm = 500
true_p_control = 0.30
true_p_treat = 0.20

# 4 차례 interim (n = 100, 200, 300, 400)
interim_points = [100, 200, 300, 400, 500]
alpha = 0.05

# O'Brien-Fleming boundary (간략)
# k 번째 interim 의 critical Z-score
n_interim = len(interim_points)
ob_boundary = []
for k in range(1, n_interim + 1):
    # OBF: Z_k* = c / sqrt(k/K)
    # c 는 type I 보정. 단순화: 2.5 / sqrt(k/K)
    z_k = 2.5 / np.sqrt(k / n_interim)
    ob_boundary.append(z_k)

# 환자 결과 시뮬레이션
control_outcomes = np.random.binomial(1, true_p_control, 500)
treat_outcomes = np.random.binomial(1, true_p_treat, 500)

# Interim analyses
print(f"[Group Sequential Design 시뮬레이션]\n")
print(f"진짜 control mortality: {true_p_control}")
print(f"진짜 treatment mortality: {true_p_treat}")
print(f"진짜 효과: {true_p_treat - true_p_control}\n")

for k, n_k in enumerate(interim_points):
    p_c = control_outcomes[:n_k].mean()
    p_t = treat_outcomes[:n_k].mean()
    diff = p_t - p_c
    se = np.sqrt(p_c * (1 - p_c) / n_k + p_t * (1 - p_t) / n_k)
    z = diff / se if se > 0 else 0

    z_boundary = ob_boundary[k]

    print(f"Interim {k+1} (n = {n_k}): p_c = {p_c:.3f}, p_t = {p_t:.3f}, Z = {z:.2f}, boundary = ±{z_boundary:.2f}")

    if abs(z) > z_boundary:
        print(f"  → STOP — 효과 발견 (또는 reject H0)")
        break
else:
    print(f"\n최종 분석: 효과 통계적 유의 못함 또는 약함")

10 결론

Adaptive trial 은 pre-specified rule 에 따라 진행 중 protocol 변경. Group sequential, Sample size re-estimation, RAR, Enrichment 의 4 카테고리. FDA 2019 guidance 의 정통, Bayesian adaptive 의 발전, Platform trial 의 효율. COVID-19 에서 mainstream 진입.

핵심 메시지:

  1. Adaptive trial 정의: pre-spec rule + interim adaptation
  2. 4 카테고리: GSD, SSR, RAR, Enrichment
  3. FDA 2019 guidance: pre-spec, type I, integrity
  4. Bayesian adaptive (Berry): posterior 기반
  5. Platform trial (RECOVERY, REMAP-CAP): 다중 arm
  6. COVID-19: mainstream 진입 가속
  7. Trade-off: 효율 vs complexity, type I 보정

후속 3 글에서 깊이.

11 관련 주제

선행 지식

  • (Phase C) RCT 의 무작위 배정·protocol 작성
  • J-SWITCH 시리즈
  • (Phase F) Sequential testing in A/B

Phase J 후속 글

12 참고문헌

  • FDA (2019). Adaptive Designs for Clinical Trials of Drugs and Biologics: Guidance for Industry. Center for Drug Evaluation and Research.
  • Bauer, P. & Köhne, K. (1994). Evaluation of experiments with adaptive interim analyses. Biometrics 50, 1029-1041.
  • Berry, S. M., Carlin, B. P., Lee, J. J., Müller, P. (2010). Bayesian Adaptive Methods for Clinical Trials. CRC Press.
  • Berry, D. A. (2015). The Brave New World of clinical cancer research: Adaptive biomarker-driven trials. Mol. Oncology 9, 951-959.
  • O’Brien, P. C. & Fleming, T. R. (1979). A multiple testing procedure for clinical trials. Biometrics 35, 549-556.
  • Pocock, S. J. (1977). Group sequential methods in the design and analysis of clinical trials. Biometrika 64, 191-199.
  • RECOVERY Collaborative Group (2021). Dexamethasone in hospitalized patients with COVID-19. NEJM 384, 693-704.
  • Beigel, J. H. et al. (2020). Remdesivir for the treatment of COVID-19 — Final report (ACTT-1). NEJM 383, 1813-1826.
]]> Experimentation Clinical Trial kk3225.netlify.app/docs/blog/posts/Experimentation/AB_test/advanced/J-ADAPT-0-overview.html Fri, 08 May 2026 15:00:00 GMT