1 정의와 motivation
\(p\) 개 물건의 무게 \(w_1, w_2, \ldots, w_p\) 를 한 저울 (balance) 로 측정할 때, \(N\) 회의 측정 (\(N \ge p\)) 으로 각 무게의 정확한 추정을 얻는 측정 설계.
각 측정에서 일부 물건을 함께 올리고 (또는 양쪽 접시에 분배), 그 합 (또는 차) 을 기록.
\(N\) 회 측정 결과 \(y_1, y_2, \ldots, y_N\) 과 design matrix \(\mathbf{X}\) (\(N \times p\), \(\pm 1\) 또는 \(0, 1\) 행렬) 로:
\[ \mathbf{y} = \mathbf{X} \mathbf{w} + \boldsymbol{\varepsilon} \]
각 측정의 잡음 \(\varepsilon_i \sim N(0, \sigma^2)\) iid.
추정량: \(\hat{\mathbf{w}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}\).
핵심 질문: \(\mathbf{X}\) 를 어떻게 선택해야 추정 분산 \(\sigma^2 (\mathbf{X}^T \mathbf{X})^{-1}\) 을 최소화할 것인가?
2 역사적 motivation — Hotelling (1944)
Harold Hotelling 이 2 차 세계대전 중 제기한 문제: “여러 물건의 무게를 측정해야 한다. 저울이 한 대뿐이다. 측정 횟수를 최소화하려면 어떻게 해야 하는가?”
가장 단순한 답: 각 물건을 따로 측정 (\(N = p\) 회). 각 무게의 분산 = \(\sigma^2\).
더 나은 답: 일부를 함께 올리고 합 측정. 측정 횟수가 같지만 분산이 더 작을 수 있다.
물건 1, 2, 3 의 무게 측정 (각 1 회 측정 = 3 회 측정).
방식 A (개별): - 측정 1: \(w_1\) → \(\hat w_1 = y_1\), 분산 \(\sigma^2\). - 측정 2: \(w_2\) → \(\hat w_2 = y_2\), 분산 \(\sigma^2\). - 측정 3: \(w_3\) → \(\hat w_3 = y_3\), 분산 \(\sigma^2\).
방식 B (Hotelling, 2-pan balance): - 측정 1: 1, 2 를 한쪽, 3 을 다른쪽 → \(y_1 = w_1 + w_2 - w_3\). - 측정 2: 1, 3 을 한쪽, 2 를 다른쪽 → \(y_2 = w_1 + w_3 - w_2\). - 측정 3: 2, 3 을 한쪽, 1 을 다른쪽 → \(y_3 = w_2 + w_3 - w_1\).
추정: - \(\hat w_1 = (y_1 + y_2)/2\), 분산 \(= (Var(y_1) + Var(y_2))/4 = \sigma^2/2\). - \(\hat w_2 = (y_1 + y_3)/2\), 분산 \(= \sigma^2/2\). - \(\hat w_3 = (y_2 + y_3)/2\), 분산 \(= \sigma^2/2\).
즉 방식 B 의 분산이 절반! 같은 측정 횟수로 추정 정밀도 2 배.
이것이 weighing design 의 정수 — “병렬 측정으로 정보 효율 ↑”.
3 Hadamard Matrix 와의 연결
\(N \times N\) 의 \(\pm 1\) 행렬 \(\mathbf{H}\) 가 다음을 만족:
\[ \mathbf{H} \mathbf{H}^T = N \mathbf{I} \]
(임의의 두 행 또는 두 열이 직교.)
\(N \times N\) Hadamard matrix 가 존재하려면 \(N = 1, 2\) 또는 \(N \equiv 0 \pmod 4\) 가 필요 (Hadamard’s conjecture: 충분 — 모든 \(N \equiv 0 \pmod 4\) 에 존재한다는 가설).
3.1 Hadamard Matrix 가 최적 weighing design
design matrix \(\mathbf{X} = \mathbf{H}\) (\(\pm 1\) 행렬) 이면:
\[ \mathbf{X}^T \mathbf{X} = \mathbf{H}^T \mathbf{H} = N \mathbf{I} \]
\[ (\mathbf{X}^T \mathbf{X})^{-1} = \frac{1}{N} \mathbf{I} \]
추정 분산: \[ \text{Var}(\hat w_i) = \frac{\sigma^2}{N} \]
각 무게의 추정량이 모두 같은 분산 \(\sigma^2 / N\). 일반 (개별 측정) 의 \(\sigma^2 / 1\) 보다 \(N\) 배 작음.
이는 이론적 최소 분산 — Mood (1946) 의 정리.
3.2 Hadamard Construction
Hadamard matrix 를 만드는 방법:
Sylvester construction (\(N = 2^k\)): \[ \mathbf{H}_2 = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \] \[ \mathbf{H}_{2N} = \begin{pmatrix} \mathbf{H}_N & \mathbf{H}_N \\ \mathbf{H}_N & -\mathbf{H}_N \end{pmatrix} \]
\(\mathbf{H}_4, \mathbf{H}_8, \mathbf{H}_{16}, \ldots\).
Paley construction (\(N = q + 1\), \(q\) prime power, \(q \equiv 3 \pmod 4\)): - \(N = 12, 20, 24, 28, 36, ...\).
Williamson construction, Twin prime construction 등.
4 1-pan vs 2-pan Balance
4.1 2-pan Balance (Reinforced)
각 측정에서 물건들을 양 접시에 분배. design entry \(\in \{-1, 0, +1\}\): - \(+1\): 왼쪽 접시. - \(-1\): 오른쪽 접시. - \(0\): 측정에서 제외.
저울 측정값 = 왼쪽 합 - 오른쪽 합 (\(+\varepsilon\)).
가장 일반적·강력. Hadamard matrix 가 직접 적용.
4.2 1-pan Balance
각 측정에서 물건이 한 접시 (또는 제외). design entry \(\in \{0, 1\}\): - \(1\): 측정에 포함. - \(0\): 제외.
이는 BIB design 의 동치 — 처치를 “포함/제외” 로 표현.
2-pan 은 entry \(\in \{-1, 0, +1\}\) 의 3 값. 1-pan 은 \(\{0, 1\}\) 의 2 값.
2-pan 의 추가 자유 (\(-1\) 사용) 가 더 풍부한 직교 구조 → 정보 효율 ↑.
수학적: 2-pan 의 최적 design 은 Hadamard matrix (\(\pm 1\)). 1-pan 의 최적 design 은 BIB ($= $ 적절). 1-pan 의 정보 효율은 2-pan 의 1/2 정도.
이는 정보 이론적 결과 — 같은 \(N\) 측정으로 1-pan 은 2-pan 의 절반 정보를 추출.
5 Plackett-Burman Design 의 정수형
Hotelling 의 weighing design 은 사실 Plackett-Burman (PB) design 의 정수형이다.
PB design = Hadamard matrix 의 \(\pm 1\) 표현. \(N\) runs 에 \(N - 1\) factors 의 saturated design.
| \(N\) | Hadamard | PB factors |
|---|---|---|
| 4 | ✓ | 3 |
| 8 | ✓ | 7 |
| 12 | ✓ (Paley) | 11 |
| 16 | ✓ | 15 |
| 20 | ✓ | 19 |
산업 screening 의 표준 도구. 자세한 내용 G-MON3-5.
6 Ch.9 의 5 단계
G-MON9-0 개관 (현재 글)
G-MON9-1 Definition + Method of Estimation
G-MON9-2 IB as Weighing (One Pan from BIB)
G-MON9-3 Two Pan Weighing (Reinforced)
G-MON9-4 Two Associate PBIB + Truncated IB + Efficiency7 응용 영역
7.1 천문학 — 항성 광도 측정
여러 별의 광도를 한 photometer 로 측정. 짧은 시간 (대기 변화 전) 에 여러 별을 동시에 측정 → weighing design.
7.2 산업 — 부품 무게 검정
소형 부품 (예: 전자부품) 의 무게가 너무 작아 한 번에 정확히 측정 어려움. 여러 부품을 함께 측정 후 회귀로 개별 추정.
7.3 메타분석 — 효과 크기 결합
여러 연구의 효과 크기를 결합할 때 weighing 가중치 (inverse-variance weighting). 각 연구의 정밀도가 가중치 결정.
7.4 의료 진단 — 다중 검사
한 환자에 여러 진단 검사를 동시에 수행, 각 검사의 정밀도를 추정. 정보 효율적 검사 조합.
7.5 머신러닝 — 가설 평가
여러 hyperparameter 조합을 한 데이터에서 평가, weighing 으로 각 조합의 효과 분리.
8 통계적 정보 이론 시각
Fisher information matrix: \[ \mathbf{I}(\mathbf{w}) = \frac{1}{\sigma^2} \mathbf{X}^T \mathbf{X} \]
추정 분산은 inverse: \[ \text{Cov}(\hat{\mathbf{w}}) = \mathbf{I}^{-1} = \sigma^2 (\mathbf{X}^T \mathbf{X})^{-1} \]
\(\mathbf{X}^T \mathbf{X}\) 가 클수록 정보 ↑. \(\mathbf{X}^T \mathbf{X}\) 가 대각이면 (직교) 모수가 분리 추정.
Hadamard matrix 가 \(\mathbf{X}^T \mathbf{X} = N \mathbf{I}\) 을 만족 → 가능한 최대 정보 + 완전 직교.
이것이 정보 이론 측면에서 weighing design 의 최적성의 정당화.
9 산업 사례 — 8 부품 무게 측정
9.1 가상 실험
8 개 전자부품의 정확한 무게 측정. 각 부품 무게가 매우 작아 (1g 이하) 단일 측정의 잡음 \(\sigma^2 = 0.01g^2\).
9.2 방식 A — 개별 측정 (8 회)
각 부품 1 회씩 측정. 각 부품의 분산 \(\sigma^2 = 0.01\). 표준오차 \(\sigma = 0.1g\).
9.3 방식 B — Hadamard \(H_8\) (8 회)
\(H_8\) design (Sylvester construction):
[ + + + + + + + +
+ - + - + - + -
+ + - - + + - -
+ - - + + - - +
+ + + + - - - -
+ - + - - + - +
+ + - - - - + +
+ - - + - + + - ]각 측정에서 일부 부품 (+1 이면 왼쪽 접시), 일부는 다른 접시 (-1).
추정 분산: \(\sigma^2 / 8 = 0.00125\). 표준오차 \(\sigma' = 0.0354g\).
→ Hadamard design 으로 정밀도 약 3 배 향상 (표준오차 1/3).
같은 8 회 측정으로 정밀도 ↑ — 측정 비용 동일.
10 Python 코드 — Hadamard Weighing 시뮬레이션
import numpy as np
from scipy.linalg import hadamard
# Sylvester Hadamard matrix H_8
H8 = hadamard(8)
print("=== Hadamard matrix H_8 ===")
print(H8)
# 직교성 검증
print(f"\nH8.T @ H8 = {H8.T @ H8}")
print(f"= 8 * I? {np.allclose(H8.T @ H8, 8 * np.eye(8))}")
# 가상 실험
np.random.seed(2026)
true_w = np.array([0.5, 0.7, 0.3, 0.9, 0.4, 0.6, 0.8, 0.2]) # 진짜 무게 (g)
sigma = 0.1 # 측정 잡음 표준편차
# 방식 A: 개별 측정 (8 회)
y_individual = true_w + np.random.normal(0, sigma, 8)
w_hat_A = y_individual
var_A = sigma**2 # 각 무게의 분산
se_A = sigma # 각 무게의 표준오차
# 방식 B: Hadamard weighing (8 회)
# 측정 i: y_i = sum_j H[i,j] * w_j + epsilon_i
y_hadamard = H8 @ true_w + np.random.normal(0, sigma, 8)
# 추정: w_hat = (1/8) * H.T @ y
w_hat_B = (1/8) * H8.T @ y_hadamard
var_B = sigma**2 / 8 # 각 무게의 분산 — 1/8 로 줄음
se_B = sigma / np.sqrt(8)
print(f"\n=== Estimation comparison ===")
print(f"True weights: {true_w}")
print(f"Method A (individual): {w_hat_A.round(4)}")
print(f"Method A errors: {(w_hat_A - true_w).round(4)}")
print(f"Method B (Hadamard): {w_hat_B.round(4)}")
print(f"Method B errors: {(w_hat_B - true_w).round(4)}")
print(f"\nVariance per weight:")
print(f" Method A: {var_A:.5f} (SE = {se_A:.4f})")
print(f" Method B: {var_B:.5f} (SE = {se_B:.4f})")
print(f" Efficiency ratio: {var_A / var_B:.2f}x (Hadamard 가 {np.sqrt(var_A/var_B):.2f}배 정밀)")기대 출력:
=== Hadamard matrix H_8 ===
[[ 1 1 1 1 1 1 1 1]
[ 1 -1 1 -1 1 -1 1 -1]
[ 1 1 -1 -1 1 1 -1 -1]
[ 1 -1 -1 1 1 -1 -1 1]
[ 1 1 1 1 -1 -1 -1 -1]
[ 1 -1 1 -1 -1 1 -1 1]
[ 1 1 -1 -1 -1 -1 1 1]
[ 1 -1 -1 1 -1 1 1 -1]]
H8.T @ H8 = ... (8 * I)
True weights: [0.5 0.7 0.3 0.9 0.4 0.6 0.8 0.2]
Method A: [0.45 0.62 ...] (각 ±0.1 잡음)
Method B: [0.49 0.71 ...] (각 ±0.035 잡음)
Variance per weight:
Method A: 0.01000 (SE = 0.1000)
Method B: 0.00125 (SE = 0.0354)
Efficiency ratio: 8.00x (Hadamard 가 2.83배 정밀)11 정보 효율의 일반 원리
직교 design 이 효율적인 이유는:
- 자유도 분리: 각 모수의 추정이 다른 모수에 영향받지 않음.
- 분산 최소: 같은 \(N\) 측정에서 분산 합이 최소.
- 해석 단순: 각 효과가 독립적으로 추정 가능.
이는 ANOVA, factorial, BIB, Latin Square, weighing design 모든 정통 DOE 의 공통 원리. 직교 = 정보 효율 최대.
비직교 (또는 연속 변수의 다중공선성) 가 발생하면 분산 inflation. VIF 점검의 동기.
이는 Fisher 의 1925 년 통찰 — “좋은 실험 설계는 직교성을 추구한다” — 의 정수.
12 가정과 한계
12.1 Weighing Design 의 가정
- 잡음 등분산: 각 측정의 \(\sigma^2\) 가 같음.
- 잡음 독립성: 측정 간 독립.
- 선형 모형: \(y = \mathbf{x}^T \mathbf{w}\) 가 정확.
- Hadamard 의 존재: 모든 \(N\) 에 존재하지는 않음 (Hadamard’s conjecture).
12.2 실용 한계
- 2-pan 의 정확한 잘 만들어진 저울 필요: 약간의 calibration 오차도 결과 영향.
- 물건 수의 제약: \(N\) 이 4 의 배수일 때만 표준 Hadamard 적용. 다른 \(N\) 은 truncated weighing.
- 측정 잡음의 형태: 정규성, 등분산성 위반 시 weighing 의 이론적 우위 약.
13 본 시리즈와 Phase G 전체 흐름
Phase G — 정통 DOE 89 편
│
├─ Maxwell (G-MAX6~16, 47 편) — 심리학·임상 lens
│ ├─ Ch.6: Trend Analysis
│ ├─ Ch.7~8: Factorial
│ ├─ Ch.9: ANCOVA
│ ├─ Ch.10~14: Random/Within/Multivariate
│ └─ Ch.15~16: Multilevel
│
└─ Montgomery (G-MON2~9, 42 편) — 농학·산업 lens
├─ Ch.2: Complete Block (CRD, RBD, Latin Square)
├─ Ch.3: Factorial (2^k, 3^k, fractional)
├─ Ch.4: Asymmetrical, Split-Plot
├─ Ch.5: Incomplete Block (BIB, PBIB)
├─ Ch.6: Orthogonal Latin Squares (Euler's conjecture)
├─ Ch.7: Bio-assays, Response Surface
├─ Ch.8: ANCOVA, Transformation
└─ Ch.9: Weighing Designs ← 현재 챕터 (Phase G 마지막)
→ 후속 Phase H (통계 모델링), Phase F (Kohavi A/B), Phase I (활용 응용)14 관련 주제
선행 지식
- G-MON3-5: General Construction + Maximum Number — Plackett-Burman 의 정수형
- G-MON5: Incomplete Block — BIB 와의 동치성
- Math — 선형대수 (placeholder) — Hadamard matrix, orthogonal matrix
후속 주제
- G-MON9-1: Definition + Method of Estimation
- G-MON9-3: Two Pan Weighing
- G-MON9-4: PBIB + Truncated + Efficiency
다른 카테고리 연결
- Statistics — SLR BLUE — 최소제곱 BLUE 의 기초
- Statistics — FDA Random Functions — 무한 차원의 정보 효율 (FDA 의 KL 분해)
15 더 읽을 거리
- Hotelling, H. (1944). “Some improvements in weighing and other experimental techniques.” Annals of Mathematical Statistics 15: 297-306 — 원조 논문.
- Mood, A. M. (1946). “On Hotelling’s weighing problem.” Annals of Mathematical Statistics 17: 432-446 — 최적성 이론.
- Plackett, R. L., Burman, J. P. (1946). “The design of optimum multifactorial experiments.” Biometrika 33(4): 305-325 — Plackett-Burman 의 원조.
- Banerjee, K. S. (1975). “Weighing Designs: For Chemistry, Medicine, Economics, Operations Research, Statistics.” Marcel Dekker — weighing 의 전통적 종합.
- Raghavarao, D. (1971). “Constructions and Combinatorial Problems in Design of Experiments.” Wiley — combinatorial DOE 의 표준 reference.
- Sloane, N. J. A. (online). “A Library of Hadamard Matrices.” http://neilsloane.com/hadamard/ — 모든 알려진 Hadamard matrix.