이관 보안과 프라이버시: PII 마스킹, 스테이징 파기, DLP 통제

← 이전

개요

민감 도메인의 대규모 데이터를 옮길 때, 기술적 정확성만큼 중요한 것이 보안·프라이버시 통제다. 이관 과정에서 원본 데이터가 임시 스테이징, 로그, 중간 파일 등 여러 곳을 거치며, 각 지점이 잠재적 유출 경로가 된다. 또한 폐쇄망 조직에는 대량 데이터 이동을 감시하는 DLP(Data Loss Prevention) 체계가 있어, 기술적으로 성공한 SELECT가 정책적으로 차단·경보를 유발할 수 있다.

이 문서는 세 가지를 다룬다. (1) 적재 전 PII 마스킹, (2) 원본 스냅샷을 임시 스테이징으로 취급하고 파기하는 원칙, (3) DLP와의 사전 협의다. 마지막으로 공개 자료에 실제 식별자를 절대 남기지 않는 새니타이즈 원칙을 재확인한다.

핵심 개념·원리

마스킹의 위치: “적재 전”

개인식별정보(PII)는 대상에 넣기 전 마스킹해야 한다. 일단 평문 PII가 대상 테이블에 들어가면, 이후 마스킹은 “이미 노출된 데이터를 사후 수습”하는 일이 되어 백업·복제본·로그에 잔재가 남는다. 마스킹을 파이프라인의 앞쪽(추출·정제 직후, 적재 직전)에 두면, 대상에는 처음부터 마스킹된 값만 존재한다.

마스킹 위치	대상에 남는 값	위험
적재 전(권장)	마스킹된 값만	낮음
적재 후	평문이 한 번 저장됐다 갱신됨	백업·WAL·로그에 평문 잔재

원본 스냅샷 = 임시 스테이징

이관을 위해 소스에서 뽑아낸 원본 스냅샷(CSV, 중간 테이블, 메모리 상 페이로드)은 “마스킹 처리를 위한 임시 스테이징” 으로만 취급한다. 하위 파생물(마스킹된 대상, 임베딩 등)을 재구축하고 나면, 원본 페이로드는 지체 없이 파기·정화한다. 스테이징을 영속 자산처럼 방치하면 그 자체가 규제 대상 데이터 저장소가 되어 통제 부담이 커진다.

DLP: 소량 통과 ≠ 전량 통과

조직 DLP는 대량 SELECT나 대량 반출을 차단하거나 경보한다. 여기서 흔한 착각이 “샘플 몇 건이 통과했으니 전량도 되겠지”다. DLP는 보통 임계치(건수·용량·패턴) 기반이라, 소량 샘플 통과가 전량 통과를 보장하지 않는다. 전량 이관 전에 보안팀과 볼륨·시간대·경로를 사전 협의해야, 야간 배치 도중 차단되어 세션이 끊기는 사태를 피한다. 이 차단은 05.적재 (멱등 upsert·COPY·자연키)에서 강조한 멱등·재개 설계가 왜 필수인지를 다시 상기시킨다.

실전

적재 전 마스킹

PII 컬럼을 화이트리스트로 관리하고, 유형별 마스킹 함수를 적재 직전에 적용한다.

import hashlib
 
def mask_email(v: str | None) -> str | None:
    if not v or "@" not in v:
        return v
    local, domain = v.split("@", 1)
    return (local[0] + "***") + "@" + domain
 
def pseudonymize(v: str | None, salt: str) -> str | None:
    # 일관된 가명화: 같은 입력 → 같은 토큰(조인은 유지, 원값 비복원)
    if not v:
        return v
    return hashlib.sha256((salt + v).encode()).hexdigest()[:16]
 
PII_MASK = {"email": mask_email, "phone": lambda v: pseudonymize(v, SALT)}
 
def apply_masking(row: dict) -> dict:
    for col, fn in PII_MASK.items():
        if col in row:
            row[col] = fn(row[col])
    return row

가명화(pseudonymization)는 같은 입력에 같은 토큰을 부여해 조인·중복 판정은 유지하면서 원값은 복원 불가로 만든다. 단순 마스킹으로 충분한지, 가명화가 필요한지는 데이터 용도에 따라 정한다.

스테이징 파기

원본 페이로드를 다룬 임시 자원은 사용 후 명시적으로 파기한다.

-- 원본 페이로드 스테이징은 파생물 재구축 후 즉시 제거
DROP TABLE IF EXISTS staging_raw_documents;

import os
 
def purge_staging(paths: list[str]):
    for p in paths:
        try:
            os.remove(p)          # 중간 CSV/덤프 파일 제거
        except FileNotFoundError:
            pass

로그에도 원본 값이 새지 않도록, 예외·디버그 출력에서 PII 컬럼을 마스킹하거나 제외한다.

DLP 사전 협의 체크리스트

항목	확인 내용
볼륨	전량 건수·용량이 DLP 임계치를 넘는가
시간대	배치 시간대에 감시 정책이 다른가
경로	승인된 반출 경로/호스트로 나가는가
재개	차단 시 멱등 재개가 되는가(05.적재 (멱등 upsert·COPY·자연키))
승인	대량 이동에 대한 사전 승인·티켓이 있는가

함정·트러블슈팅

증상	원인	해법
대상 백업에 평문 PII 잔재	적재 후 마스킹	마스킹을 적재 전으로 이동
야간 배치 중 세션이 갑자기 끊김	DLP 임계치 초과 차단	보안팀 사전 협의 + 멱등 재개
로그 파일에서 PII 노출	예외/디버그 출력에 원본 포함	로그 마스킹, 민감 컬럼 제외
스테이징 방치로 규제 부담 증가	원본 스냅샷을 영속화	파생물 재구축 후 즉시 파기
마스킹 후 조인/중복 판정 깨짐	무작위 마스킹으로 키 일관성 상실	결정적 가명화(salt+hash) 사용

공개 자료의 절대 원칙

이 시리즈처럼 경험을 문서로 남길 때, 공개·외부 노출 자료에는 실제 사설 IP, 호스트명, 스키마·테이블·컬럼명, 벤더 제품명, 실명·주민번호 등 식별자를 절대 담지 않는다. 개념만 일반화해 기록하고, 예시는 records·documents·chunks·embeddings 같은 일반명으로 대체한다. 문서를 쓴 뒤에는 반드시 다시 훑어 우발적으로 들어간 실제 식별자를 제거한다. 이 원칙은 이관 작업 자체의 프라이버시 통제와 동일한 정신이다.

정리

보안·프라이버시는 이관의 마지막 장이 아니라 전 과정에 걸린 축이다. PII는 적재 전에 마스킹·가명화하고, 원본 스냅샷은 임시 스테이징으로만 취급해 파생물 재구축 후 파기하며, DLP는 소량 샘플로 방심하지 말고 전량 이동을 사전 협의한다. 그리고 경험을 기록할 때는 실제 식별자를 절대 남기지 않는다. 이 통제가 갖춰져야 기술적 이관이 조직적으로도 안전한 이관이 된다.

• 처음으로: 01.마이그레이션 개요와 전략
• 관련: Database MOC