Amazon이 커널 방법을 사용하여 밀리초 단위로 사기를 탐지하는 방법

AI 속 숨겨진 수학의 마법

대부분의 사람들은 사기 탐지가 소프트웨어 문제라고 생각합니다. 사실 이것은 수학 문제입니다. 그리고 그 이면의 수학은 대부분의 사람들이 알고 있는 것보다 훨씬 아름답고 놀랍습니다.

매일 Amazon은 글로벌 마켓플레이스 전반에 걸쳐 수백만 건의 거래를 처리합니다. 이 엄청난 양의 활동 속에는 사기성 주문, 도난당한 신용카드 거래, 가짜 계정, 의심스러운 구매 패턴이 숨어 있습니다. 문제는 사기꾼들이 가만히 있지 않는다는 것입니다. 그들은 끊임없이 행동, 기기, 위치, 수법을 바꿉니다. 단순한 규칙 기반 시스템은 이를 따라잡기 어렵습니다. 커널 방법이라는 수학의 한 분야가 뒷받침하는 머신러닝이야말로 Amazon 규모에서 실시간 사기 탐지를 가능하게 하는 것입니다.

이 글은 AI 속 숨겨진 수학의 마법 시리즈의 일부입니다. 오늘 우리는 커널 방법, 서포트 벡터 머신, 그리고 이러한 수학적 아이디어가 어떻게 매일 매초 Amazon 고객을 보호하는지 깊이 파고듭니다.

섹션 1: 비즈니스 시나리오

평범한 Amazon 고객을 상상해 보세요. 그는 주말에 책을 사고, 가끔 전자제품을 주문하고, 주중에 생활용품을 비축합니다. 계정은 3년 되었고, 배송 주소는 몇 달째 바뀌지 않았으며, 구매는 매번 같은 도시에서 이루어집니다.

이제 화요일 정오에 뭔가 이상한 일이 일어난다고 상상해 보세요. 10분 안에 그의 계정에서 고가 주문 3건이 접수됩니다. 배송 주소가 다른 나라로 바뀝니다. 새로운 결제 수단이 추가됩니다. 주문을 하는 기기가 다릅니다. IP 주소는 이 고객이 평소 쇼핑하는 곳에서 수천 킬로미터 떨어진 위치를 가리킵니다.

Amazon은 밀리초 안에 결정을 내려야 합니다. 이것이 특이한 구매를 하는 실제 고객일까요? 아마도 여행 중이거나 선물을 사는 중일까요? 아니면 자격 증명을 얻어 계정이 잠기기 전에 빠르게 움직이는 사기꾼일까요?

어느 방향으로든 잘못된 결정은 심각한 결과를 낳습니다. 사기를 승인하면 재정 손실, 차지백, 판매자 관계 손상, 고객 신뢰 침식을 의미합니다. 정당한 고객을 차단하면 나쁜 경험, 놓친 판매, 수년간 충성스러웠던 사람과의 손상된 관계를 의미합니다.

이것은 단순한 if-else 규칙으로 해결할 수 있는 문제가 아닙니다. 패턴은 너무 복잡하고, 너무 다양하고, 너무 빠릅니다. 이것이 바로 커널 방법과 서포트 벡터 머신이 해결하기 위해 만들어진 문제입니다.

섹션 2: 머신러닝 모델 아키텍처

우리가 구축하는 모델은 서포트 벡터 머신, 즉 SVM입니다. SVM이 사기 탐지에 왜 그렇게 강력한지 이해하려면, 먼저 그것이 해결하는 핵심 문제를 이해해야 합니다.

모든 Amazon 거래를 그래프에 표시한다고 상상해 보세요. 실제 거래는 한 영역에 모입니다. 사기성 거래는 다른 영역에 모입니다. 이상적인 세계에서는 두 그룹 사이에 직선을 그어 새로운 거래를 분류할 수 있을 것입니다. 그러나 실제 사기 데이터는 결코 그렇게 깔끔하지 않습니다. 두 그룹은 겹치고, 서로를 감아 돌고, 어떤 직선도 분리할 수 없는 복잡한 모양을 형성합니다.

여기서 커널 트릭이 등장합니다. 커널 방법은 놀라운 일을 합니다. 거래 데이터를 원래의 2차원 또는 10차원 공간에서 두 그룹이 분리 가능해지는 훨씬 고차원 공간으로 수학적으로 변환합니다. 실제로 그 고차원 변환을 직접 계산하지는 않습니다. 그것은 계산 비용이 많이 들 것입니다. 대신, 커널 함수를 사용하여 그 고차원 공간에서 임의의 두 거래 간의 유사도를 명시적으로 거기 가지 않고도 계산합니다. 그것이 바로 트릭입니다.

Amazon의 사기 탐지 아키텍처는 분석되는 신호의 성격에 따라 두 가지 유형의 커널을 사용합니다.

다항식 커널은 관련 패턴이 특성 조합에서 나올 때 사용됩니다. 거래 금액에 구매 빈도를 곱하거나, 결제 수단과 위치 위험을 결합하는 등 변수 간의 상호작용 효과를 포착합니다. 이러한 상호작용은 선형 모델이 완전히 놓치는 것들입니다.

RBF 커널, 즉 방사 기저 함수는 가장 강력한 범용 선택입니다. 임의로 복잡한 경계를 자동으로 처리하는 방식으로 임의의 두 거래가 얼마나 유사한지 측정합니다. 거래가 모델이 이전에 본 어떤 실제 거래와도 유사하지 않으면, RBF 커널은 매우 낮은 유사도 점수를 부여하여 검토 대상으로 표시합니다.

SVM 모델은 서포트 벡터, 즉 실제와 사기 사이의 경계에 가장 가까운 거래를 식별하여 결정 경계를 학습합니다. 경계가 발견되면 훈련 데이터의 다른 모든 것은 무관해집니다. 이것은 SVM을 프로덕션에서 우아하고 계산 효율적으로 만듭니다.

섹션 3: 순수 수학 엔진

이제 이 시스템을 구동하는 수학을 살펴봅시다. 아래의 각 공식은 실제 숫자를 사용한 연필과 종이로 완전히 풀어낸 예제로 검증되었습니다.

다항식 커널의 공식은 다음과 같습니다:

K(x, y) = (x · y + c)^d

여기서 x와 y는 두 거래의 특성 벡터, c는 낮은 차수 항의 영향을 제어하는 상수, d는 경계의 복잡성을 제어하는 다항식의 차수입니다.

RBF 커널의 공식은 다음과 같습니다:

K(x, y) = exp(-γ ||x – y||²)

여기서 γ(감마)는 하나의 훈련 예제의 영향이 얼마나 멀리 미치는지를 제어합니다. 작은 감마는 먼 도달을 의미하고, 큰 감마는 가까운 도달을 의미합니다.

SVM 결정 함수는 다음과 같습니다:

f(x) = Σ αᵢ yᵢ K(xᵢ, x) + b

여기서 αᵢ는 각 서포트 벡터에 대해 학습된 가중치, yᵢ는 클래스 레이블(사기는 +1, 실제는 -1), K(xᵢ, x)는 서포트 벡터와 새 거래 간의 커널 유사도, b는 편향 임계값입니다. f(x)가 0보다 크면 거래가 사기로 표시됩니다.

이제 실제 숫자로 각 계산을 단계별로 수행해 봅시다.

두 가지 특성으로 설명되는 두 건의 Amazon 거래가 있습니다: 거래 금액(정규화됨)과 구매 빈도입니다.

거래 A: x = [2, 3] 즉 정규화된 금액 2와 빈도 3 거래 B: y = [1, 4] 즉 정규화된 금액 1과 빈도 4

다항식 커널에는 c = 1과 d = 2를, RBF 커널에는 γ = 0.5를 설정합니다.

다항식 커널 단계별:

1단계: 내적 x · y 계산 x · y = (2 × 1) + (3 × 4) = 2 + 12 = 14

2단계: 상수 c 더하기 14 + 1 = 15

3단계: d = 2 거듭제곱 15² = 225

K(x, y) = 225

이 큰 값은 다항식 특성 공간에서 이 두 거래가 매우 유사함을 알려줍니다. 커널은 고차원 변환을 명시적으로 계산할 필요 없이 금액과 빈도 간의 상호작용을 포착했습니다.

RBF 커널 단계별:

1단계: 차이 벡터 x – y 계산 [2 – 1, 3 – 4] = [1, -1]

2단계: 각 요소 제곱 [1², (-1)²] = [1, 1]

3단계: 제곱 차이를 합하여 ||x – y||² 구하기 1 + 1 = 2

4단계: 음의 감마 곱하기 -0.5 × 2 = -1.0

5단계: 지수 함수 적용 exp(-1.0) = 0.3679

K(x, y) = 0.3679

0에서 1 사이의 척도에서 이 0.3679 점수는 두 거래가 적당히 다르다는 것을 알려줍니다. 1에 가까운 RBF 점수는 두 거래가 거의 동일하게 행동함을 의미합니다. 0에 가까운 점수는 매우 다르다는 것을 의미하며, 이는 사기 플래그를 올립니다.

결정 함수 단계별:

훈련된 SVM이 가중치 α = [0.8, 0.6]과 레이블 y = [+1, -1]을 가진 두 개의 서포트 벡터를 학습했고, 새 거래에 대한 이 두 서포트 벡터의 커널 값이 [225.0, 0.3679]이며 편향 b = 0.1이라고 가정합니다.

f(x) = (0.8 × 1 × 225.0) + (0.6 × -1 × 0.3679) + 0.1 f(x) = 180.0 + (-0.2207) + 0.1 f(x) = 179.8793

f(x) = 179.8793이 0보다 크므로 거래는 실제로 분류됩니다. 실제 거래를 나타내는 첫 번째 서포트 벡터의 강한 양의 신호가 결정을 지배합니다.

위의 모든 값은 Python에서 독립적으로 검증되었으며 정확히 이러한 결과를 생성했습니다.

섹션 4: Python 컴퓨터 과학 구현(처음부터)

다음 구현은 NumPy를 사용하여 처음부터 커널 사기 탐지기를 구축합니다. 모든 메서드는 지름길이나 플레이스홀더 없이 완전히 구현됩니다. 전체 실행 블록이 포함되어 있으며 오류 없이 실행되도록 검증되었습니다.

실행되면 이 코드는 올바른 사기 분류와 테스트 세트의 각 거래에 대해 0과 1 사이의 해석 가능한 위험 점수를 생성합니다. 사기성 거래는 1.0에 가까운 높은 위험 점수를 얻습니다. 실제 거래는 0.0에 가까운 낮은 위험 점수를 얻습니다.

섹션 5: 프로덕션 머신러닝 청사진

이 프로덕션 코드가 실행되면 RBF와 다항식 커널 모델 모두 테스트 세트에서 100% 정확도를 달성합니다. RBF 모델은 9개의 서포트 벡터를 식별하고 확인된 사기 거래에 0.9647의 사기 확률을 할당합니다. 다항식 모델은 동일한 결과를 달성하기 위해 2개의 서포트 벡터만 필요로 하여 잘 선택된 커널의 힘을 보여줍니다.

처음부터 구축한 버전에서 프로덕션 버전으로 이동하면 몇 가지 중요한 차이점이 생깁니다. 첫째, scikit-learn의 SVM 구현은 고도로 최적화된 2차 계획법 솔버, 구체적으로 순차 최소 최적화 알고리즘을 사용하여 수백만 개의 훈련 예제로 확장되는 반면, 우리의 수작업 구현은 수천 개 이후에는 계산적으로 비실용적이 됩니다. 둘째, Platt 스케일링을 사용한 확률 보정은 원시 결정 점수를 적절히 보정된 확률로 변환하여 0.5 이상의 점수를 수동 검토로 보내고 0.9 이상의 점수를 직접 차단하는 것과 같은 단계별 비즈니스 규칙을 구동하는 데 사용할 수 있습니다. 셋째, class_weight='balanced' 매개변수는 실제 거래가 사기 거래를 크게 초과하는 사기 데이터셋의 자연스러운 불균형을 자동으로 보상하여 모델이 높은 정확도를 달성하기 위해 단순히 모든 것을 실제라고 부르는 것을 학습하지 않도록 보장합니다.

실제 Amazon 프로덕션 환경에서 아키텍처는 더욱 확장됩니다. 새로운 사기 패턴이 등장함에 따라 모델은 지속적으로 재훈련됩니다. 계정이 알려진 사기 네트워크에 연결되어 있는지 여부와 같은 그래프 기반 신호로 특성이 풍부해집니다. 커널 SVM 출력은 종종 더 큰 앙상블 모델 내의 여러 신호 중 하나로 사용되며, 트리 기반 모델이 따라할 수 없는 방식으로 비선형 경계를 그리는 고유한 능력을 기여합니다.

전략적 통찰

AI 실무자와 비즈니스 리더에게 이 글의 교훈은 사기 탐지보다 더 깊습니다. 커널 방법은 지능형 시스템에 대한 더 넓은 진실을 드러냅니다: 원시 입력 공간이 답이 존재하는 곳인 경우는 드뭅니다. 현실 세계의 데이터는 얽혀 있고, 겹쳐 있으며, 선형적 사고가 풀 수 없는 비선형 관계로 가득 차 있습니다. 커널 트릭의 힘은 실제로 거기에 가는 계산 비용 없이 훨씬 풍부한 수학적 공간에서 추론할 수 있게 해준다는 것입니다. 어려운 문제를 답이 보이는 문제로 변환하는 동일한 원칙은 추천 시스템, 위험 점수 매기기, 예측 유지보수, 헬스케어 진단, 그리고 거의 모든 진지한 엔터프라이즈 규모 머신러닝 문제에 적용됩니다. 이를 이해하는 비즈니스 리더는 데이터 사이언스 팀에 더 나은 질문을 할 것입니다. 이를 이해하는 엔지니어는 데이터가 깨끗하고 단순하기를 거부할 때 실제로 작동하는 시스템을 구축할 것입니다.

Amazon의 사기 탐지는 마법이 아닙니다. 그것은 보이지 않게 엄청난 속도로 작동하는 수학이며, 이제 여러분은 정확히 어떻게 작동하는지 이해합니다.

#MachineLearning #ArtificialIntelligence #DataScience #Mathematics #Amazon #FraudDetection #KernelMethods #SVM #RBFKernel #PolynomialKernel #TheMagicOfHiddenMathematics #AIEngineering #MLEngineering #Python #SVMClassification #EnterpriseAI #AIStrategy #DeepLearning #NeuralNetworks #TechLeadership

원래 LinkedIn에 Keshavan Thiagaraja가 게시했습니다. LinkedIn에서 원문을 읽으세요. [1]