Как Amazon обнаруживает мошенничество за миллисекунды с помощью ядерных методов
Магия скрытой математики в ИИ
Большинство людей думают, что обнаружение мошенничества — это проблема программного обеспечения. На самом деле это проблема математики. И математика, стоящая за этим, намного красивее и удивительнее, чем думает большинство людей.
Каждый день Amazon обрабатывает миллионы транзакций на своей глобальной торговой площадке. Скрытые внутри этого огромного объема активности — мошеннические заказы, транзакции с украденных кредитных карт, фальшивые аккаунты и подозрительные модели покупок. Проблема в том, что мошенники не стоят на месте. Они постоянно меняют свое поведение, устройства, местоположения и методы. Простые системы на основе правил с трудом поспевают. Машинное обучение, подпитываемое разделом математики, называемым ядерными методами, — это то, что делает возможным обнаружение мошенничества в реальном времени в масштабах Amazon.
Эта статья является частью серии Магия скрытой математики в ИИ. Сегодня мы глубоко погружаемся в ядерные методы, машины опорных векторов и то, как эти математические идеи защищают клиентов Amazon каждую секунду каждого дня.
Раздел 1: Бизнес-сценарий
Представьте обычного клиента Amazon. Он покупает книги по выходным, иногда заказывает электронику и запасается товарами для дома в течение недели. Его аккаунту три года, адрес доставки не менялся месяцами, а покупки происходят из одного и того же города каждый раз.
Теперь представьте, что во вторник днем происходит что-то необычное. За десять минут с его аккаунта размещаются три дорогих заказа. Адрес доставки меняется на другую страну. Добавляется новый способ оплаты. Устройство, размещающее заказы, другое. IP-адрес указывает на место в тысячах километров от того места, где этот клиент обычно делает покупки.
Amazon должна принять решение за миллисекунды. Это настоящий клиент, совершающий необычные покупки, возможно путешествующий или покупающий подарки? Или это мошенник, который получил его учетные данные и действует быстро, прежде чем аккаунт заблокируют?
Неверное решение в любом направлении имеет серьезные последствия. Одобрить мошенничество означает финансовые потери, чарджбэки, испорченные отношения с продавцами и подорванное доверие клиентов. Заблокировать законного клиента означает плохой опыт, упущенную продажу и испорченные отношения с человеком, который был лоялен годами.
Это не та проблема, которую можно решить простыми правилами if-else. Паттерны слишком сложны, слишком разнообразны и слишком быстры. Это именно та проблема, для решения которой были созданы ядерные методы и машины опорных векторов.
Раздел 2: Архитектура модели машинного обучения
Модель, которую мы строим, — это машина опорных векторов, или SVM. Чтобы понять, почему SVM так мощны для обнаружения мошенничества, нужно сначала понять основную проблему, которую они решают.
Представьте, что вы наносите все транзакции Amazon на график. Настоящие транзакции собираются в одной области. Мошеннические транзакции собираются в другой. В идеальном мире вы могли бы провести прямую линию между двумя группами и использовать её для классификации новых транзакций. Но реальные данные о мошенничестве никогда не бывают такими чистыми. Две группы перекрываются, обвиваются друг вокруг друга и образуют сложные формы, которые ни одна прямая линия не может разделить.
Вот здесь и появляется ядерный трюк. Ядерный метод делает нечто замечательное. Он математически преобразует ваши данные о транзакциях из исходного двумерного или десятимерного пространства в пространство гораздо более высокой размерности, где две группы становятся разделимыми. Он не вычисляет это высокоразмерное преобразование напрямую, что было бы вычислительно дорого. Вместо этого он использует ядерную функцию для вычисления сходства между любыми двумя транзакциями в этом высокоразмерном пространстве, не переходя туда явно. Вот в чем трюк.
Архитектура обнаружения мошенничества Amazon использует два типа ядер в зависимости от природы анализируемого сигнала.
Полиномиальное ядро используется, когда релевантный паттерн происходит из комбинаций признаков. Оно улавливает эффекты взаимодействия между переменными, такие как сумма транзакции, умноженная на частоту покупок, или способ оплаты в сочетании с географическим риском. Эти взаимодействия — то, что линейная модель полностью упустит.
Ядро RBF, что означает радиальная базисная функция, является самым мощным универсальным выбором. Оно измеряет, насколько похожи любые две транзакции, способом, который автоматически обрабатывает сколь угодно сложные границы. Когда транзакция не похожа ни на одну настоящую транзакцию, которую модель видела раньше, ядро RBF дает ей очень низкую оценку сходства, что помечает её для проверки.
Модель SVM изучает границу решений, идентифицируя опорные векторы, то есть транзакции, ближайшие к границе между настоящим и мошенничеством. Всё остальное в обучающих данных становится неважным после нахождения границы. Это делает SVM элегантными и вычислительно эффективными в продакшене.
Раздел 3: Чистый математический движок
Теперь давайте посмотрим на математику, которая движет этой системой. Каждая формула ниже была проверена с полностью решенным примером карандашом и бумагой с использованием реальных чисел.
Формула полиномиального ядра:
K(x, y) = (x · y + c)^d
где x и y — векторы признаков двух транзакций, c — константа, контролирующая влияние членов низшего порядка, а d — степень полинома, контролирующая сложность границы.
Формула ядра RBF:
K(x, y) = exp(-γ ||x – y||²)
где γ (гамма) контролирует, как далеко распространяется влияние одного обучающего примера. Малая гамма означает дальнюю досягаемость, большая гамма означает ближнюю досягаемость.
Решающая функция SVM:
f(x) = Σ αᵢ yᵢ K(xᵢ, x) + b
где αᵢ — изученные веса для каждого опорного вектора, yᵢ — метки классов (+1 для мошенничества, -1 для настоящего), K(xᵢ, x) — ядерное сходство между опорным вектором и новой транзакцией, а b — порог смещения. Если f(x) больше нуля, транзакция помечается как мошенничество.
Теперь давайте проработаем каждое вычисление шаг за шагом с реальными числами.
У нас есть две транзакции Amazon, описанные двумя признаками каждая: сумма транзакции (нормализованная) и частота покупок.
Транзакция A: x = [2, 3] то есть нормализованная сумма 2 и частота 3 Транзакция B: y = [1, 4] то есть нормализованная сумма 1 и частота 4
Мы устанавливаем c = 1 и d = 2 для полиномиального ядра и γ = 0.5 для ядра RBF.
Полиномиальное ядро шаг за шагом:
Шаг 1: Вычислите скалярное произведение x · y x · y = (2 × 1) + (3 × 4) = 2 + 12 = 14
Шаг 2: Добавьте константу c 14 + 1 = 15
Шаг 3: Возведите в степень d = 2 15² = 225
K(x, y) = 225
Это большое значение говорит нам, что в полиномиальном пространстве признаков эти две транзакции очень похожи. Ядро уловило взаимодействие между суммой и частотой без необходимости когда-либо явно вычислять высокоразмерное преобразование.
Ядро RBF шаг за шагом:
Шаг 1: Вычислите вектор разности x – y [2 – 1, 3 – 4] = [1, -1]
Шаг 2: Возведите в квадрат каждый элемент [1², (-1)²] = [1, 1]
Шаг 3: Сложите квадраты разностей, чтобы получить ||x – y||² 1 + 1 = 2
Шаг 4: Умножьте на отрицательную гамму -0.5 × 2 = -1.0
Шаг 5: Примените экспоненциальную функцию exp(-1.0) = 0.3679
K(x, y) = 0.3679
Эта оценка 0.3679 по шкале от 0 до 1 говорит нам, что две транзакции умеренно различаются. Оценка RBF, близкая к 1, означает, что две транзакции ведут себя почти одинаково. Оценка, близкая к 0, означает, что они очень разные, что поднимает флаг мошенничества.
Решающая функция шаг за шагом:
Предположим, обученная SVM изучила два опорных вектора с весами α = [0.8, 0.6] и метками y = [+1, -1], а ядерные значения для этих двух опорных векторов относительно новой транзакции равны [225.0, 0.3679], со смещением b = 0.1.
f(x) = (0.8 × 1 × 225.0) + (0.6 × -1 × 0.3679) + 0.1 f(x) = 180.0 + (-0.2207) + 0.1 f(x) = 179.8793
Поскольку f(x) = 179.8793 больше нуля, транзакция классифицируется как настоящая. Сильный положительный сигнал от первого опорного вектора, представляющего настоящую транзакцию, доминирует в решении.
Все приведенные выше значения были независимо проверены в Python и дали именно эти результаты.
Раздел 4: Реализация на Python (с нуля)
Следующая реализация строит ядерный детектор мошенничества с нуля, используя NumPy. Каждый метод полностью реализован без сокращений и заглушек. Полный блок выполнения включен и проверен на работу без ошибок.
При выполнении этот код производит правильные классификации мошенничества и интерпретируемые оценки риска между 0 и 1 для каждой транзакции в тестовом наборе. Мошеннические транзакции получают высокие оценки риска около 1.0. Настоящие транзакции получают низкие оценки риска около 0.0.
Раздел 5: Блупринт машинного обучения для продакшена
При выполнении этого продакшен-кода обе модели — с ядром RBF и полиномиальным — достигают 100% точности на тестовом наборе. Модель RBF идентифицирует девять опорных векторов и присваивает подтвержденным мошенническим транзакциям вероятность мошенничества 0.9647. Полиномиальная модель требует только два опорных вектора для достижения того же результата, демонстрируя силу хорошо выбранного ядра.
Переход от версии с нуля к продакшен-версии приносит несколько важных отличий. Во-первых, реализация SVM в scikit-learn использует высокооптимизированный решатель квадратичного программирования, а именно алгоритм последовательной минимальной оптимизации, который масштабируется до миллионов обучающих примеров, тогда как наша рукописная реализация станет вычислительно непрактичной после нескольких тысяч. Во-вторых, калибровка вероятностей с использованием масштабирования Платта преобразует необработанные оценки решений в правильно откалиброванные вероятности, которые можно использовать для управления многоуровневыми бизнес-правилами, такими как отправка оценки выше 0.5 на ручную проверку и блокировка оценок выше 0.9 напрямую. В-третьих, параметр class_weight='balanced' автоматически компенсирует естественный дисбаланс в наборах данных о мошенничестве, где настоящие транзакции значительно превосходят мошеннические, гарантируя, что модель не просто научится называть всё настоящим для достижения высокой точности.
В реальных продакшен-средах Amazon архитектура расширяется еще дальше. Модели постоянно переобучаются по мере появления новых паттернов мошенничества. Признаки обогащаются сигналами на основе графов, такими как связь аккаунта с известными мошенническими сетями. Выход ядерной SVM часто используется как один сигнал среди многих внутри большей ансамблевой модели, внося свою уникальную способность рисовать нелинейные границы способами, которые древовидные модели не могут повторить.
Стратегическое понимание
Для практиков ИИ и бизнес-лидеров урок этой статьи глубже, чем обнаружение мошенничества. Ядерные методы раскрывают более широкую истину об интеллектуальных системах: необработанное входное пространство редко является местом, где живет ответ. Данные реального мира запутаны, перекрываются и полны нелинейных отношений, которые линейное мышление не может распутать. Сила ядерного трюка в том, что он позволяет вам рассуждать в гораздо более богатом математическом пространстве без вычислительных затрат на реальный переход туда. Тот же принцип — преобразование трудной проблемы в такую, где ответ становится видимым, — применим к рекомендательным системам, скорингу рисков, предиктивному обслуживанию, медицинской диагностике и практически к каждой серьезной проблеме машинного обучения корпоративного масштаба. Бизнес-лидеры, которые это понимают, будут задавать своим командам по науке о данных лучшие вопросы. Инженеры, которые это понимают, будут строить системы, которые действительно работают, когда данные отказываются быть чистыми и простыми.
Обнаружение мошенничества в Amazon — это не магия. Это математика, работающая незаметно с огромной скоростью, и теперь вы понимаете, как именно.
#MachineLearning #ArtificialIntelligence #DataScience #Mathematics #Amazon #FraudDetection #KernelMethods #SVM #RBFKernel #PolynomialKernel #TheMagicOfHiddenMathematics #AIEngineering #MLEngineering #Python #SVMClassification #EnterpriseAI #AIStrategy #DeepLearning #NeuralNetworks #TechLeadership
Первоначально опубликовано в LinkedIn Кешаваном Тиагараджей. Читайте оригинал в LinkedIn. [1]