ROC и AUC Калькулятор

Профессиональный инструмент анализа точности, чувствительности и специфичности моделей. Соответствует стандартам FDA, EMA, ISO.

Оценка диагностических тестов и ROC-анализ

Входные данные (Confusion Matrix)

True Positive (TP)

Верно предсказанные положительные

False Positive (FP)

Ложно предсказанные положительные (Ошибка 1 рода)

False Negative (FN)

Ложно предсказанные отрицательные (Ошибка 2 рода)

True Negative (TN)

Верно предсказанные отрицательные

Визуализация Матрицы

50TP (Hit)

10FP (Type I)

5FN (Type II)

50TN (Reject)

Всего сэмплов: 115

Accuracy (Точность)

86.96%

Доля правильных ответов

Sensitivity (Чувствительность)

90.91%

Recall, TPR. Способность найти больных.

Specificity (Специфичность)

83.33%

TNR. Способность найти здоровых.

Precision (Прецизионность)

83.33%

PPV. Доля реальных 1 среди предсказанных 1.

NPV

90.91%

Negative Predictive Value.

F1 Score

0.8696

Гармоническое среднее Precision и Recall.

Matthews Corr. Coeff. (MCC)

0.7424

Корреляция между предсказаниями и фактом.

Likelihood Ratio + (LR+)

5.4545

Отношение вероятности наличия болезни к отсутствию при тесте+.

Likelihood Ratio - (LR-)

0.1091

Отношение вероятности наличия болезни к отсутствию при тесте-.

Загрузка калькулятора...

ISO

Стандарты

FDA

Соответствие

100%

Точность

Аналитика

Фундамент бинарной классификации

ROC-анализ и показатели AUC, точности, чувствительности и специфичности — это фундаментальные инструменты оценки бинарных классификаторов (больной/здоровый, спам/не спам, дефолт/не дефолт).

Любой расчет опирается на Матрицу ошибок (Confusion Matrix):

Фактический \ Предсказанный	Положительный (Positive)	Отрицательный (Negative)
Положительный (Actual Positive)	TP True Positive Верное попадание	FN False Negative Пропуск события (Ошибка II рода)
Отрицательный (Actual Negative)	FP False Positive Ложная тревога (Ошибка I рода)	TN True Negative Верный отказ

Ключевые метрики

🎯

Точность (Accuracy)

(TP + TN) / All

Доля верных предсказаний.

Нюанс: Бесполезна при дисбалансе классов. Если 99% здоровы, модель всегда говорящая "здоров" даст 99% accuracy, но будет бесполезна.

🔍

Чувствительность (Sensitivity)

TP / (TP + FN)

Доля обнаруженных положительных случаев.

Где важно: Медицина (не пропустить болезнь), безопасность (не пропустить угрозу). FDA/EMA требуют высокую чувствительность для скрининга.

🛡️

Специфичность (Specificity)

TN / (TN + FP)

Доля корректно отвергнутых отрицательных случаев.

Где важно: Кредитный скоринг (не отказать хорошему клиенту), антиспам (не отправить важное письмо в спам).

Что такое ROC и AUC?

ROC-кривая отображает баланс между Чувствительностью (Y) и (1 - Специфичностью) (X) при переборе всех возможных порогов классификации.

AUC (Area Under the Curve) — площадь под этой кривой. Это универсальная "оценка" качества модели от 0.5 до 1.0.

>0.9Отличная модель. Золотой стандарт диагностики.
0.7-0.8Приемлемая модель. Типично для сложных социологических данных.
0.5Случайное угадывание. Модель не работает.

Международные стандарты

FDA (США)

Использует AUC для валидации диагностических тестов. Требуется баланс sensitivity/specificity в зависимости от цены ошибки (Youden Index).

IEEE / ISO

Рекомендуют ROC для сравнения AI-моделей независимо от порога принятия решений.

Youden Index (J)

Sens + Spec - 1

Помогает выбрать оптимальный порог ("отсечку"), максимизируя общую эффективность.

Выбор оптимального порога

Модели обычно выдают вероятность (от 0 до 1). Порог "по умолчанию" — 0.5. Но это часто неоптимально.

Медицина: Снижаем порог (например, до 0.1), чтобы найти всех потенциально больных (Sensitivity), даже ценой ложных тревог.
Спам-фильтр: Повышаем порог (до 0.9), чтобы ни одно важное письмо случайно не улетело в спам (Specificity).

Частые ошибки специалистов

❌Использование Accuracy при дисбалансе классов (99 положительных, 1 отрицательный).
❌Выбор порога 0.5 без анализа бизнес-задачи и стоимости ошибок.
❌Интерпретация AUC как "процента правильных ответов" (это вероятность правильного ранжирования, а не точность).
❌Сравнение моделей по ROC на обучающей выборке (всегда проверяйте на Hold-out/Test!).

Часто задаваемые вопросы

AUC оценивает разделяющую способность модели в целом (по всем порогам), что хорошо для общего сравнения алгоритмов. F1-score оценивает качество при конкретном пороге, что важно для принятия финального бизнес-решения. При сильном дисбалансе классов часто смотрят и на Precision-Recall кривую.

Численно это делается методом трапеций под ROC-кривой. В Python используется `sklearn.metrics.roc_auc_score`.

ROC изначально создан для бинарных задач. Для мультикласса (3+ класса) используют подходы «один против всех» (One-vs-All) и усредняют метрики, либо строят отдельные ROC-кривые для каждого класса.

Это значит, что ваша модель работает хуже случайного угадывания. Часто это сигнализирует об ошибке в коде (перепутаны классы 0 и 1). Если инвертировать предсказания такой модели, она станет хорошей.

В медицине требования очень высоки. Для скрининговых тестов часто ожидается AUC > 0.9, а Sensitivity (чувствительность) > 95%, так как пропуск болезни (FN) недопустим.

Создатель

Лиана Арифметова

Миссия: Демократизировать сложные расчеты. Превратить страх перед числами в ясность и контроль. Девиз: «Любая повторяющаяся задача заслуживает своего калькулятора».

⚖️

Дисклеймер

Этот ROC и AUC калькулятор — профессиональный инструмент для предварительной оценки. Мы используем стандартные алгоритмы (трапецеидальный метод для AUC, Youden Index для порога). Однако данные расчеты не являются заменой полноценной валидации моделей в критических сферах (медицина, авиация, финансы). Всегда проводите тесты на независимых выборках.