Продажа квадроциклов, снегоходов и мототехники
second logo
Пн-Чт: 10:00-20:00
Пт-Сб: 10:00-19:00 Вс: выходной

+7 (812) 924 3 942

+7 (911) 924 3 942

Индексы PSI и CSI — лучшие метрики для мониторинга работы модели / Хабр

Представляем вам перевод статьи, опубликованной в блоге towardsdatascience.com.
Ее автор, Juhi Ramzai, рассказала об эффективных методах проверки моделей — PSI (индексе стабильности популяции) и CSI (индексе стабильности характеристик).

Изображение предоставлено автором

После выпуска модели в продакшен необходимо проводить регулярный мониторинг ее работы, чтобы убедиться, что модель все еще актуальна и надежна. Ранее я писала пост о валидации модели и мониторинге ее работы, в котором подчеркивала важность этих двух этапов.

А теперь перейдем к основной теме данного поста. Мы узнаем все о PSI (индексе стабильности популяции) и CSI (индексе стабильности характеристик), которые являются одними из самых важных стратегий мониторинга, используемых во многих областях, особенно в сфере оценки кредитных рисков.

Обе эти метрики (и PSI, и CSI) сосредоточены на изменениях в РАСПРЕДЕЛЕНИИ ПОПУЛЯЦИИ.

Основная идея этих метрик заключается в том, что модель прогнозирования лучше всего работает, если данные, использованные для ее обучения, не слишком отличаются от валидационных / OOT (out of time) данных в плане экономических условий, основополагающих допущений, стиля ведения кампании, направленности и т. д.

Например, мы разработали модель прогнозирования показателей оттока пользователей кредитных карт в условиях нормальной экономической ситуации. Затем мы приступили к тестированию этой модели, но уже в условиях экономического кризиса. Вполне возможно, что в этом случае модель не выдаст точный прогноз, поскольку не сможет уловить тот факт, что в разных сегментах дохода распределение популяции могло значительно измениться (и это могло привести к высокому фактическому уровню оттока пользователей). В результате мы получим ошибочные предсказания. Но так как сейчас мы это уже понимаем, то можем перейти к проверке изменений распределения популяции между временем разработки (DEV time) и настоящим временем.

Так мы получим ясное представление о том, можно ли полагаться на результаты, предсказанные моделью, или нет. Именно это и показывают важные метрики мониторинга PSI и CSI.

Индекс стабильности популяции (PSI)

Эта метрика позволяет измерить то, насколько переменная изменилась в распределении между двумя выборками с течением времени. Она широко используется для мониторинга изменений характеристик популяции и диагностики возможных проблем с эффективностью модели. Если модель перестала делать точные прогнозы из-за значительных изменений в распределении популяции, то часто это является хорошим показателем.

Приведенное выше определение как нельзя лучше объяснено в данной исследовательской работе. Я также привела ссылку на него в конце этого поста.

Изначально индекс стабильности популяции (PSI) был разработан для мониторинга изменений в распределении между внеплановыми выборками (ООТ) и выборками периода времени разработки при оценке кредитных рисков. В настоящее время использование индекса PSI стало более гибким по своей природе, что позволяет исследовать изменения как распределений, связанных с атрибутами модели, так и популяций в целом, включая зависимые и независимые переменные CSI. Мы рассмотрим это в следующем разделе.

Индекс PSI отражает тенденцию к изменению популяции в целом, в то время как индекс CSI обычно сосредоточен на используемых индивидуальных переменных модели.


Источник

Изменение в распределении популяции может быть связано:

  • с изменениями в экономической среде, такими как экономический кризис, COVID-19 и т. д.;
  • изменениями в источниках данных;
  • изменениями во внутренней политике, которые прямо или косвенно влияют на распределение популяции;
  • проблемами с интеграцией данных, которые могут привести к ошибкам в данных;
  • проблемами при программировании/кодировании, такими как реализация модели или пропуск некоторых важных этапов в коде оценки качества работы модели.

Поскольку изменение распределения не обязательно должно сопровождаться изменением зависимой переменной, индекс PSI также можно использовать для изучения сходства/различия между любыми выборками. Например, для сравнения уровня образования, дохода и состояния здоровья двух или нескольких популяций в социально-демографических исследованиях.

ШАГИ ДЛЯ РАСЧЕТА ИНДЕКСА PSI (Ссылка)

  1. Сортируем оцениваемую переменную по убыванию в оцениваемой выборке.
  2. Разделяем данные на 10 или 20 групп (дециль).
  3. Рассчитываем процент записей в каждой группе на основании оцениваемой выборки.
  4. Рассчитываем процент записей в каждой группе на основании выборки разработки.
  5. Рассчитываем разницу между шагами 3 и 4.
  6. Берем натуральный логарифм (Шаг 3 / Шаг 4).
  7. Умножаем шаг 5 на шаг 6.

ТАБЛИЦА EXCEL ИНДЕКСА PSI:

Изображение предоставлено автором

ПРАВИЛА ТОЛКОВАНИЯ (Ссылка)

  1. Индекс PSI < 0,1 — без изменений. Вы можете продолжить использование существующей модели.
  2. Индекс PSI >= 0,1, но меньше 0,2 — требуются небольшие изменения.
  3. PSI >= 0,2 — требуются значительные изменения. В идеале модель больше не должна использоваться. Ее следует обучить заново / заменить другой.

Также можно использовать условный диапазон форматирования — красную, желтую и зеленую зоны (Red-Amber-Green zone). Красный цвет — тревожное состояние, при котором индекс PSI составляет более 20%, желтый — это 10–20%, при этом модель должна находиться под наблюдением, а зеленый — это этап, на котором модель считается пригодной для использования, т. е. < 10%.

Теперь, исходя из варианта использования, эти пороговые значения корректируются в соответствии с актуальностью для бизнеса, но идея остается прежней — следить за изменениями в популяции.

Индекс стабильности характеристик (CSI)

Эта характеристика отвечает на вопрос, какая именно переменная вызывает изменения в распределении популяции. Она сравнивает распределение независимой переменной в наборе оцениваемых данных с набором данных с этапа разработки, а также обнаруживает изменения в распределении входных переменных, которые оцениваются с течением времени.

Это помогает определить, какая изменяющаяся переменная в основном вызывает изменение метрик качества модели.

Когда эффективность модели ухудшается, проверка изменений в распределении переменных модели может помочь выявить возможные причины этого. Как правило, это делается после проверки, в результате которой выяснилось, что индекс PSI не находится в зеленой зоне (< 0,1 в целом). Таким образом можно проверить, какие переменные в основном задают распределение популяции.

Если хотя бы одна переменная значительно изменилась или если показатели нескольких переменных немного изменились, возможно, пришло время обучить модель заново или заменить ее другой.

При вычислении индекса CSI предпринимаются те же действия, что и при вычислении индекса PSI. Разница лишь в том, что решение принимается на основе значений выборки с этапа разработки для конкретной переменной (путем разбиения их на диапазоны и установки пределов этих значений в качестве пороговых значений). Затем при вычислении значений частот для любой валидационной / внеплановой (ООТ) выборки просто применяются те же пороговые значения к данным и вычисляются значения частоты (при помощи той же формулы, которую мы использовали при вычислении индекса PSI).

ТАБЛИЦА EXCEL ИНДЕКСА CSI


Изображение предоставлено автором

Таким образом, индекс PSI может помочь определить расхождения в распределениях популяций в целом, если они значительны, а индекс CSI может помочь еще больше сузить их до нескольких ответственных за это переменных.

Ссылка на исследование

PSI (pounds per square inch)

8 (812) 777-98-808 (800) 555-97-17

Бесплатный для регионов РФ, 10:00-21:00

г. Санкт-Петербург

Московское шоссе д. 36

время работы магазинов и мастерских

проверить состояние заказазаказ

  • Горные велосипеды
  • Женские велосипеды
  • Детские велосипеды
  • Беговелы
  • Подростковые велосипеды
  • Складные велосипеды
  • Дорожные велосипеды
  • Велосипеды двухподвесы
  • Экстрим-велосипеды
  • Шоссейные велосипеды
  • Гибридные велосипеды
  • Велосипеды 27.5 дюймов
  • Горные велосипеды 27,5+
  • Велосипеды 29 дюймов
  • Фэтбайки
  • Циклокроссовые велосипеды
  • Круизеры
  • Электровелосипеды
  • BMX велосипеды
  • Тандемы
  • Трехколесные детские велосипеды
  • Комфортные велосипеды
  • Трехколесные велосипеды
  • Bear Bike
  • Aspect
  • Author
  • Centurion
  • Cervelo
  • Cube
  • Dahon
  • Dewolf
  • Eltreco
  • Felt
  • Format
  • Forward
  • Haibike
  • Giant
  • Horst
  • Kellys
  • Shulz
  • Merida
  • SCool
  • Novatrack
  • Royal Baby
  • Schwinn
  • Scott
  • Silverback
  • Slash
  • Specialized
  • Stark
  • Stels
  • Stinger
  • Tern
  • Trek
  • Welt
  • Lехus
  • Kross
  • Babybike
  • Mirraco
  • Smart
  • Cannondale
  • Altair
  • Commencal
  • GT
  • Phoenix
  • Electra
  • Cronus
  • Hoverbot
  • Montague
  • Transfold
  • Nacto
  • Marin
  • Haro
  • Ghost
  • Nameless
  • KHE
  • Smart Trike
  • Ford
  • Volteco
  • Focus
  • Bergamont
  • Adriatica
  • Strida
  • Bulls
  • Benelli
  • globber
  • kalkhoff
  • Chillafish

все бренды

  • Главная
  • Термины и определения
  • P
  • PSI (pounds per square inch)

слово/терминперевод
PadПрокладка, накладка
PatchЗаплатка
pedalПедаль
Philips screwdriverКрестообразная отвертка
PinШтырь, штифт
pinПин
PlayЛюфт
PreloadПредварительный затяг
Pressure gaugeВеломанометр
Pro riderПрорайдер
PSI (pounds per square inch)ПСИ
PullТяга
Pull-direct brakesКантилеверные тормоза
PulleyРолик
PumpНасос

А  Б  В  Г  Д  Е  Ё  Ж  З  И  Й  К  Л  М  Н  О  П  Р  С  Т  У  Ф  Х  Ц  Ч  Ш  Щ  Э  Ю  Я  

A  B  C  D  E  F  G  H  I  J  K  L  M  N  O  P  Q  R  S  T  U  V  W  X  Y  Z  


  • Велосипеды
    • Велоаксессуары
      • Велозапчасти
        • Самокаты
          • Тренажеры
            • Распродажа

            Psi Определение и значение — Merriam-Webster

            1 из 3

            ˈsī ˈpsi

            : 23-я буква греческого алфавита

            см. Алфавитную таблицу

            psi

            2 из 3

            ˈsī

            : парапсихологические психические явления или силы

            фунтов на квадратный дюйм

            3 из 3

            фунта на квадратный дюйм

            История слов

            Этимология

            Существительное (1)

            Среднеанглийский, от средневековой латыни, от позднегреческого, от греческого psei

            Существительное (2)

            вероятно, путем сокращения и изменения от психический

            Первое известное использование

            Существительное (1)

            15 век, в значении, указанном выше

            Существительное (2)

            1942 год, в значении, определенном выше

            Путешественник во времени

            Первое известное использование psi было в 15 веке

            Посмотреть другие слова из того же века пшоу

            пси

            PSIA

            Посмотреть другие записи поблизости

            Процитировать эту запись «Пси».

            Словарь Merriam-Webster.com , Merriam-Webster, https://www.merriam-webster.com/dictionary/psi. По состоянию на 3 декабря 2022 г.

            Копия цитаты

            Дети Определение

            : 23-я буква греческого алфавита

            —Ψ или ψ

            Медицинское определение

            psi 1 из 2

            ˈsī

            : относящийся к парапсихологическим психическим явлениям или силам, связанный с ними или являющийся ими

            явление psi

            psi

            2 из 2

            : пси-события или явления

            Подпишитесь на крупнейший словарь Америки и получите тысячи дополнительных определений и расширенный поиск без рекламы!

            Merriam-Webster полный текст

            Psi Определение и значение | Dictionary.

            com
            • Основные определения
            • Викторина
            • Примеры
            • Британский

            Показывает уровень сложности слова.

            1

            [sahy, psahy]

            / saɪ, psaɪ /

            Сохрани это слово!

            Показывает уровень сложности слова.


            существительное во множественном числе psis.

            23-я буква греческого алфавита (Ψ, ψ).

            группа согласных звуков, обозначаемых этой буквой.

            ВИКТОРИНА

            ВЫ ПРОЙДЕТЕ ЭТИ ГРАММАТИЧЕСКИЕ ВОПРОСЫ ИЛИ НАТЯНУТСЯ?

            Плавно переходите к этим распространенным грамматическим ошибкам, которые ставят многих людей в тупик. Удачи!

            Вопрос 1 из 7

            Заполните пропуск: Я не могу понять, что _____ подарил мне этот подарок.

            Происхождение psi

            1

            1350–1400; Среднеанглийский <греческий pseî

            Слова рядом с psi

            pseudotuberculosis, pseudovector, psf, PSG, pshaw, psi, psia, psid, psig, псилантропизм, псилоцин

            Другие определения для psi (2 из 3)

            psi 2

            [sahy]

            / saɪ /


            существительное

            любое предположительно психическое явление, такое как психокинез, телепатия, ясновидение или тому подобное.

            Сравните лженауку, парапсихологию.

            Происхождение psi

            2

            1940–45; сокращение от «психический или парапсихический»

            Другие определения psi (3 из 3)

            psi

            или p.s.i.


            фунта на квадратный дюйм.

            Dictionary.com Полный текст Основано на Random House Unabridged Dictionary, © Random House, Inc. 2022

            Как использовать psi в предложении

            • Чуть выше 45 psi я отщелкнул патрон насоса и повернул колесо на оси, удерживая аэрозольный туман герметика, который может исходить из зазора в седле буртика.

              Этот новый клапан может сделать бескамерные шины не отстойными|agintzler|26 января 2022 г.|Outside Online

            • Lighthouse за пределами PSI, в Dev Tools или упакованный NPM как открытый проект Node, может быть откалиброван для моделирования различных сценариев .

              Google изменяет показатели Core Web Vitals; Как использовать лабораторные и полевые данные для оптимизации. большие палубы и патио, сторона дома, лодки и грузовые автомобили.

              Лучшая мойка высокого давления для удаления грязи, масла, краски и многого другого|Джереми Хеллигар|18 марта 2021 г.|Popular-Science

            • Для работ среднего размера требуется давление от 2000 до 2800 фунтов на квадратный дюйм и скорость от 2 до 3 галлонов в минуту.

              Лучшая мойка высокого давления для очистки от грязи, масла, краски и многого другого|Джереми Хеллигар|18 марта 2021 г.|Popular-Science .

              Меня изнасиловали в братстве UVA 30 лет назад, и никто ничего не сделал|Лиз Секкуро|16 декабря 2014|DAILY BEAST

            • Узы братства Phi Kappa Psi были слишком крепкими, чтобы их разорвать.

              Меня изнасиловали в братстве UVA 30 лет назад, и никто ничего не сделал|Лиз Секкуро|16 декабря 2014|DAILY BEAST

            • Полиция Шарлоттсвилля действительно обладала юрисдикцией в отношении дома Phi Kappa Psi.

              Меня изнасиловали в братстве UVA 30 лет назад, и никто ничего не сделал|Liz Seccuro|16 декабря 2014|DAILY BEAST

            • вовлеченные лица.

              Меня изнасиловали в братстве UVA 30 лет назад, и никто ничего не сделал|Лиз Секкуро|16 декабря 2014 г.|DAILY BEAST

            • Будет ли PSI (участие частного сектора) широко использоваться в будущих спасательных операциях?

              Какая помощь? Шесть причин любить Кипр|Кевин Фэллон|18 марта 2013|DAILY BEAST

            • Конечно, он защищал его на Антаре, и с такой же уверенностью он должен был отвечать за пси-способности, которыми он обладал.

              Insidekick|Джесси Франклин Боун

            • Мы знаем, что цилиндр Ауэрбаха хранит пси-импульс, но мы не знаем, как это сделать.

              Sense from Thought Divide|Марк Ирвин Клифтон

            • Для этого мне не нужен был какой-то пси-талант, это была неизбежная часть его шаблона.

              Чувство разделения мыслей|Марк Ирвин Клифтон

            • Чего нам действительно не хватало в пси, так это способности ориентировать его феномены.

              Чувство разделения мыслей|Марк Ирвин Клифтон

            • Я мог бы сказать, что пси был потоком позитронов, и это означало бы то же самое.

Разное

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *