Индексы PSI и CSI — лучшие метрики для мониторинга работы модели / Хабр

Представляем вам перевод статьи, опубликованной в блоге towardsdatascience.com.
Ее автор, Juhi Ramzai, рассказала об эффективных методах проверки моделей — PSI (индексе стабильности популяции) и CSI (индексе стабильности характеристик).

Изображение предоставлено автором

После выпуска модели в продакшен необходимо проводить регулярный мониторинг ее работы, чтобы убедиться, что модель все еще актуальна и надежна. Ранее я писала пост о валидации модели и мониторинге ее работы, в котором подчеркивала важность этих двух этапов.

А теперь перейдем к основной теме данного поста. Мы узнаем все о PSI (индексе стабильности популяции) и CSI (индексе стабильности характеристик), которые являются одними из самых важных стратегий мониторинга, используемых во многих областях, особенно в сфере оценки кредитных рисков.

Обе эти метрики (и PSI, и CSI) сосредоточены на изменениях в РАСПРЕДЕЛЕНИИ ПОПУЛЯЦИИ.

Основная идея этих метрик заключается в том, что модель прогнозирования лучше всего работает, если данные, использованные для ее обучения, не слишком отличаются от валидационных / OOT (out of time) данных в плане экономических условий, основополагающих допущений, стиля ведения кампании, направленности и т. д.

Например, мы разработали модель прогнозирования показателей оттока пользователей кредитных карт в условиях нормальной экономической ситуации. Затем мы приступили к тестированию этой модели, но уже в условиях экономического кризиса. Вполне возможно, что в этом случае модель не выдаст точный прогноз, поскольку не сможет уловить тот факт, что в разных сегментах дохода распределение популяции могло значительно измениться (и это могло привести к высокому фактическому уровню оттока пользователей). В результате мы получим ошибочные предсказания. Но так как сейчас мы это уже понимаем, то можем перейти к проверке изменений распределения популяции между временем разработки (DEV time) и настоящим временем.

Так мы получим ясное представление о том, можно ли полагаться на результаты, предсказанные моделью, или нет. Именно это и показывают важные метрики мониторинга PSI и CSI.

Индекс стабильности популяции (PSI)

Эта метрика позволяет измерить то, насколько переменная изменилась в распределении между двумя выборками с течением времени. Она широко используется для мониторинга изменений характеристик популяции и диагностики возможных проблем с эффективностью модели. Если модель перестала делать точные прогнозы из-за значительных изменений в распределении популяции, то часто это является хорошим показателем.

Приведенное выше определение как нельзя лучше объяснено в данной исследовательской работе. Я также привела ссылку на него в конце этого поста.

Изначально индекс стабильности популяции (PSI) был разработан для мониторинга изменений в распределении между внеплановыми выборками (ООТ) и выборками периода времени разработки при оценке кредитных рисков. В настоящее время использование индекса PSI стало более гибким по своей природе, что позволяет исследовать изменения как распределений, связанных с атрибутами модели, так и популяций в целом, включая зависимые и

независимые переменные CSI. Мы рассмотрим это в следующем разделе.

Индекс PSI отражает тенденцию к изменению популяции в целом, в то время как индекс CSI обычно сосредоточен на используемых индивидуальных переменных модели.

Источник

Изменение в распределении популяции может быть связано:

• с изменениями в экономической среде, такими как экономический кризис, COVID-19 и т. д.;
• изменениями в источниках данных;
• изменениями во внутренней политике, которые прямо или косвенно влияют на распределение популяции;
• проблемами с интеграцией данных, которые могут привести к ошибкам в данных;
• проблемами при программировании/кодировании, такими как реализация модели или пропуск некоторых важных этапов в коде оценки качества работы модели.

Поскольку изменение распределения не обязательно должно сопровождаться изменением зависимой переменной, индекс PSI также можно использовать для изучения сходства/различия между любыми выборками. Например, для сравнения уровня образования, дохода и состояния здоровья двух или нескольких популяций в социально-демографических исследованиях.

ШАГИ ДЛЯ РАСЧЕТА ИНДЕКСА PSI (Ссылка)

1. Сортируем оцениваемую переменную по убыванию в оцениваемой выборке.
2. Разделяем данные на 10 или 20 групп (дециль).
3. Рассчитываем процент записей в каждой группе на основании оцениваемой выборки.
4. Рассчитываем процент записей в каждой группе на основании выборки разработки.
5. Рассчитываем разницу между шагами 3 и 4.
6. Берем натуральный логарифм (Шаг 3 / Шаг 4).
7. Умножаем шаг 5 на шаг 6.

ТАБЛИЦА EXCEL ИНДЕКСА PSI:

Изображение предоставлено автором

ПРАВИЛА ТОЛКОВАНИЯ (Ссылка)

1. Индекс PSI < 0,1 — без изменений. Вы можете продолжить использование существующей модели.
2. Индекс PSI >= 0,1, но меньше 0,2 — требуются небольшие изменения.
3. PSI >= 0,2 — требуются значительные изменения. В идеале модель больше не должна использоваться. Ее следует обучить заново / заменить другой.

Также можно использовать условный диапазон форматирования — красную, желтую и зеленую зоны (Red-Amber-Green zone). Красный цвет — тревожное состояние, при котором индекс PSI составляет более 20%, желтый — это 10–20%, при этом модель должна находиться под наблюдением, а зеленый — это этап, на котором модель считается пригодной для использования, т. е. < 10%.

Теперь, исходя из варианта использования, эти пороговые значения корректируются в соответствии с актуальностью для бизнеса, но идея остается прежней — следить за изменениями в популяции.

Индекс стабильности характеристик (CSI)

Эта характеристика отвечает на вопрос, какая именно переменная вызывает изменения в распределении популяции. Она сравнивает распределение независимой переменной в наборе оцениваемых данных с набором данных с этапа разработки, а также обнаруживает изменения в распределении входных переменных, которые оцениваются с течением времени.

Это помогает определить, какая изменяющаяся переменная в основном вызывает изменение метрик качества модели.

Когда эффективность модели ухудшается, проверка изменений в распределении переменных модели может помочь выявить возможные причины этого. Как правило, это делается после проверки, в результате которой выяснилось, что индекс PSI не находится в зеленой зоне (< 0,1 в целом). Таким образом можно проверить, какие переменные в основном задают распределение популяции.

Если хотя бы одна переменная значительно изменилась или если показатели нескольких переменных немного изменились, возможно, пришло время обучить модель заново или заменить ее другой.

При вычислении индекса CSI предпринимаются те же действия, что и при вычислении индекса PSI. Разница лишь в том, что решение принимается на основе значений выборки с этапа разработки для конкретной переменной (путем разбиения их на диапазоны и установки пределов этих значений в качестве пороговых значений). Затем при вычислении значений частот для любой валидационной / внеплановой (ООТ) выборки просто применяются те же пороговые значения к данным и вычисляются значения частоты (при помощи той же формулы, которую мы использовали при вычислении индекса PSI).

ТАБЛИЦА EXCEL ИНДЕКСА CSI

Изображение предоставлено автором

Таким образом, индекс PSI может помочь определить расхождения в распределениях популяций в целом, если они значительны, а индекс CSI может помочь еще больше сузить их до нескольких ответственных за это переменных.

Ссылка на исследование

Студийные мониторы PSI Audio

 

НАСТОЯЩЕЕ ШВЕЙЦАРСКОЕ КАЧЕСТВО!

Компания PSI Audio была основанна в 1977 году и с тех пор считается ведущим производителем качественной акустики.

Все элементы производятся в пределах одной фабрики и собираются только вручную опытными мастерами с огромным опытом.

Компания использует следующие уникальные технологии:

ЕДИНАЯ ИНТЕГРАЦИЯ ВСЕХ СИСТЕМ.

Самым важным аспектом нашей технологии является то, что все компоненты тщательно разработаны для идеального взаимодействия и совместной работы в качестве единой системы.

Мы стремимся обеспечить максимально гармоничное звучание и единый дизайн всей линейки нашей продукции.

100% ЧИСТАЯ АНАЛОГОВАЯ ТЕХНОЛОГИЯ — БЕЗ DSP.

Наши уши — аналоговые.

Слышимый ими звук – аналоговый.

Поэтому мы решили полностью отказаться от использования цифровых звуковых процессоров.

Это требует продуманного дизайна и высочайшего уровня контроля качества и изготовления всех компонентов громкоговорителя.

Хорошо настроенная аналоговая технология гарантирует быструю, линейную, бесперебойную и надежную работу без задержек.

РОВНЫЙ ЗВУК БЕЗ ТОНАЛЬНОЙ ОКРАСКИ.

Роль профессионального студийного монитора  — воспроизводить звук, не окрашивая его. Это требует плоской частотной характеристики без усиления или демпфирования каких-либо частот.

Это обеспечивается как дизайном, так и индивидуальной калибровкой каждого отдельного динамика.

Плоская частотная характеристика гарантирует четкое распознавание каждого музыкального инструмента в записи.

УСИЛИТЕЛИ КЛАССА G / H

Все наши усилители на 100% спроектированы нами и собраны на нашей фабрике. Это обеспечивает максимально возможную степень надежности и производительности.

Класс G / H использует несколько шин питания различных напряжений, плавно переключаясь на более высокое напряжение, когда этого требует аудиосигнал, и плавно переключаясь на более низкое напряжение питания, когда аудиосигнал уменьшается.

Таким образом, среднее энергопотребление и тепло, вызванные потерей мощности, снижаются. Усилители класса G / H требуют значительно более сложных источников питания, но объединяют в себе множество преимуществ.

АКУСТИЧЕСКАЕ НАГРУЗКА — ALG

Форма и размеры оптимизированного волновода, используемого в твитере PSI Audio, специально разработаны для  оптимизации направленности, а также для максимального увеличения уровня звукового давления и расширения полосы пропускания.

РУЧНАЯ СБОРКА В ШВЕЙЦАРИИ.

За десятилетия производства наилучших из возможных громкоговорителей мы знаем, что для этого требуется: высококачественный контроль над каждым малейшим компонентом и этапом сборки.

Шаг за шагом элементы изготавливаются и собираются  с особой тщательностью, каждая деталь проверяется на качество и согласованность в работе нашими специалистами по сборке.

Тот  факт, что производство выполняется вручную, гарантирует надежность, минимальные допуски и достижение высочайших характеристик.

В результате, наши громкоговорители исправно работают в течение нескольких десятилетий, прежде чем будет заметен их минимальный износ. 

Акустические системы PSI AUDIO — это инвестиция на всю жизнь!

Psi Определение и значение — Merriam-Webster

1 из 3

ˈsī ˈpsi

: 23-я буква греческого алфавита

см. Алфавитную таблицу

psi

2 из 3

ˈsī

: парапсихологические психические явления или силы

фунтов на квадратный дюйм

3 из 3

фунта на квадратный дюйм

Примеры предложений

Последние примеры в Интернете

Такое количество больше, чем давление укуса, оказываемое некоторыми из самых сильных челюстей в животном мире: укусы крокодилов измеряются до 3700 9 .0033 фунтов на квадратный дюйм . — Софи Бушвик, Scientific American , 21 июня 2023 г. Резервуары вмещают чуть более 462 галлонов сжатого водорода при давлении более 10 000 фунтов на квадратный дюйм , что в сумме составляет 151 фунт топлива. — Джонатон Рэмси, Автомобиль и водитель , 13 мая 2023 г. Его двигатель потребляет 13 ампер для питания аксиально-кулачкового насоса мощностью 2000 л.0033 фунтов на квадратный дюйм и 1,2 галлона в минуту. — Рой Берендсон, Popular Mechanics , 25 апреля 2023 г. Благодаря турбонагнетателям гоночного автомобиля, обеспечивающим наддув до 16,1 фунтов на квадратный дюйм (на 0,9 больше, чем у стандартного автомобиля), новым форсункам и на 15 процентов более эффективным промежуточным охладителям, V-6 с двойным верхним расположением распредвала выигрывает от 20-сильного удара. и еще 36 фунт-фут крутящего момента. — Мэтт Фарах, Автомобиль и водитель , 3 мая 2022 г. Затем капсулу нагревают до 300° по Фаренгейту и создают давление до 70 фунтов на квадратный дюйм . — Джо Паппалардо, Popular Mechanics , 8 мая 2023 г. Во-первых, давление наддува установлено выше, чем предполагалось другими (9 фунтов на квадратный дюйм ), а во-вторых, корпус компрессора имеет большую пропускную способность, чтобы удовлетворить требования к большему объему поршня Trans Am. — Дон Шерман, 9 лет.0033 Автомобиль и водитель , 1 мая 2023 г. Дитури живет при абсолютной температуре 1,6 атмосферы (ATA), или 25 фунтов на квадратный дюйм ( фунтов на квадратный дюйм ). — Эшли Стимпсон, Popular Mechanics , 8 апреля 2023 г. Устройство имеет ручной насос и может вмещать до 45 фунтов на квадратный дюйм . — Том Прайс,

Popular Mechanics , 15 февраля 2023 г. Узнать больше

Эти примеры программно скомпилированы из различных онлайн-источников, чтобы проиллюстрировать текущее использование слова «psi». Любые мнения, выраженные в примерах, не отражают точку зрения Merriam-Webster или ее редакторов. Отправьте нам отзыв об этих примерах.

История слов

Этимология

Существительное (1)

Среднеанглийский, от средневековой латыни, от позднего греческого, от греческого

psei

Существительное (2)

вероятно, путем сокращения и изменения от психический

Первое известное употребление

Существительное (1)

15 век, в значении, определенном выше

Существительное (2)

1942, в значении, определенном выше 9 0003

Путешественник во времени

Первое известное использование psi было в 15 веке

Посмотреть другие слова из того же века пшоу

пси

PSIA

Посмотреть другие записи поблизости

Процитировать эту запись «Пси».

Словарь Merriam-Webster.com , Merriam-Webster, https://www.merriam-webster.com/dictionary/psi. По состоянию на 9 июля 2023 г.

Копия цитирования

Детское определение

psi

существительное

: 23-я буква греческого алфавита

—Ψ или ψ

Медицинское определение

psi

1 из 2 прилагательное

ˈsī

: относящееся к парапсихологическим психическим событиям или силам, относящееся к ним или являющееся ими

psi феномен

psi

2 из 2 существительное

: пси-события или явления

Последнее обновление: 30 июня 2023 г. — Обновлены примеры предложений

Подпишитесь на крупнейший словарь Америки и получите тысячи дополнительных определений и расширенный поиск без рекламы!

Merriam-Webster без сокращений

мешать

См. Определения и примеры »

Получайте ежедневно по электронной почте Слово дня!

Что такое PSI? Определение и применение

4 апреля 2023 г.

Фунт на квадратный дюйм является важным измерением в водоструйной очистке и других применениях. Что такое пси? Узнайте больше здесь!

Что такое пси? Вы могли столкнуться с этим термином, когда проверяли давление в шинах или чистили забор. Пси — это измерение с различными показателями и приложениями. Узнайте больше об этом ниже, а также о том, как это связано с Jet Blast Inc.!

Что такое PSI?

Psi означает фунты на дюйм. Один фунт на квадратный дюйм — это сила одного фунта на один квадратный дюйм. Сила обычно представляет собой газ или жидкость. Если это газ, то это будет пневматическое давление, а если это жидкость, то это будет гидравлическое давление. Это также относится к прочности на растяжение, которая представляет собой сопротивление объекта тянущим силам.

Другой способ измерения фунтов на квадратный дюйм — это совершенно другая единица измерения: паскаль. Что такое паскаль, спросите вы? Это один ньютон силы на один квадратный метр от 9Угол 0 градусов. Математически фунты на квадратный дюйм и паскали соотносятся друг с другом следующим образом: 1 фунт на квадратный дюйм = 6894,76 паскалей. Общий принцип пси заключается в том, что чем меньше площадь поверхности проникающей силы, тем меньшее давление необходимо оказать, чтобы прорвать другую поверхность.

Применение PSI

Измерение в фунтах на дюйм чаще всего применимо к пневматическому давлению. Типичным примером может быть накачка воздуха в шины вашего велосипеда. На велосипедном насосе есть манометр, показывающий, сколько фунтов на квадратный дюйм имеет каждая шина. В более широком смысле, многие инструменты и транспортные средства имеют датчики, показывающие psi, в том числе пневматические устройства, использующие давление воздуха для выполнения своей работы, такие как дорожные дробилки и пескоструйные очистители. В этих случаях манометр работает так же, как и манометр.

Прочность на растяжение измеряется в фунтах на квадратный дюйм и является важным показателем при работе со строительными материалами, такими как бетон, стальные балки и полы. Например, бамбук обладает большей прочностью на растяжение, чем сталь, что делает его более устойчивым к растягивающим усилиям.

Еще одним приложением является модуль упругости: насколько что-то эластично. Низкий модуль обладает высокой эластичностью, как резиновая лента, а высокий модуль упругостью, как бетон. Единицами модуля упругости являются ГПа и фунты на квадратный дюйм.

Водоструйная очистка и PSI

Конечно, давление в фунтах на квадратный дюйм относится и к гидравлическому давлению, наиболее известным из которых может быть мойка под давлением.