Некоторые метрики: Accuracy (Точность) - это метрика, которая измеряет, насколько точно модель предсказывает правильный ответ. Она рассчитывается как количество правильных ответов, полученных от модели, деленное на общее количество предсказаний. Precision (Точность) - это метрика, которая показывает, насколько точно модель идентифицирует положительные примеры. Она рассчитывается как количество истинно положительных ответов, деленное на общее количество предсказанных положительных ответов. Recall (Полнота) - это метрика, которая показывает, насколько хорошо модель находит все положительные примеры. Она рассчитывается как количество истинно положительных ответов, деленное на общее количество истинных положительных ответов. F1 score - это метрика, которая объединяет точность и полноту, показывая, как хорошо модель предсказывает положительные примеры. Она рассчитывается как гармоническое среднее между точностью и полнотой. Mean Squared Error (MSE) - это метрика, которая измеряет среднеквадратичную ошибку модели. Она рассчитывается как сумма квадратов разности между фактическим и предсказанным значением, деленной на общее количество примеров. Mean Absolute Error (MAE) - это метрика, которая измеряет среднюю абсолютную ошибку модели. Она рассчитывается как сумма абсолютных разностей между фактическим и предсказанным значением, деленной на общее количество примеров. R2 score - это метрика, которая измеряет долю дисперсии в целевой переменной, которую модель может объяснить. Она рассчитывается как коэффициент детерминации между фактическим и предсказанным значением. AUC-ROC - это метрика, которая измеряет площадь под кривой ROC (Receiver Operating Characteristic), которая показывает, насколько хорошо модель различает между классами. Чем ближе AUC-ROC к 1, тем лучше модель различает между классами. Log Loss - это метрика, которая измеряет ошибку логарифма вероятности, которую модель предсказывает для каждого класса. Она широко используется в задачах классификации, особенно в задачах с несбалансированными классами. Mean Average Precision (MAP) - это метрика, которая измеряет среднюю точность модели в ранжировании результатов по релевантности. Она широко используется в задачах информационного поиска, например, в поисковых системах. Cohen's Kappa - это метрика, которая измеряет степень согласованности между двумя аннотаторами или между аннотатором и моделью. Она часто используется в задачах обработки естественного языка для оценки качества аннотации. IoU (Intersection over Union) - это метрика, которая используется в задачах сегментации изображений и оценивает насколько хорошо модель выделяет объекты на изображении. Она рассчитывается как отношение пересечения и объединения между предсказанной и фактической маской. BLEU (Bilingual Evaluation Understudy) - это метрика, которая измеряет качество машинного перевода, сравнивая перевод модели с несколькими референсными переводами. Она широко используется в задачах машинного перевода. R-squared - это метрика, которая используется в задачах регрессии для оценки того, насколько хорошо модель соответствует реальным данным. Она измеряет долю вариации в целевой переменной, которая объясняется моделью. Precision-Recall Curve - это кривая, которая показывает зависимость между точностью и полнотой модели в задачах бинарной классификации. Она помогает выбрать наилучший порог для классификации, которая максимизирует F1-score. Top-k Accuracy - это метрика, которая измеряет долю правильных ответов модели, когда рассматриваются только k наиболее вероятных классов. Она используется в задачах с большим количеством классов, чтобы измерить качество модели, когда невозможно рассмотреть все классы.
Очень классная серия лекций на канале! Добавьте, пожалуйста, больше деталей в объяснения. Например, чем МАЕ отличается от MSE и когда какую метрику использовать. Там ещё вагон и маленькую тележку можно рассказать. Ни в коем случае не критикую, просто взгляд со стороны учащегося
В колонке "вероятность" полученная вероятность из модели. А в колонке истинный класс вероятность, которая на самом деле существует? То есть y_train и y_test? Или в третьей колонке 1 - мы угадали, 0 - мы не угадали ответ?
Здравствуйте, названия метрик accuracy и precision переводятся на русский как точность, поэтому мы используем английские слова, чтобы их различать. Использование транслита в этом случае оправдано, но не стоит называть accuracy аккуратностью.
![CAMPปลิ้น | EP.83[1/2] เปิดแคมป์หลอนต้อนรับ 2 ตัวพ่อแห่งวงการผี!](http://i.ytimg.com/vi/2uPuHYHgwiI/mqdefault.jpg)
Некоторые метрики:
Accuracy (Точность) - это метрика, которая измеряет, насколько точно модель предсказывает правильный ответ. Она рассчитывается как количество правильных ответов, полученных от модели, деленное на общее количество предсказаний.
Precision (Точность) - это метрика, которая показывает, насколько точно модель идентифицирует положительные примеры. Она рассчитывается как количество истинно положительных ответов, деленное на общее количество предсказанных положительных ответов.
Recall (Полнота) - это метрика, которая показывает, насколько хорошо модель находит все положительные примеры. Она рассчитывается как количество истинно положительных ответов, деленное на общее количество истинных положительных ответов.
F1 score - это метрика, которая объединяет точность и полноту, показывая, как хорошо модель предсказывает положительные примеры. Она рассчитывается как гармоническое среднее между точностью и полнотой.
Mean Squared Error (MSE) - это метрика, которая измеряет среднеквадратичную ошибку модели. Она рассчитывается как сумма квадратов разности между фактическим и предсказанным значением, деленной на общее количество примеров.
Mean Absolute Error (MAE) - это метрика, которая измеряет среднюю абсолютную ошибку модели. Она рассчитывается как сумма абсолютных разностей между фактическим и предсказанным значением, деленной на общее количество примеров.
R2 score - это метрика, которая измеряет долю дисперсии в целевой переменной, которую модель может объяснить. Она рассчитывается как коэффициент детерминации между фактическим и предсказанным значением.
AUC-ROC - это метрика, которая измеряет площадь под кривой ROC (Receiver Operating Characteristic), которая показывает, насколько хорошо модель различает между классами. Чем ближе AUC-ROC к 1, тем лучше модель различает между классами.
Log Loss - это метрика, которая измеряет ошибку логарифма вероятности, которую модель предсказывает для каждого класса. Она широко используется в задачах классификации, особенно в задачах с несбалансированными классами.
Mean Average Precision (MAP) - это метрика, которая измеряет среднюю точность модели в ранжировании результатов по релевантности. Она широко используется в задачах информационного поиска, например, в поисковых системах.
Cohen's Kappa - это метрика, которая измеряет степень согласованности между двумя аннотаторами или между аннотатором и моделью. Она часто используется в задачах обработки естественного языка для оценки качества аннотации.
IoU (Intersection over Union) - это метрика, которая используется в задачах сегментации изображений и оценивает насколько хорошо модель выделяет объекты на изображении. Она рассчитывается как отношение пересечения и объединения между предсказанной и фактической маской.
BLEU (Bilingual Evaluation Understudy) - это метрика, которая измеряет качество машинного перевода, сравнивая перевод модели с несколькими референсными переводами. Она широко используется в задачах машинного перевода.
R-squared - это метрика, которая используется в задачах регрессии для оценки того, насколько хорошо модель соответствует реальным данным. Она измеряет долю вариации в целевой переменной, которая объясняется моделью.
Precision-Recall Curve - это кривая, которая показывает зависимость между точностью и полнотой модели в задачах бинарной классификации. Она помогает выбрать наилучший порог для классификации, которая максимизирует F1-score.
Top-k Accuracy - это метрика, которая измеряет долю правильных ответов модели, когда рассматриваются только k наиболее вероятных классов. Она используется в задачах с большим количеством классов, чтобы измерить качество модели, когда невозможно рассмотреть все классы.
Качество подачи приятное и очень доступное, описано на простом языке. Благодарен)
Очень классная серия лекций на канале!
Добавьте, пожалуйста, больше деталей в объяснения. Например, чем МАЕ отличается от MSE и когда какую метрику использовать. Там ещё вагон и маленькую тележку можно рассказать. Ни в коем случае не критикую, просто взгляд со стороны учащегося
Спасибо за отзыв!
Хорошая диаграмма, всё сразу стало понятно
Очень Крутая лекция!!
В колонке "вероятность" полученная вероятность из модели. А в колонке истинный класс вероятность, которая на самом деле существует? То есть y_train и y_test?
Или в третьей колонке 1 - мы угадали, 0 - мы не угадали ответ?
В третьей колонке правильный ответ, то есть у. Во второй колонке предсказанная вероятность того, что y равен 1
Прекрасно
Превосходно Юрий! Моя модель ASR тебе благодарна))) Четкое произношение, отличный микрофон))) Молодец!)))
Отличная лекция, но т.к. я тугодум - поставил скорость на 0,5. Ощущение будто Ельцин меня обучает)
АХАХАХХАХАХ попробовал - точно!! Без смеха невозможно смотреть, особенно учитывая, что я сам на 1.3-1.5 смотрю)))
спасибо! классный формат
i guess I am pretty off topic but do anybody know of a good place to stream newly released movies online ?
@Brian Julio I use FlixZone. You can find it on google :)
Аккуратность близка к accuracy семантических.
На наш взгляд, лишь этимологически
Точность чем не подходит?
Здравствуйте, названия метрик accuracy и precision переводятся на русский как точность, поэтому мы используем английские слова, чтобы их различать. Использование транслита в этом случае оправдано, но не стоит называть accuracy аккуратностью.
false positive - это по-русски ложно положительное. Соответственно false negative - ложноотрицательные.
Accuracy