В настоящее время множество показателей претендуют на роль маркеров, позволяющих выявлять заболевания (скрининговые маркеры) или подтверждать заболевание (диагностические или прогностические маркеры). Одним из показателей, который часто применяется для оценки эффективности диагностического теста является Acc («Accuracy», «точность»), которая представляет собой долю верных классификаций. Несмотря на то, что Acc часто приводится в публикациях как мера эффективности теста, она таковой не является. Более того, Acc может достигать больших значений даже при полном отсутствии реальной сопряженности маркера и исхода. Более стабильной оценкой является коэффициент корреляции Метьюса - MCC (Matthews correlation coefficient). Другой интересной оценкой являются F-меры и, в частности, самая распространенная из них - F1. Показатель F1 представляет собой сбалансированную обобщенную оценку (гармоническое среднее) чувствительности (или «recall») и прогностической ценности положительного результата (или «precision»). Этот показатель позволяет более полно оценить способность теста распознавать пациентов с болезнью, но не отличать больных от здоровых, поскольку от не учитывает истинно отрицательные результаты. В случае, когда маркер представляет собой не номинальный бинарный признак, а непрерывный количественный, бывает важно выявить порог, который позволит наиболее эффективно решать определенные задачи при помощи теста (относить субъектов к больным или здоровым на основании значения маркера). Традиционно для этой задачи используют ROC-анализ, выбирая оптимальное пороговое значение количественного признака на основании индекса Юдена (максимального расстояния от диагональной опорной линии на графике ROC-кривой) или К-индекса (минимального расстояния от ROC-кривой до левого верхнего угла графика). Такой утилитарный подход применим, когда пороговое значение обеспечивает большие значения чувствительности и специфичности (более 0,9). В большинстве случаев пороговое значение выбирается на основании максимизации (или достижения минимально приемлемого значения) определенных оценок: чувствительности, специфичности, положительной или отрицательной значимости, относительного риска или отношения шансов, отношения правдоподобия и др., что позволяет адаптировать маркер под определенные задачи.
Currently, many classifiers claim to be markers that enable to detect (screening markers) or confirm a disease (diagnostic or prognostic markers). Accuracy (Acc) is a metric that is often used to evaluate the effectiveness of a diagnostic test, representing the proportion of correct classifications. Although Acc is widely used in publications as a measure of test effectiveness, in fact, it isn`t so. Moreover, Acc can reach large values even if a marker and an outcome are completely not conjugated. A more balanced estimate is the Matthews correlation coefficient (MCC). Another interesting evaluation metric is F-measure, in particular - the traditional F1-score. The F1-measure is a balanced average (harmonic mean) of sensitivity (or "recall") and positive predictive value (or "precision"). This metric allows us to more fully assess the ability of the test to recognize patients with the disease, but not to discriminate between sick and healthy subjects, since it does not consider true negative results. In the case when the marker is not binary, but a continuous quantitative variable, it is important to identify a cut-off threshold that allows us to solve certain tasks in a more effective way using the test (to classify subjects as sick or healthy based on the marker value). Traditionally, ROC analysis is used for this purpose, choosing the optimal threshold value of a quantitative variable based on the Yuden index (the maximum distance from the diagonal reference line on the ROC curve graph) or the K-index (the minimum distance from the ROC curve to the upper left corner of the graph). Such a utilitarian approach is applicable when the threshold provides high values of both sensitivity and specificity (more than 0.9). In most cases, the threshold is chosen based on the maximization (or achievement of the minimum acceptable value) of certain estimates, such as sensitivity, specificity, positive or negative predictive value, relative risk or odds ratio, likelihood ratio, etc., which allows using the marker to carry out certain tasks.
The authors declare that there are no conflicts of interest present.