우리 AI가 1착 확률 92%라고 했을 때

무엇이 어긋나 있었나

OddsCast의 예측은 두 단계로 만들어집니다. 먼저 통계 모델이 출전마마다 0에서 100 사이 점수를 매기고, 그다음 AI 경마 마스터가 그 자료를 읽고 자기 판단으로 점수를 다시 매깁니다. 8월 24일부터는 마스터의 판단이 최종 순위가 되도록 바꿨습니다. 사람 전문가의 견해를 참고 자료로만 두지 않고 실제로 채점받게 하려는 변경이었습니다.

문제는 두 단계가 쓰는 점수의 폭이 달랐다는 데 있습니다.

마스터는 자기가 미는 말과 아닌 말을 훨씬 크게 벌려 놓습니다. 사람이 순위를 매길 때 자연스러운 습관이고, 순위만 놓고 보면 아무 문제가 없습니다.

점수를 확률로 바꾸는 계산식이 문제였습니다. 이 계산식에는 "점수가 몇 점 벌어지면 확률이 얼마나 벌어지는가"를 정하는 값이 하나 들어가는데, 그 값은 통계 모델의 15.9점 폭을 기준으로 맞춰 둔 것이었습니다. 여기에 두 배 넓은 35.8점짜리 점수를 넣으니 확률이 한쪽으로 쏠렸습니다. 1위 말이 90%를 넘고 나머지가 1% 밑으로 깔리는 식입니다.

얼마나 벌어져 있었나

같은 기간 통계 모델만으로 만든 예측은 표시 확률 31.9%에 실제 승률 29.3%였습니다. 이쪽은 처음부터 어긋난 데가 없었습니다. 즉 모델이 경주를 못 읽은 것이 아니라, 마스터의 점수를 확률로 옮기는 한 곳에서만 눈금이 틀어져 있었습니다.

어떻게 되돌렸나

마스터의 점수를 같은 경주의 통계 모델 점수 범위 안으로 옮겨 놓는 방식을 썼습니다. 1위와 꼴찌의 자리는 그대로 두고 그 사이 간격만 비례해서 좁힙니다. 마스터가 85점과 77점으로 벌려 놓은 두 마리는 통계 모델 쪽 눈금에서 78점과 68점이 되는 식입니다.

이 방식을 고른 이유는 두 가지입니다.

• 순위가 보존됩니다. 마스터의 판단이 최종 순위가 된다는 원칙은 그대로 유지됩니다. 실제로 71건 전부에서 순위 변동이 0건이었고, 순위가 하나라도 움직이면 아예 쓰지 않고 중단하도록 검사를 넣어 두었습니다.
• 마스터의 강약 판단도 남습니다. 마스터가 1·2위를 바짝 붙여 놓았는지 크게 벌려 놓았는지는 그대로 반영됩니다. 폭만 줄어들 뿐 비율은 유지됩니다.

이미 사이트에 올라가 있던 71건도 같은 방식으로 다시 계산했습니다.

아래 두 줄이 움직이지 않은 것이 이 작업의 조건이었습니다. 적중률이 함께 바뀌었다면 순위를 건드렸다는 뜻이고, 그건 성적을 사후에 고치는 일이 됩니다.

확률을 볼 때 함께 보면 좋은 것

예상지가 내놓는 확률에는 검증 경로가 붙어 있는 경우가 드뭅니다. 확인해 볼 만한 것을 정리하면 이렇습니다.

• 표시 확률과 실제 결과를 나란히 공개하는가. "1착 확률 80%"라고 쓴 예측들만 모아서 실제로 몇 번 이겼는지 셀 수 있어야 그 80%가 의미를 갖습니다.
• 90%가 자주 나오는가. 마감배당으로 계산한 시장 전체의 적중률도 55% 부근입니다. 경마에서 90% 넘는 1착 확률은 정상적으로 나오기 어려운 값입니다.
• 예측이 출주 전에 고정되는가. 결과를 보고 예측을 손볼 수 있으면 어떤 적중률도 검증되지 않습니다.

OddsCast의 예측은 출주 전에 저장되고 결과 확정 후 자동으로 채점됩니다. 사후에 고치는 경로는 없고, 승식별 적중률은 적중률 페이지에 그대로 공개합니다. 이번 건도 그 페이지에 쓰는 숫자를 검증하다 발견했습니다.

확률과 적중률이 다른 이야기라는 점은 승률 예측의 캘리브레이션에, 승식마다 적중률이 갈리는 이유는 같은 예측, 승식에 따라 60%와 1.3%에 정리해 두었습니다. 이 글은 정보·분석 콘텐츠이며 마권 구매는 KRA 공식 채널에서만 하실 수 있습니다.