AI가 말한 승률 94%는 왜 절반만 맞았나: 확률을 고친 기록
요약(TL;DR): OddsCast AI가 승률 90~100%라고 말한 말들의 실제 승률은 56.6%였습니다. 순위는 정확했지만 확률의 눈금이 부풀려져 있었습니다. 2026년 8월 19일, 확률의 간격만 조정하고 순서는 건드리지 않는 보정을 적용해 말한 확률과 실제 결과의 평균 오차를 0.305에서 0.033으로 줄였습니다. 적중률은 변하지 않았고, 화면의 승률 숫자가 겸손해진 대신 정직해졌습니다.
AI 경마 예측에서 "승률 94%"라는 숫자를 보면 두 가지 질문이 가능합니다. 이 말이 1등을 하느냐, 그리고 94%라는 숫자 자체가 맞느냐. 첫 질문과 둘째 질문은 별개이고, OddsCast는 둘째 질문에서 문제를 찾았습니다. 이 글은 그 문제를 찾은 과정과 고친 방법의 기록입니다. 마지막 갱신은 2026년 8월 19일입니다.
순위가 맞는 것과 확률이 맞는 것은 다르다
적중률은 순위의 문제입니다. AI가 1순위로 꼽은 말이 실제로 상위에 들어오면 적중입니다. OddsCast의 적중률은 통계 페이지에 전부 공개돼 있고, 이 부분은 문제가 없었습니다.
확률은 다른 문제입니다. "승률 60%"라고 말했다면, 그렇게 말한 경주를 100번 모았을 때 60번 안팎이 이겨야 그 숫자가 맞는 것입니다. 이것을 확인하는 방법은 단순합니다. 예측 확률대로 구간을 나누고, 구간마다 실제 승률을 세어 나란히 놓으면 됩니다.
재 보니 전 구간이 부풀려져 있었다
2025년부터 2026년 8월까지 완료된 예측 4,910건으로 확인한 결과입니다.
| AI가 말한 승률 (구간 평균) | 실제 승률 | 차이 |
|---|---|---|
| 30~40% 구간 (평균 35.5%) | 28.2% | +7.3%p |
| 50~60% 구간 (평균 54.6%) | 30.3% | +24.4%p |
| 70~80% 구간 (평균 74.8%) | 36.9% | +37.9%p |
| 80~90% 구간 (평균 84.9%) | 45.1% | +39.7%p |
| 90~100% 구간 (평균 94.9%) | 56.6% | +38.3%p |
낮은 구간은 그런대로 맞는데, 확신이 높아질수록 과장이 커집니다. 90~100% 구간의 평균 예측값은 94.9%였고 실제는 56.6%였습니다. 열에 아홉이라고 말하고 열에 여섯을 맞힌 것입니다.
이런 오차를 하나의 숫자로 줄인 것이 ECE(기대 보정 오차)입니다. 구간별로 말한 확률과 실제 비율의 차이를 표본 수만큼 가중해 평균 낸 값으로, 0이면 말한 확률이 전부 들어맞는 상태입니다. 보정 전 OddsCast의 1순위 기준 ECE는 0.305였습니다.
왜 이렇게 됐나
AI가 매기는 점수 자체는 순위를 정확히 매기고 있었습니다. 문제는 점수를 확률로 바꾸는 마지막 단계였습니다. 점수 차이를 확률 차이로 바꿀 때 쓰는 눈금이 너무 가파르게 잡혀 있어서, 점수가 조금만 벌어져도 확률은 크게 벌어졌습니다. 1위 후보와 2위 후보의 실력 차이가 실제로는 근소한데 화면에는 94% 대 3%처럼 찍히는 식입니다.
경마라는 종목의 상한을 생각하면 이 숫자가 과장이라는 것은 계산 전에도 알 수 있습니다. 모든 참가자의 판단이 가격으로 모이는 마감 배당조차, 1순위 인기마의 우승을 40%가 넘지 않는 비율로만 맞힙니다. 경주 결과의 상당 부분은 출발 전 누구도 알 수 없는 정보로 결정되기 때문입니다. 90%대 승률이 화면에 자주 보인다면 그 서비스의 확률 눈금을 의심해 볼 만합니다.
숫자 하나로 고쳤다
고치는 방법은 눈금의 가파른 정도를 조정하는 것입니다. 온도 보정이라고 부르는 표준 기법으로, 조정값이 숫자 하나뿐입니다. 조정값을 바꿔도 점수의 순서는 그대로이므로 순위, 적중률, 추천 조합은 전혀 움직이지 않습니다. 확률의 간격만 현실에 맞게 눌러 줍니다.
과정은 이렇게 나눴습니다.
- 2025년 12월까지의 4,436경주로 조정값을 정했습니다. 후보 값들을 훑어 예측 확률이 실제 결과를 가장 잘 설명하는 값을 골랐습니다.
- 그 과정에서 전혀 쓰지 않은 2026년의 704경주에서 결과를 확인했습니다. 답을 보고 답을 맞히는 검증은 검증이 아니기 때문입니다.
| 보정 전 | 보정 후 | |
|---|---|---|
| 1순위 기준 ECE | 0.305 | 0.033 |
| 1순위 기준 브라이어 점수 | 0.287 | 0.178 |
| 전체 출전마 기준 ECE | 0.069 | 0.007 |
| 1순위가 바뀐 경주 | - | 0건 |
브라이어 점수는 확률 예측의 표준 채점 방식으로, 낮을수록 좋습니다. 순서가 안 바뀐다는 것은 수학적으로 보장되는 성질이지만 믿지 않고 세어 봤고, 704경주에서 1순위가 바뀐 경주는 0건이었습니다.
화면에서 달라지는 것
2026년 8월 19일부터 새로 생성되는 예측의 승률 숫자는 보정된 값입니다. 이전보다 눈에 띄게 겸손해집니다. 94% 같은 숫자 대신 40%대의 숫자를 보게 되는 경주가 많아질 텐데, 40%대가 이 종목에서 1순위 후보가 받을 수 있는 정직한 숫자입니다.
지난 예측 기록은 당시 값 그대로 남겨 두었습니다. 발행된 기록을 소급해서 고치면 적중률 검증의 전제가 무너지기 때문입니다. 예측이 실제와 얼마나 맞는지 확인하는 보정 곡선은 적중률 통계 페이지에서 계속 공개합니다.
이 글은 정보·분석 콘텐츠이며 마권 구매는 KRA 공식 채널에서만 가능합니다.