AccuracyThe share of exam questions answered correctly. 94.5% means roughly 188 of 199 questions right.தேர்வு கேள்விகளில் சரியாக விடையளிக்கப்பட்டவற்றின் பங்கு. 94.5% என்றால் 199 கேள்விகளில் சுமார் 188 சரி.
EM · Exact MatchFull marks only if the answer is word-for-word the official answer (ignoring capital letters, punctuation and extra spaces). Harsh but unambiguous.அதிகாரப்பூர்வ விடையுடன் சொல்-சொல்லாகப் பொருந்தினால் மட்டுமே முழு மதிப்பெண். நிறுத்தற்குறி, இடைவெளி போன்றவை சீரமைக்கப்பட்ட பிறகு ஒப்பிடப்படும்.
F1Partial credit: the share of words the model’s answer shares with the official answer. 100 = same words, 0 = no overlap. It catches “almost right” answers that EM fails.பகுதி மதிப்பெண்: மாதிரியின் விடையும் அதிகாரப்பூர்வ விடையும் பகிர்ந்து கொள்ளும் சொற்களின் அளவு. 100 = முழுப் பொருத்தம்; 0 = ஒற்றுமை இல்லை. “கிட்டத்தட்ட சரி” விடைகளையும் இது காட்டும்.
95% CIWe grade a sample of questions, not the whole set. The CI is the range where the model’s true score would land in 95 of 100 re-samples. Non-overlapping ranges = a real gap, not luck.முழுத் தொகுப்பையும் அல்ல, ஒரு மாதிரியையே மதிப்பிடுகிறோம். மீண்டும் 100 முறை மாதிரி எடுத்தால் 95 முறை உண்மையான மதிப்பெண் விழும் வரம்பே CI. வரம்புகள் ஒட்டாதபோது வித்தியாசம் நம்பத்தகுந்தது.
0-shotThe model gets no worked examples before the exam — just the question, cold.தேர்வுக்கு முன் மாதிரிக்கு எடுத்துக்காட்டு விடைகள் எதுவும் கொடுக்கப்படாது — கேள்வி மட்டும் நேரடியாக வழங்கப்படும்.
temperature 0The model’s randomness dial is set to zero: same question in, same answer out. Grades are repeatable.மாதிரியின் சீரற்ற தன்மை பூஜ்ஜியமாக அமைக்கப்படுகிறது. ஒரே கேள்விக்கு ஒரே விடை வரும்; மதிப்பெண்களை மீண்டும் உருவாக்கலாம்.
letter-parseModels must answer A/B/C/D. Many write an essay first and bury the letter inside; the parser extracts the letter they committed to — or marks the answer wrong.மாதிரி A/B/C/D எழுத்தில் பதிலளிக்க வேண்டும். நீண்ட விளக்கம் எழுதினாலும், அதிலுள்ள இறுதி விடை எழுத்தை parser தேடும்; கிடைக்காவிட்டால் தவறு.
stratified sample · seed 42Every subject appears in proportion, and the fixed random seed means anyone re-running the bench gets the identical question set.ஒவ்வொரு பாடப்பிரிவும் உரிய விகிதத்தில் இடம்பெறும். seed 42 நிர்ணயிக்கப்பட்டதால் மீண்டும் இயக்குபவருக்கும் அதே கேள்வித் தொகுப்பு கிடைக்கும்.
nThe number of graded questions behind a score. Smaller n = wider confidence intervals.ஒரு மதிப்பெண்ணுக்குப் பின்னால் உள்ள மதிப்பிடப்பட்ட கேள்விகளின் எண்ணிக்கை. n குறைந்தால் நம்பிக்கை இடைவெளி பெரிதாகும்.
இந்தத் தளத்தின் ஒவ்வொரு மதிப்பெண்ணும் சேமிக்கப்பட்ட விடைத்தாள்களிலிருந்து கணக்கிடப்படுகிறது. கீழே உள்ள மூன்று எடுத்துக்காட்டுகளும் பதிவான பதில்களே.
Paper 1 · MILU · Arts and Culture · gold: A · graded: correct (sample-milu-gemini.json — fresh call, exact bench prompt, recorded 2026-09-11)
Q: பின்வருபவர்களில் தாதா சாஹிப் பால்கே விருது 2013 பெற்ற நபர் யார்? (Who received the Dadasaheb Phalke Award for 2013?)
A. சம்பூரன் சிங் கல்ரா (Sampooran Singh Kalra — the poet Gulzar's real name) · B. விஜய ஷேசாஸ்திரி · C. ப்ரன் சிகந் · D. ரமேஷ் அகர்வால்
The model's entire reply: A — nothing else. The parser reads A, the gold is A, one mark. That is the whole contract: answer with a bare letter. When a model writes an essay instead, letter-parse digs the letter out of it — or marks the question wrong.
Paper 2 · IndicQA · question 1019 · Exact Match = 100, F1 = 100 (as recorded: results/indicqa_xiaomi_mimo-v2.5_n100.jsonl)
Passage: கோல்கொண்டா கோட்டை இந்திய தொல்லியல் துறை பட்டியலில் இடம் பெற்றுள்ளது… (The Golkonda fort features in the Archaeological Survey of India's list…)
Q: வெற்றியின் வாயில் எப்படி அழைக்கப்பட்டது? (What was the gate of victory called?) → Official answer: பதே தர்வாசா · MiMo v2.5 answered: “பதே தர்வாசா” — same words, wrapped in quotation marks. Normalization strips the punctuation, so it still scores word-for-word: full marks.
