Add Turkish proverbs eval

evals/registry/data/turkish-proverbs/samples.jsonl

@@ -0,0 +1,20 @@
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nDamlaya damlaya ____", "ideal": ["göl olur", "gol olur"]}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nSakla samanı, ____", "ideal": "gelir zamanı"}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nAyağını yorganına göre ____", "ideal": "uzat"}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nGülü seven ____", "ideal": "dikenine katlanır"}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nBugünün işini ____", "ideal": "yarına bırakma"}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nNe ekersen ____", "ideal": ["onu biçersin", "onu bicersin"]}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nGörünen köy ____", "ideal": ["kılavuz istemez", "kilavuz istemez"]}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nAğaç yaşken ____", "ideal": ["eğilir", "egilir"]}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nİşleyen demir ____", "ideal": ["ışıldar", "isildar"]}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nBir elin nesi var, ____", "ideal": ["iki elin sesi var", "iki elin sesi var."]}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nDost kara günde ____", "ideal": "belli olur"}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nAk akçe ____", "ideal": ["kara gün içindir", "kara gun icindir"]}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nPerşembenin gelişi ____", "ideal": ["çarşambadan bellidir", "carsambadan bellidir"]}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nEv alma, ____", "ideal": "komşu al"}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nHamama giren ____", "ideal": "terler"}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nTaşıma suyla ____", "ideal": ["değirmen dönmez", "degirmen donmez"]}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nLafla peynir gemisi ____", "ideal": "yürümez"}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nÜzüm üzüme baka baka ____", "ideal": ["kararır", "kararir"]}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nCan boğazdan ____", "ideal": ["gelir", "gelir."]}
+{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nBir musibet ____", "ideal": ["bin nasihatten iyidir", "bin nasihatten iyidir."]}

evals/registry/evals/turkish-proverbs.yaml

@@ -0,0 +1,9 @@
+turkish-proverbs:
+  description: Test the model's ability to complete proverbs in Turkish.
+  id: turkish-proverbs.dev.v0
+  metrics:
+  - accuracy
+turkish-proverbs.dev.v0:
+  class: evals.elsuite.basic.match:Match
+  args:
+    samples_jsonl: turkish-proverbs/samples.jsonl