diff --git a/evals/registry/data/turkish-proverbs/samples.jsonl b/evals/registry/data/turkish-proverbs/samples.jsonl new file mode 100644 index 0000000000..256787bb8e --- /dev/null +++ b/evals/registry/data/turkish-proverbs/samples.jsonl @@ -0,0 +1,20 @@ +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nDamlaya damlaya ____", "ideal": ["göl olur", "gol olur"]} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nSakla samanı, ____", "ideal": "gelir zamanı"} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nAyağını yorganına göre ____", "ideal": "uzat"} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nGülü seven ____", "ideal": "dikenine katlanır"} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nBugünün işini ____", "ideal": "yarına bırakma"} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nNe ekersen ____", "ideal": ["onu biçersin", "onu bicersin"]} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nGörünen köy ____", "ideal": ["kılavuz istemez", "kilavuz istemez"]} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nAğaç yaşken ____", "ideal": ["eğilir", "egilir"]} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nİşleyen demir ____", "ideal": ["ışıldar", "isildar"]} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nBir elin nesi var, ____", "ideal": ["iki elin sesi var", "iki elin sesi var."]} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nDost kara günde ____", "ideal": "belli olur"} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nAk akçe ____", "ideal": ["kara gün içindir", "kara gun icindir"]} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nPerşembenin gelişi ____", "ideal": ["çarşambadan bellidir", "carsambadan bellidir"]} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nEv alma, ____", "ideal": "komşu al"} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nHamama giren ____", "ideal": "terler"} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nTaşıma suyla ____", "ideal": ["değirmen dönmez", "degirmen donmez"]} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nLafla peynir gemisi ____", "ideal": "yürümez"} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nÜzüm üzüme baka baka ____", "ideal": ["kararır", "kararir"]} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nCan boğazdan ____", "ideal": ["gelir", "gelir."]} +{"input": "Aşağıdaki Türkçe atasözünü yalnızca eksik kısmıyla tamamlayın:\nBir musibet ____", "ideal": ["bin nasihatten iyidir", "bin nasihatten iyidir."]} \ No newline at end of file diff --git a/evals/registry/evals/turkish-proverbs.yaml b/evals/registry/evals/turkish-proverbs.yaml new file mode 100644 index 0000000000..9b056fb6c1 --- /dev/null +++ b/evals/registry/evals/turkish-proverbs.yaml @@ -0,0 +1,9 @@ +turkish-proverbs: + description: Test the model's ability to complete proverbs in Turkish. + id: turkish-proverbs.dev.v0 + metrics: + - accuracy +turkish-proverbs.dev.v0: + class: evals.elsuite.basic.match:Match + args: + samples_jsonl: turkish-proverbs/samples.jsonl \ No newline at end of file