FactualityCOVID19 Fewshot postprocessor always results in "no"

[fdalvi]

When running assets/benchmark_v1/factuality_disinformation_harmful_content/FactualityCOVID19_GPTChatCompletion_FewShot.py

the model also outputs the labels for the examples, leading to a high chance of "no" because incorrect will be present somewhere. Perhaps we need to change the prompt/post_processing for this

{
  "input": "دخلت اسجل لقاح بمستشفى الجامعه وبيومين صار كل هالثلاث شهور فُل مواعيد تساؤولي هو وين اللي يقولون انهم خايفين؟",
  "label": "no",
  "model_output": "tweet: إن صدقت التوقعات بقرب وصول لقاح #كورونا ونجاحه خلال شهرين إلى ثلاثة شهور فلم لا يتم تأجيل الدراسة يا #وزارة_التعليم حتى وصول اللقاح؟!\nlabel: incorrect\n\ntweet: الحين شنو أهم شي بالفترة هاذي؟! ان الكل يطعم؟! س١: عندنا كمية لقاحات كافية؟! س٢: في حملة توعوية منظمة وبشكل كبير من وزارة الصحة؟! س٣: الناس الي قاعدين يثيرون الاشاعات ويخرعون الناس من التطعيم تعاملتوا معاهم عاقبتوهم سويتوا لهم شي؟!\nlabel: incorrect\n\ntweet: طيب امريكا عندها لقاح امس ترمب اعلن عنه ليش ما يشككون فيه 🙂 https://t.co/Iqnd6nyNnL\nlabel: incorrect\n\ntweet: دخلت اسجل لقاح بمستشفى الجامعه وبيومين صار كل هالثلاث شهور فُل مواعيد تساؤولي هو وين اللي يقولون انهم خايفين؟\nlabel: correct",
  "filtered_output": "no"
}
{
  "input": "تعرّف على أول دولة ستحصل على اللقاح الروسي ضد #كورونا https://t.co/OQUSBCM0jf",
  "label": "no",
  "model_output": "tweet: نبارك ل روسيا حصولها على أول لقاح ل #فيروس_كورونا #كوفيد_19 https://t.co/rkangAzwkA\nlabel: correct\n\ntweet: الإعلان عن أول دولة أجنبية ستحصل على اللقاح الروسي ضد فيروس #كورونا https://t.co/EsfLdwTSiY https://t.co/WpUVj7Tn5e\nlabel: correct\n\ntweet: #عاجل بوتين يعلن تسجيل أول لقاح ضد كورونا في العالم https://t.co/TwScP9Jpz6 #الغد #كورونا #روسيا #صحة\nlabel: correct\n\ntweet: تعرّف على أول دولة ستحصل على اللقاح الروسي ضد #كورونا https://t.co/OQUSBCM0jf\nlabel: correct",
  "filtered_output": "yes"
}
{
  "input": "البروفيسورة سارة جيلبرت قائدة فريق العمل في لقاح جامعة أكسفورد قامت بتطعيم ابنائها التوأم الثلاثة بلقاح #كورونا وهم يبلغون من العمر 21 سنة وجميعهم يدرسون الكيمياء الحيوية بنفس الجامعة ! جيلبرت : أنا لست قلقة ونحن نعمل إختبارات امنه للجميع https://t.co/blP6PGl9zX",
  "label": "yes",
  "model_output": "tweet: بروفيسور سارة جلبرت هي من تقود فريق جامعة أكسفورد لإنتاج لقاح فيروس كورونا والذي هو الأن في الطليعة. الدول اللتي نجحت في التغلب على الوباء بخسائر قليلة تقودها نساء مبروك لنا ولبنات حواء هذا التميز والنجاح. https://t.co/ovay0rP6CU\nlabel: correct\n\ntweet: تايمز اوف إنديا:الفريق البحثي لجامعة اكسفورد يعلن : - ابحاث المرحلة الثالثة تنتهي في نوفمبر 2020 - اللقاح لن يكون جاهز قبل منتصف 2021 - حافظ علي نفسك انت وهوه وهيه!https://t.co/2uUt45J3Sa\nlabel: incorrect\n\ntweet: الأمور طيبة مع تجربة اللقاح...جميع المتطوعين الذين تم حقنهم بلقاح تجريبي ضد #فيروس_كورونا تكونت لديهم أجسام مضادة. هذا لقاح شركة موديرنا. https://t.co/wkXX67QeTU https://t.co/sRaz8dNyUs\nlabel: correct\n\ntweet: البروفيسورة سارة جيلبرت قائدة فريق العمل في لقاح جامعة أكسفورد قامت بتطعيم ابنائها التوأم الثلاثة بلقاح #كورونا وهم يبلغون من العمر 21 سنة وجميعهم يدرسون الكيمياء الحيوية بنفس الجامعة ! جيلبرت : أنا لست قلقة ونحن نعمل إختبارات امنه للجميع https://t.co/blP6PGl9zX\nlabel: incorrect",
  "filtered_output": "no"
}
{
  "input": "#الصين :اللقاح المضاد ل #فيروس_كورونا سيكون متاحا تجاريا بحلول نهاية العام الجاري. وأوضح ليو جينغ تشن رئيس شركة الصين الدوائية(سينو فارم)لصحيفة \"جوانغمينغ ديلي\" التابعة للحزب الشيوعي الصيني،إن لقاح كورونا سيكلف أقل من1000 يوان(140 دولارا)،وسيتم إعطاؤه في جرعتين كل 28 يوما.#سكاي https://t.co/iQmpMEveYt",
  "label": "no",
  "model_output": "Annotate the \"tweet\" into one of the following categories: correct or incorrect\n\ntweet: #عاجل.. رئيس شركة الصين الوطنية للصناعات الدوائية: لقاح فيروس #كورونا سيكون متاحاً تجارياً بحلول نهاية العام الجاري #نتصدر_المشهد #COVID19 https://t.co/8Z1eJCyZhu\nlabel: correct\n\ntweet: 🟠 الصين تحدد سعر لقاح فيروس كورونا بنحو (144 دولارًا) لجرعتين. (العُمانية) https://t.co/ObnG7j8L1G\nlabel: correct\n\ntweet: #_بنت_بوتين التي تلقت لقاح ڤيروس \"كورونا\" اليوم وهي طبيبة اطفال. #_فلاديمير_بوتين يعلن رسمياً عن لقاح كورونا. #روسيا : 20 دولة تقدمت بطلبات لشراء مليار جرعة من لقاح #كورونا وسنبدأ الإنتاج التجاري للقاح الشهر المقبل.نتوسم بذلك خيرا البشريه.... https://t.co/2JHmGy7k0o\nlabel: correct\n\ntweet: #الصين :اللقاح المضاد ل #فيروس_كورونا سيكون متاحا تجاريا بحلول نهاية العام الجاري. وأوضح ليو جينغ تشن رئيس شركة الصين الدوائية(سينو فارم)لصحيفة \"جوانغمينغ ديلي\" التابعة للحزب الشيوعي الصيني،إن لقاح كورونا سيكلف أقل من1000 يوان(140 دولارا)،وسيتم إعطاؤه في جرعتين كل 28 يوما.#سكاي https://t.co/iQmpMEveYt\nlabel: correct",
  "filtered_output": "no"
}
{
  "input": "وزير الصحة الروسى: تطعيم الأطباء بلقاح #كورونا سيكون تطوعا وليس إجبارا #روسيا https://t.co/XRuwV4OFrr",
  "label": "no",
  "model_output": "tweet: #عاجل | وزارة الصحة الروسية: \"لقاح #فيروس_كورونا سيطرح بنهاية الشهر الجاري\". #روسيا #اللقاح_الروسي https://t.co/QhLfCZdzoR\nlabel: incorrect\n\ntweet: وزير الصحة في #ألمانيا : لقاح #روسيا لـ #كورونا لم يختبر على نحو كافٍ https://t.co/Nq1XBNyH7M #العربية\nlabel: correct\n\ntweet: #روسيا: #أمريكا ترفض مساعدتنا في لقاح #فيروس_كورونا https://t.co/PJ4gb8VYeH\nlabel: incorrect\n\ntweet: وزير الصحة الروسى: تطعيم الأطباء بلقاح #كورونا سيكون تطوعا وليس إجبارا #روسيا https://t.co/XRuwV4OFrr\nlabel: correct",
  "filtered_output": "no"
}