-
Notifications
You must be signed in to change notification settings - Fork 0
/
run.sh
41 lines (39 loc) · 4.3 KB
/
run.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
python eval.py --max_instances=100 --model_name="openai/text-ada-001" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="openai/text-babbage-001" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="openai/text-curie-001" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="openai/text-davinci-001" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="openai/text-davinci-002" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="openai/text-davinci-003" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="ai21/j1-large" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="ai21/j1-grande" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="ai21/j1-jumbo" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="openai/ada" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="openai/babbage" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="openai/curie" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="openai/davinci" --one_token=1 --prompt_fn=prompt_zeroshot
python eval.py --max_instances=100 --model_name="openai/ada" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="openai/babbage" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="openai/curie" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="openai/davinci" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="openai/text-ada-001" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="openai/text-babbage-001" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="openai/text-curie-001" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="openai/text-davinci-001" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="openai/text-davinci-002" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="openai/text-davinci-003" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="ai21/j1-large" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="ai21/j1-grande" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="ai21/j1-jumbo" --one_token=1 --prompt_fn=prompt_zeroshot_hint
python eval.py --max_instances=100 --model_name="openai/ada" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="openai/babbage" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="openai/curie" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="openai/davinci" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="openai/text-ada-001" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="openai/text-babbage-001" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="openai/text-curie-001" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="openai/text-davinci-001" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="openai/text-davinci-002" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="openai/text-davinci-003" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="ai21/j1-large" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="ai21/j1-grande" --one_token=0 --prompt_fn=prompt_fewshot_cot
python eval.py --max_instances=100 --model_name="ai21/j1-jumbo" --one_token=0 --prompt_fn=prompt_fewshot_cot