모델명 | 노트 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
🥇 | openai/gpt-4o-2024-05-13 OpenAI | ? | Proprietary | 1-shot | ||||||||||
🥈 | openai/gpt-4o-2024-05-13 OpenAI | ? | Proprietary | default | ||||||||||
🥉 | anthropic/claude-3-5-sonnet-20240620 anthropic | ? | Proprietary | 1-shot | ||||||||||
4 | ? | Proprietary | 1-shot | |||||||||||
5 | ? | Proprietary | default | |||||||||||
6 | openai/gpt-4o-2024-05-13 OpenAI | ? | Proprietary | cot-1-shot | ||||||||||
7 | anthropic/claude-3-5-sonnet-20240620 anthropic | ? | Proprietary | default | ||||||||||
8 | ? | Proprietary | default | |||||||||||
9 | 123B | mrl | 1-shot | |||||||||||
10 | anthropic/claude-3-5-sonnet-20240620 anthropic | ? | Proprietary | cot-1-shot | ||||||||||
11 | ? | Proprietary | default | |||||||||||
12 | ? | Proprietary | cot-1-shot | |||||||||||
13 | ? | Proprietary | 1-shot | |||||||||||
14 | ? | Proprietary | cot-1-shot | |||||||||||
15 | ? | Proprietary | 1-shot | |||||||||||
16 | 123B | mrl | default | |||||||||||
17 | ? | Proprietary | cot-1-shot | |||||||||||
18 | ? | Proprietary | cot-1-shot | |||||||||||
19 | anthropic/claude-3-opus-20240229 anthropic | ? | Proprietary | 1-shot | ||||||||||
20 | anthropic/claude-3-opus-20240229 anthropic | ? | Proprietary | default | ||||||||||
21 | 405B | llama3.1 | 1-shot | |||||||||||
22 | ? | Proprietary | cot-1-shot | |||||||||||
23 | 8B | llama3.1 | default | |||||||||||
24 | 72B | tongyi-qianwen | 1-shot | |||||||||||
25 | 405B | llama3.1 | default | |||||||||||
26 | 8B | llama3.1 | 1-shot | |||||||||||
27 | anthropic/claude-3-opus-20240229 anthropic | ? | Proprietary | cot-1-shot | ||||||||||
28 | ? | Proprietary | default | |||||||||||
29 | 9B | cc-by-nc-4.0 | default | |||||||||||
30 | 72B | tongyi-qianwen | 1-shot | |||||||||||
31 | openai/gpt-4-0613 OpenAI | ? | Proprietary | default | ||||||||||
32 | 9B | gemma | default | |||||||||||
33 | ? | Proprietary | default | |||||||||||
34 | 72B | tongyi-qianwen | default | |||||||||||
35 | ? | Proprietary | 1-shot | |||||||||||
36 | 8B | llama3.1 | cot-1-shot | |||||||||||
37 | openai/gpt-4-0613 OpenAI | ? | Proprietary | 1-shot | ||||||||||
38 | ? | Proprietary | 1-shot | |||||||||||
39 | xionic-1-72b-20240610 Sionic AI | 72B | default | |||||||||||
40 | 72B | tongyi-qianwen | cot-1-shot | |||||||||||
41 | 141B | apache-2.0 | cot-1-shot | |||||||||||
42 | 405B | llama3.1 | cot-1-shot | |||||||||||
43 | 72B | tongyi-qianwen | default | |||||||||||
44 | 141B | apache-2.0 | 1-shot | |||||||||||
45 | anthropic/claude-3-sonnet-20240229 anthropic | ? | Proprietary | 1-shot | ||||||||||
46 | 9B | gemma | 1-shot | |||||||||||
47 | anthropic/claude-3-sonnet-20240229 anthropic | ? | Proprietary | default | ||||||||||
48 | anthropic/claude-3-haiku-20240307 anthropic | ? | Proprietary | default | ||||||||||
49 | anthropic/claude-3-haiku-20240307 anthropic | ? | Proprietary | 1-shot | ||||||||||
50 | 8B | llama3 | default | |||||||||||
51 | 9B | cc-by-nc-4.0 | 1-shot | |||||||||||
52 | openai/gpt-4-0613 OpenAI | ? | Proprietary | cot-1-shot | ||||||||||
53 | anthropic/claude-3-haiku-20240307 anthropic | ? | Proprietary | cot-1-shot | ||||||||||
54 | anthropic/claude-3-sonnet-20240229 anthropic | ? | Proprietary | cot-1-shot | ||||||||||
55 | 141B | apache-2.0 | default | |||||||||||
56 | 141B | cc-by-nc-4.0 | 1-shot | |||||||||||
57 | 9B | gemma | cot-1-shot | |||||||||||
58 | 9B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
59 | 141B | cc-by-nc-4.0 | default | |||||||||||
60 | 141B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
61 | ? | Proprietary | cot-1-shot | |||||||||||
62 | ? | Proprietary | 1-shot | |||||||||||
63 | 72B | tongyi-qianwen | cot-1-shot | |||||||||||
64 | 70B | llama3.1 | default | |||||||||||
65 | ? | Proprietary | default | |||||||||||
66 | naver/HCX-003 naver | ? | Proprietary | default | ||||||||||
67 | 72B | tongyi-qianwen | 1-shot | |||||||||||
68 | ? | Proprietary | default | |||||||||||
69 | 70B | llama3.1 | 1-shot | |||||||||||
70 | naver/HCX-003 naver | ? | Proprietary | 1-shot | ||||||||||
71 | upstage/solar-1-mini-chat Upstage | ? | Proprietary | cot-1-shot | ||||||||||
72 | 70B | llama3.1 | cot-1-shot | |||||||||||
73 | upstage/solar-1-mini-chat Upstage | ? | Proprietary | default | ||||||||||
74 | naver/HCX-003 naver | ? | Proprietary | cot-1-shot | ||||||||||
75 | 8B | llama3 | cot-1-shot | |||||||||||
76 | upstage/solar-1-mini-chat Upstage | ? | Proprietary | 1-shot | ||||||||||
77 | 8B | llama3 | 1-shot | |||||||||||
78 | ? | Proprietary | cot-1-shot | |||||||||||
79 | 123B | mrl | cot-1-shot | |||||||||||
80 | 72B | tongyi-qianwen | default | |||||||||||
81 | 9B | glm-4 | 1-shot | |||||||||||
82 | 72B | tongyi-qianwen | cot-1-shot | |||||||||||
83 | 10.8B | ? | cot-1-shot | |||||||||||
84 | 70B | llama3 | 1-shot | |||||||||||
85 | ? | Proprietary | 1-shot | |||||||||||
86 | 72B | tongyi-qianwen | 1-shot | |||||||||||
87 | 57B | apache-2.0 | 1-shot | |||||||||||
88 | naver/HCX-DASH-001 naver | ? | Proprietary | cot-1-shot | ||||||||||
89 | 7B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
90 | mistralai/Mistral-Nemo-Instruct-2407 mistralai | 12B | apache-2.0 | 1-shot | ||||||||||
91 | naver/HCX-DASH-001 naver | ? | Proprietary | default | ||||||||||
92 | ? | llama3 | default | |||||||||||
93 | 9B | glm-4 | default | |||||||||||
94 | 9B | glm-4 | cot-1-shot | |||||||||||
95 | 70B | llama3 | cot-1-shot | |||||||||||
96 | 10.8B | ? | default | |||||||||||
97 | 32B | tongyi-qianwen | default | |||||||||||
98 | CohereForAI/aya-23-35B Cohere | 35B | cc-by-nc-4.0 | 1-shot | ||||||||||
99 | 7B | cc-by-nc-4.0 | 1-shot | |||||||||||
100 | 141B | apache-2.0 | 1-shot | |||||||||||
101 | 72B | tongyi-qianwen | cot-1-shot | |||||||||||
102 | 10.8B | ? | 1-shot | |||||||||||
103 | CohereForAI/aya-23-35B Cohere | 35B | cc-by-nc-4.0 | default | ||||||||||
104 | 72B | tongyi-qianwen | default | |||||||||||
105 | 7B | apache-2.0 | 1-shot | |||||||||||
106 | 32B | tongyi-qianwen | cot-1-shot | |||||||||||
107 | 7B | cc-by-nc-4.0 | default | |||||||||||
108 | ? | llama3 | 1-shot | |||||||||||
109 | 14B | tongyi-qianwen | default | |||||||||||
110 | 46.7B | apache-2.0 | cot-1-shot | |||||||||||
111 | CohereForAI/aya-23-35B Cohere | 35B | cc-by-nc-4.0 | cot-1-shot | ||||||||||
112 | 46.7B | apache-2.0 | 1-shot | |||||||||||
113 | 57B | apache-2.0 | default | |||||||||||
114 | ? | llama3 | cot-1-shot | |||||||||||
115 | 7B | cc-by-nc-4.0 | 1-shot | |||||||||||
116 | mistralai/Mistral-Nemo-Instruct-2407 mistralai | 12B | apache-2.0 | cot-1-shot | ||||||||||
117 | 70B | llama3 | default | |||||||||||
118 | 7B | apache-2.0 | cot-1-shot | |||||||||||
119 | naver/HCX-DASH-001 naver | ? | Proprietary | 1-shot | ||||||||||
120 | 8B | llama3 | cot-1-shot | |||||||||||
121 | 8B | llama3 | cot-1-shot | |||||||||||
122 | 14B | tongyi-qianwen | cot-1-shot | |||||||||||
123 | 32B | tongyi-qianwen | 1-shot | |||||||||||
124 | 7B | apache-2.0 | cot-1-shot | |||||||||||
125 | 8B | llama3 | default | |||||||||||
126 | 8B | llama3 | cot-1-shot | |||||||||||
127 | 57B | apache-2.0 | cot-1-shot | |||||||||||
128 | 14B | tongyi-qianwen | 1-shot | |||||||||||
129 | 7B | apache-2.0 | default | |||||||||||
130 | 8B | llama3 | 1-shot | |||||||||||
131 | google/palm-2-codechat-bison-32k | ? | Proprietary | 1-shot | ||||||||||
132 | 14B | tongyi-qianwen | default | |||||||||||
133 | 7.24B | apache-2.0 | default | |||||||||||
134 | 8B | llama3 | default | |||||||||||
135 | 8B | llama3 | 1-shot | |||||||||||
136 | 7B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
137 | google/palm-2-codechat-bison-32k | ? | Proprietary | default | ||||||||||
138 |