모델명 | 노트 | |||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
🥇 | openai/gpt-4o-2024-05-13 OpenAI | ? | Proprietary | 1-shot | ||||||||||
🥈 | openai/gpt-4o-2024-05-13 OpenAI | ? | Proprietary | default | ||||||||||
🥉 | anthropic/claude-3-5-sonnet-20240620 anthropic | ? | Proprietary | 1-shot | ||||||||||
4 | ? | Proprietary | 1-shot | |||||||||||
5 | ? | Proprietary | default | |||||||||||
6 | openai/gpt-4o-2024-05-13 OpenAI | ? | Proprietary | cot-1-shot | ||||||||||
7 | anthropic/claude-3-5-sonnet-20240620 anthropic | ? | Proprietary | default | ||||||||||
8 | ? | Proprietary | default | |||||||||||
9 | 123B | mrl | 1-shot | |||||||||||
10 | anthropic/claude-3-5-sonnet-20240620 anthropic | ? | Proprietary | cot-1-shot | ||||||||||
11 | ? | Proprietary | default | |||||||||||
12 | ? | Proprietary | cot-1-shot | |||||||||||
13 | ? | Proprietary | 1-shot | |||||||||||
14 | ? | Proprietary | cot-1-shot | |||||||||||
15 | ? | Proprietary | 1-shot | |||||||||||
16 | 123B | mrl | default | |||||||||||
17 | ? | Proprietary | cot-1-shot | |||||||||||
18 | ? | Proprietary | cot-1-shot | |||||||||||
19 | anthropic/claude-3-opus-20240229 anthropic | ? | Proprietary | 1-shot | ||||||||||
20 | anthropic/claude-3-opus-20240229 anthropic | ? | Proprietary | default | ||||||||||
21 | 405B | llama3.1 | 1-shot | |||||||||||
22 | ? | Proprietary | cot-1-shot | |||||||||||
23 | 8B | llama3.1 | default | |||||||||||
24 | 72B | tongyi-qianwen | 1-shot | |||||||||||
25 | 405B | llama3.1 | default | |||||||||||
26 | 8B | llama3.1 | 1-shot | |||||||||||
27 | anthropic/claude-3-opus-20240229 anthropic | ? | Proprietary | cot-1-shot | ||||||||||
28 | ? | Proprietary | default | |||||||||||
29 | 9B | cc-by-nc-4.0 | default | |||||||||||
30 | 72B | tongyi-qianwen | 1-shot | |||||||||||
31 | openai/gpt-4-0613 OpenAI | ? | Proprietary | default | ||||||||||
32 | 9B | gemma | default | |||||||||||
33 | ? | Proprietary | default | |||||||||||
34 | 72B | tongyi-qianwen | default | |||||||||||
35 | ? | Proprietary | 1-shot | |||||||||||
36 | 8B | llama3.1 | cot-1-shot | |||||||||||
37 | openai/gpt-4-0613 OpenAI | ? | Proprietary | 1-shot | ||||||||||
38 | ? | Proprietary | 1-shot | |||||||||||
39 | xionic-1-72b-20240610 Sionic AI | 72B | default | |||||||||||
40 | 72B | tongyi-qianwen | cot-1-shot | |||||||||||
41 | 141B | apache-2.0 | cot-1-shot | |||||||||||
42 | 405B | llama3.1 | cot-1-shot | |||||||||||
43 | 72B | tongyi-qianwen | default | |||||||||||
44 | 141B | apache-2.0 | 1-shot | |||||||||||
45 | anthropic/claude-3-sonnet-20240229 anthropic | ? | Proprietary | 1-shot | ||||||||||
46 | 9B | gemma | 1-shot | |||||||||||
47 | anthropic/claude-3-sonnet-20240229 anthropic | ? | Proprietary | default | ||||||||||
48 | anthropic/claude-3-haiku-20240307 anthropic | ? | Proprietary | default | ||||||||||
49 | anthropic/claude-3-haiku-20240307 anthropic | ? | Proprietary | 1-shot | ||||||||||
50 | 8B | llama3 | default | |||||||||||
51 | 9B | cc-by-nc-4.0 | 1-shot | |||||||||||
52 | openai/gpt-4-0613 OpenAI | ? | Proprietary | cot-1-shot | ||||||||||
53 | anthropic/claude-3-haiku-20240307 anthropic | ? | Proprietary | cot-1-shot | ||||||||||
54 | anthropic/claude-3-sonnet-20240229 anthropic | ? | Proprietary | cot-1-shot | ||||||||||
55 | 141B | apache-2.0 | default | |||||||||||
56 | 141B | cc-by-nc-4.0 | 1-shot | |||||||||||
57 | 9B | gemma | cot-1-shot | |||||||||||
58 | 9B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
59 | 141B | cc-by-nc-4.0 | default | |||||||||||
60 | 141B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
61 | ? | Proprietary | cot-1-shot | |||||||||||
62 | ? | Proprietary | 1-shot | |||||||||||
63 | 72B | tongyi-qianwen | cot-1-shot | |||||||||||
64 | 70B | llama3.1 | default | |||||||||||
65 | ? | Proprietary | default | |||||||||||
66 | naver/HCX-003 naver | ? | Proprietary | default | ||||||||||
67 | 72B | tongyi-qianwen | 1-shot | |||||||||||
68 | ? | Proprietary | default | |||||||||||
69 | 70B | llama3.1 | 1-shot | |||||||||||
70 | naver/HCX-003 naver | ? | Proprietary | 1-shot | ||||||||||
71 | upstage/solar-1-mini-chat Upstage | ? | Proprietary | cot-1-shot | ||||||||||
72 | 70B | llama3.1 | cot-1-shot | |||||||||||
73 | upstage/solar-1-mini-chat Upstage | ? | Proprietary | default | ||||||||||
74 | naver/HCX-003 naver | ? | Proprietary | cot-1-shot | ||||||||||
75 | 8B | llama3 | cot-1-shot | |||||||||||
76 | upstage/solar-1-mini-chat Upstage | ? | Proprietary | 1-shot | ||||||||||
77 | 8B | llama3 | 1-shot | |||||||||||
78 | ? | Proprietary | cot-1-shot | |||||||||||
79 | 123B | mrl | cot-1-shot | |||||||||||
80 | 72B | tongyi-qianwen | default | |||||||||||
81 | 9B | glm-4 | 1-shot | |||||||||||
82 | 72B | tongyi-qianwen | cot-1-shot | |||||||||||
83 | 10.8B | ? | cot-1-shot | |||||||||||
84 | 70B | llama3 | 1-shot | |||||||||||
85 | ? | Proprietary | 1-shot | |||||||||||
86 | 72B | tongyi-qianwen | 1-shot | |||||||||||
87 | 57B | apache-2.0 | 1-shot | |||||||||||
88 | naver/HCX-DASH-001 naver | ? | Proprietary | cot-1-shot | ||||||||||
89 | 7B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
90 | mistralai/Mistral-Nemo-Instruct-2407 mistralai | 12B | apache-2.0 | 1-shot | ||||||||||
91 | naver/HCX-DASH-001 naver | ? | Proprietary | default | ||||||||||
92 | ? | llama3 | default | |||||||||||
93 | 9B | glm-4 | default | |||||||||||
94 | 9B | glm-4 | cot-1-shot | |||||||||||
95 | 70B | llama3 | cot-1-shot | |||||||||||
96 | 10.8B | ? | default | |||||||||||
97 | 32B | tongyi-qianwen | default | |||||||||||
98 | CohereForAI/aya-23-35B Cohere | 35B | cc-by-nc-4.0 | 1-shot | ||||||||||
99 | 7B | cc-by-nc-4.0 | 1-shot | |||||||||||
100 | 141B | apache-2.0 | 1-shot | |||||||||||
101 | 72B | tongyi-qianwen | cot-1-shot | |||||||||||
102 | 10.8B | ? | 1-shot | |||||||||||
103 | CohereForAI/aya-23-35B Cohere | 35B | cc-by-nc-4.0 | default | ||||||||||
104 | 72B | tongyi-qianwen | default | |||||||||||
105 | 7B | apache-2.0 | 1-shot | |||||||||||
106 | 32B | tongyi-qianwen | cot-1-shot | |||||||||||
107 | 7B | cc-by-nc-4.0 | default | |||||||||||
108 | ? | llama3 | 1-shot | |||||||||||
109 | 14B | tongyi-qianwen | default | |||||||||||
110 | 46.7B | apache-2.0 | cot-1-shot | |||||||||||
111 | CohereForAI/aya-23-35B Cohere | 35B | cc-by-nc-4.0 | cot-1-shot | ||||||||||
112 | 46.7B | apache-2.0 | 1-shot | |||||||||||
113 | 57B | apache-2.0 | default | |||||||||||
114 | ? | llama3 | cot-1-shot | |||||||||||
115 | 7B | cc-by-nc-4.0 | 1-shot | |||||||||||
116 | mistralai/Mistral-Nemo-Instruct-2407 mistralai | 12B | apache-2.0 | cot-1-shot | ||||||||||
117 | 70B | llama3 | default | |||||||||||
118 | 7B | apache-2.0 | cot-1-shot | |||||||||||
119 | naver/HCX-DASH-001 naver | ? | Proprietary | 1-shot | ||||||||||
120 | 8B | llama3 | cot-1-shot | |||||||||||
121 | 8B | llama3 | cot-1-shot | |||||||||||
122 | 14B | tongyi-qianwen | cot-1-shot | |||||||||||
123 | 32B | tongyi-qianwen | 1-shot | |||||||||||
124 | 7B | apache-2.0 | cot-1-shot | |||||||||||
125 | 8B | llama3 | default | |||||||||||
126 | 8B | llama3 | cot-1-shot | |||||||||||
127 | 57B | apache-2.0 | cot-1-shot | |||||||||||
128 | 14B | tongyi-qianwen | 1-shot | |||||||||||
129 | 7B | apache-2.0 | default | |||||||||||
130 | 8B | llama3 | 1-shot | |||||||||||
131 | google/palm-2-codechat-bison-32k | ? | Proprietary | 1-shot | ||||||||||
132 | 14B | tongyi-qianwen | default | |||||||||||
133 | 7.24B | apache-2.0 | default | |||||||||||
134 | 8B | llama3 | default | |||||||||||
135 | 8B | llama3 | 1-shot | |||||||||||
136 | 7B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
137 | google/palm-2-codechat-bison-32k | ? | Proprietary | default | ||||||||||
138 | 7B | cc-by-nc-4.0 | default | |||||||||||
139 | 8B | apache-2.0 | default | |||||||||||
140 | 8B | llama3 | default | |||||||||||
141 | 7B | cc-by-nc-4.0 | 1-shot | |||||||||||
142 | 46.7B | apache-2.0 | default | |||||||||||
143 | 7B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
144 | 8B | llama3 | 1-shot | |||||||||||
145 | 13B | ? | 1-shot | |||||||||||
146 | 10.7B | apache-2.0 | cot-1-shot | |||||||||||
147 | 13B | ? | default | |||||||||||
148 | 14B | tongyi-qianwen | 1-shot | |||||||||||
149 | mistralai/Mistral-Nemo-Instruct-2407 mistralai | 12B | apache-2.0 | default | ||||||||||
150 | 8B | apache-2.0 | cot-1-shot | |||||||||||
151 | ? | Proprietary | cot-1-shot | |||||||||||
152 | 8B | apache-2.0 | 1-shot | |||||||||||
153 | 70B | llama3 | cot-1-shot | |||||||||||
154 | 70B | llama3 | 1-shot | |||||||||||
155 | google/palm-2-codechat-bison-32k | ? | Proprietary | cot-1-shot | ||||||||||
156 | ? | Proprietary | default | |||||||||||
157 | 14B | apache-2.0 | default | |||||||||||
158 | 14B | tongyi-qianwen | cot-1-shot | |||||||||||
159 | 9B | ? | default | |||||||||||
160 | 141B | apache-2.0 | cot-1-shot | |||||||||||
161 | 14B | apache-2.0 | 1-shot | |||||||||||
162 | 7.24B | apache-2.0 | cot-1-shot | |||||||||||
163 | 10.7B | apache-2.0 | default | |||||||||||
164 | 10.7B | apache-2.0 | cot-1-shot | |||||||||||
165 | 10.7B | apache-2.0 | default | |||||||||||
166 | 70B | llama3 | default | |||||||||||
167 | 7.24B | apache-2.0 | 1-shot | |||||||||||
168 | 9B | ? | cot-1-shot | |||||||||||
169 | 10.7B | apache-2.0 | 1-shot | |||||||||||
170 | 7B | apache-2.0 | default | |||||||||||
171 | 70B | cc-by-nc-4.0 | 1-shot | |||||||||||
172 | 7B | apache-2.0 | 1-shot | |||||||||||
173 | 70B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
174 | 7B | cc-by-sa-4.0 | default | |||||||||||
175 | 14B | apache-2.0 | cot-1-shot | |||||||||||
176 | 13B | ? | cot-1-shot | |||||||||||
177 | 10.7B | apache-2.0 | 1-shot | |||||||||||
178 | 7B | cc-by-sa-4.0 | cot-1-shot | |||||||||||
179 | 7B | cc-by-sa-4.0 | 1-shot | |||||||||||
180 | ? | Proprietary | cot-1-shot | |||||||||||
181 | 7B | cc-by-sa-4.0 | 1-shot | |||||||||||
182 | 7B | cc-by-sa-4.0 | cot-1-shot | |||||||||||
183 | 7B | tongyi-qianwen | cot-1-shot | |||||||||||
184 | 7B | cc-by-sa-4.0 | default | |||||||||||
185 | 72B | tongyi-qianwen | cot-1-shot | |||||||||||
186 | 7B | apache-2.0 | cot-1-shot | |||||||||||
187 | 7B | cc-by-nc-4.0 | default | |||||||||||
188 | 70B | llama3 | cot-1-shot | |||||||||||
189 | ? | Proprietary | 1-shot | |||||||||||
190 | 7B | apache-2.0 | default | |||||||||||
191 | 7B | cc-by-sa-4.0 | default | |||||||||||
192 | 9B | ? | 1-shot | |||||||||||
193 | 7B | tongyi-qianwen | default | |||||||||||
194 | 7B | apache-2.0 | cot-1-shot | |||||||||||
195 | 7B | apache-2.0 | default | |||||||||||
196 | microsoft/Phi-3-medium-4k-instruct Microsoft | ? | Proprietary | default | ||||||||||
197 | 7B | tongyi-qianwen | 1-shot | |||||||||||
198 | 7B | cc-by-sa-4.0 | cot-1-shot | |||||||||||
199 | 72B | tongyi-qianwen | 1-shot | |||||||||||
200 | 7B | apache-2.0 | default | |||||||||||
201 | 7B | apache-2.0 | 1-shot | |||||||||||
202 | 7B | apache-2.0 | 1-shot | |||||||||||
203 | 72B | tongyi-qianwen | default | |||||||||||
204 | 10.8B | apache-2.0 | 1-shot | |||||||||||
205 | 7B | apache-2.0 | 1-shot | |||||||||||
206 | 7B | apache-2.0 | cot-1-shot | |||||||||||
207 | 7B | gemma | default | |||||||||||
208 | 8B | cc-by-nc-4.0 | 1-shot | |||||||||||
209 | 8B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
210 | 13B | apache-2.0 | cot-1-shot | |||||||||||
211 | 7B | apache-2.0 | 1-shot | |||||||||||
212 | 70B | cc-by-nc-4.0 | default | |||||||||||
213 | 7B | cc-by-4.0 | 1-shot | |||||||||||
214 | 7B | cc-by-sa-4.0 | 1-shot | |||||||||||
215 | microsoft/Phi-3-medium-4k-instruct Microsoft | ? | Proprietary | cot-1-shot | ||||||||||
216 | microsoft/Phi-3-medium-4k-instruct Microsoft | ? | Proprietary | 1-shot | ||||||||||
217 | ? | Proprietary | 1-shot | |||||||||||
218 | 7B | cc-by-4.0 | default | |||||||||||
219 | 10.7B | apache-2.0 | default | |||||||||||
220 | 141B | apache-2.0 | default | |||||||||||
221 | 7B | apache-2.0 | cot-1-shot | |||||||||||
222 | 7B | apache-2.0 | default | |||||||||||
223 | 8B | cc-by-nc-4.0 | default | |||||||||||
224 | 10.7B | apache-2.0 | default | |||||||||||
225 | 10.8B | apache-2.0 | default | |||||||||||
226 | 70B | llama3 | 1-shot | |||||||||||
227 | 7B | cc-by-4.0 | cot-1-shot | |||||||||||
228 | 20B | cc-by-nc-4.0 | 1-shot | |||||||||||
229 | 10.7B | apache-2.0 | 1-shot | |||||||||||
230 | 10.7B | apache-2.0 | 1-shot | |||||||||||
231 | 20B | cc-by-nc-4.0 | cot-1-shot | |||||||||||
232 | 7B | gemma | 1-shot | |||||||||||
233 | 13B | llama2 | cot-1-shot | |||||||||||
234 | 10.7B | apache-2.0 | cot-1-shot | |||||||||||
235 | 20B | cc-by-nc-4.0 | default | |||||||||||
236 | 10.7B | apache-2.0 | cot-1-shot | |||||||||||
237 | 7B | gemma | cot-1-shot | |||||||||||
238 | 70B | llama2 | cot-1-shot | |||||||||||
239 | 70B | llama3 | default | |||||||||||
240 | ? | Proprietary | default | |||||||||||
241 | 7B | apache-2.0 | default | |||||||||||
242 | 70B | llama2 | 1-shot | |||||||||||
243 | 7B | apache-2.0 | 1-shot | |||||||||||
244 | 8B | llama3 | default | |||||||||||
245 | 8B | llama3 | 1-shot | |||||||||||
246 | 8B | llama3 | cot-1-shot | |||||||||||
247 | 7B | apache-2.0 | cot-1-shot | |||||||||||
248 | 70B | llama2 | default | |||||||||||
249 | 1.63B | cc-by-sa-4.0 | default | |||||||||||
250 | 13B | llama2 | 1-shot | |||||||||||
251 | 1.63B | cc-by-sa-4.0 | cot-1-shot | |||||||||||
252 | 1.63B | cc-by-sa-4.0 | 1-shot | |||||||||||
253 | 13B | llama2 | default |