text2sql/llama-3-8B-Instruct-text2sql-lora
8
1---2license: apache-2.03language:4- zh5metrics:6- accuracy7tags:8- text-generation-inference9---10# 项目名称：llama-3-8B-Instruct-text2sql11 12## 项目简介13模型介绍14该版本是 基于 Llama-3-Chinese-8B-Instruct-v2 进行的微调15项目地址：(https://github.com/dusens/llama-3-8B-Instruct-text2sql)16 17## 训练数据18 本项目初期使用的训练数据集为 **CSPIDER 中文数据集 Spider数据集 BIRD-SQL 数据集**，该数据集包含多种数据库环境下的中文到SQL的查询转换样本。19 我们计划在后续阶段引入更多样的中文文本到SQL的样本，以增强模型的泛化能力和准确性。 20 21- [Spider](https://yale-lily.github.io/spider): 一个跨域的复杂text2sql数据集，包含了10,181条自然语言问句、分布在200个独立数据库中的5,693条SQL，内容覆盖了138个不同的领域。22- [BIRD-SQL：](https://bird-bench.github.io/)数据集是一个英文的大规模跨领域文本到SQL基准测试，特别关注大型数据库内容。该数据集包含12,751对文本到SQL数据对和95个数据库，总大小为33.4GB，跨越37个职业领域。BIRD-SQL数据集通过探索三个额外的挑战，即处理大规模和混乱的数据库值、外部知识推理和优化SQL执行效率，缩小了文本到SQL研究与实际应用之间的差距。23- [CSpider：](https://drive.google.com/drive/folders/1TxCUq1ydPuBdDdHF3MkHT-8zixluQuLa?usp=sharing)2019年9月，西湖大学提出了一个大型中文数据集CSpider，用于复杂和跨领域的语义解析和Text-to-SQL任务，由2位NLP研究人员和1位计算机专业学生从数据集Spider翻译而来，其中包含200个数据库上的10181个问题和5693个独特的复杂SQL查询，具有涵盖138个不同领域的多个表的数据库。24 25## 模型架构26微调模型采用的是 `Llama-3-Chinese-8B-Instruct-v2` 版本，27 28## 功能和特点29- **自然语言理解**：能够准确理解中文自然语言输入。30- **SQL生成**：基于理解的内容生成符合逻辑的SQL查询语句。31 32<Gallery />33 34 35 36## 模型指标37- 更新日期: 2024/05/1138- 评价指标: execution accuracy (ex)39 40<table style="text-align: center;">41 <tr>42 <th style="text-align: center;">Model</th>43 <th>Method</th>44 <th>Easy</th>45 <th>Medium</th>46 <th>Hard</th>47 <th>Extra</th>48 <th>All</th>49 </tr>50 <tr>51 <td>llama-3-8B-Instruct-text2sql</td>52 <td>lora</td>53 <td>0.938</td>54 <td>0.782</td>55 <td>0.581</td>56 <td>0.524</td>57 <td>0.768</td>58 </tr>59 <tr>60 <td></td>61 <td>qlora</td>62 <td>0</td>63 <td>0</td>64 <td>0</td>65 <td>0</td>66 <td>0</td>67 </tr>68 <tr>69 <td></td>70 <td>base</td>71 <td>0.297</td>72 <td>0.245</td>73 <td>0.151</td>74 <td>0.095</td>75 <td>0.230</td>76 </tr>77 <tr>78 <td>Llama2-7B-Chat</td>79 <td>lora</td>80 <td>0.887</td>81 <td>0.641</td>82 <td>0.489</td>83 <td>0.331</td>84 <td>0.626</td>85 </tr>86 <tr>87 <td></td>88 <td>qlora</td>89 <td>0.847</td>90 <td>0.623</td>91 <td>0.466</td>92 <td>0.361</td>93 <td>0.608</td>94 </tr>95 <tr>96 <td></td>97 <td>base</td>98 <td>0</td>99 <td>0</td>100 <td>0</td>101 <td>0</td>102 <td>0</td>103 </tr>104 <tr>105 <td>Llama2-13B-Chat</td>106 <td>lora</td>107 <td>0.907</td>108 <td>0.729</td>109 <td>0.552</td>110 <td>0.343</td>111 <td>0.68</td>112 </tr>113 <tr>114 <td></td>115 <td>qlora</td>116 <td>0.911</td>117 <td>0.7</td>118 <td>0.552</td>119 <td>0.319</td>120 <td>0.664</td>121 </tr>122 <tr>123 <td></td>124 <td>base</td>125 <td>0.214</td>126 <td>0.177</td>127 <td>0.092</td>128 <td>0.036</td>129 <td>0.149</td>130 </tr>131 <tr>132 <td>CodeLlama-7B-Instruct</td>133 <td>lora</td>134 <td>0.923</td>135 <td>0.756</td>136 <td>0.586</td>137 <td>0.349</td>138 <td>0.702</td>139 </tr>140 <tr>141 <td></td>142 <td>qlora</td>143 <td>0.911</td>144 <td>0.751</td>145 <td>0.598</td>146 <td>0.331</td>147 <td>0.696</td>148 </tr>149 <tr>150 <td></td>151 <td>base</td>152 <td>0.698</td>153 <td>0.601</td>154 <td>0.408</td>155 <td>0.271</td>156 <td>0.539</td>157 </tr>158 <tr>159 <td>CodeLlama-13B-Instruct</td>160 <td>lora</td>161 <td>0.94</td>162 <td>0.789</td>163 <td>0.684</td>164 <td>0.404</td>165 <td>0.746</td>166 </tr>167 <tr>168 <td></td>169 <td>qlora</td>170 <td>0.94</td>171 <td>0.774</td>172 <td>0.626</td>173 <td>0.392</td>174 <td>0.727</td>175 </tr>176 <tr>177 <td></td>178 <td>base</td>179 <td>0.577</td>180 <td>0.352</td>181 <td>0.201</td>182 <td>0.066</td>183 <td>0.335</td>184 </tr>185 <tr>186 <td>Baichuan2-7B-Chat</td>187 <td>lora</td>188 <td>0.871</td>189 <td>0.63</td>190 <td>0.448</td>191 <td>0.295</td>192 <td>0.603</td>193 </tr>194 <tr>195 <td></td>196 <td>qlora</td>197 <td>0.891</td>198 <td>0.637</td>199 <td>0.489</td>200 <td>0.331</td>201 <td>0.624</td>202 </tr>203 <tr>204 <td></td>205 <td>base</td>206 <td>0.581</td>207 <td>0.413</td>208 <td>0.264</td>209 <td>0.187</td>210 <td>0.392</td>211 </tr>212 <tr>213 <td>Baichuan2-13B-Chat</td>214 <td>lora</td>215 <td>0.903</td>216 <td>0.702</td>217 <td>0.569</td>218 <td>0.392</td>219 <td>0.678</td>220 </tr>221 <tr>222 <td></td>223 <td>qlora</td>224 <td>0.895</td>225 <td>0.675</td>226 <td>0.58</td>227 <td>0.343</td>228 <td>0.659</td>229 </tr>230 <tr>231 <td></td>232 <td>base</td>233 <td>0.395</td>234 <td>0.256</td>235 <td>0.138</td>236 <td>0.042</td>237 <td>0.235</td>238 </tr>239<tr>240<td>Qwen-7B-Chat</td>241 <td>lora</td>242 <td>0.855</td>243 <td>0.688</td>244 <td>0.575</td>245 <td>0.331</td>246 <td>0.652</td>247 </tr>248 <tr>249 <td></td>250 <td>qlora</td>251 <td>0.911</td>252 <td>0.675</td>253 <td>0.575</td>254 <td>0.343</td>255 <td>0.662</td>256 </tr>257 <tr>258 <td></td>259 <td>base</td>260 <td>0.871</td>261 <td>0.632</td>262 <td>0.368</td>263 <td>0.181</td>264 <td>0.573</td>265 </tr>266 <tr>267 <td>Qwen-14B-Chat</td>268 <td>lora</td>269 <td>0.895</td>270 <td>0.702</td>271 <td>0.552</td>272 <td>0.331</td>273 <td>0.663</td>274 </tr>275 <tr>276 <td></td>277 <td>qlora</td>278 <td>0.919</td>279 <td>0.744</td>280 <td>0.598</td>281 <td>0.367</td>282 <td>0.701</td>283 </tr>284 <tr>285 <td></td>286 <td>base</td>287 <td>0</td>288 <td>0</td>289 <td>0</td>290 <td>0</td>291 <td>0</td>292 </tr>293 <tr>294 <td>ChatGLM3-6b</td>295 <td>lora</td>296 <td>0.855</td>297 <td>0.605</td>298 <td>0.477</td>299 <td>0.271</td>300 <td>0.59</td>301 </tr>302 <tr>303 <td></td>304 <td>qlora</td>305 <td>0.843</td>306 <td>0.603</td>307 <td>0.506</td>308 <td>0.211</td>309 <td>0.581</td>310 </tr>311</table>312 313## 下载地址314 315| 模型名称 | 完整版 | LoRA版 | GGUF版 |316| :------------------------ | :----------------------------------------------------------: | :----------------------------------------------------------: | :----------------------------------------------------------: |317| **llama-3-8B-Instruct-text2sql**<br/>(指令模型) | [[🤗Hugging Face]]()<br/> [[🤖ModelScope]](https://www.modelscope.cn/models/senjia/llama-3-8B-Instruct-text2sql/summary)<br/>[[wisemodel]]() | [[🤗Hugging Face]]()<br/> [[🤖ModelScope]](https://www.modelscope.cn/models/senjia/llama-3-8B-Instruct-text2sql-lora/summary)<br/>[[wisemodel]]() | |318 319 320## 贡献者321sensen322## 许可证323本项目采用 MIT 许可证。详细许可信息可以在项目仓库的LICENSE文件中找到。324 325## 如何参与326欢迎对中文处理和SQL生成感兴趣的开发者加入我们的项目。你可以通过 GitHub Issue 或 Pull Request 的方式参与项目贡献。