明敏 发自 凹非寺量子位 | 公众号 QbitAIkaiyun.com
最新国产开源MoE大模子,刚刚亮相就火了。
DeepSeek-V2性能达GPT-4级别,但开源、可免费商用、API价钱仅为GPT-4-Turbo的百分之一。
因此还是发布,立马激勉不小商量。
从公布的性能缱绻来看,DeepSeek-V2的中语玄虚才调卓越一众开源模子,并和GPT-4-Turbo、文心4.0等闭源模子同处第一梯队。
英文玄虚才调也和LLaMA3-70B同处第一梯队,况兼进步了同是MoE的Mixtral 8x22B。
在常识、数学、推理、编程等方面也施展出可以性能。并救济128K高下文。
这些才调,平日用户齐能获胜免费使用。当今内测已开启,注册后立马就能体验。
API更是是骨折价:每百万tokens输入1元、输出2元(32K高下文)。价钱仅为GPT-4-Turbo的近百分之一。
同期在模子架构也进行革命,采纳了自研的MLA(Multi-head Latent Attention)和Sparse结构,可大幅减少模子狡计量、推理显存。
网友惊叹:DeepSeek老是给东说念主带来惊喜!
具体成果怎样,咱们已抢先体验!
实测一下
咫尺V2内测版可以体验通用对话和代码助手。
在通用对话中可以测试大模子的逻辑、常识、生成、数学等才调。
比如可以条款它效法《甄嬛传》的文风写口红种草案牍。
还可以庸俗解释什么是量子纠缠。
数学方面,能回报高数微积分问题,比如:
使用微积明白说当然对数的底e 的无尽级数示意。
也能回避掉一些说话逻辑罗网。
测试流露,DeepSeek-V2的常识内容更新到2023年。
代码方面,内测页面流露是使用DeepSeek-Coder-33B回报问题。
在生成较通俗代码上,实测几次齐莫得出错。
也能针对给出的代码作念出解释和分析。
不外测试中也有回报失误的情况。
如下逻辑题目,DeepSeek-V2在狡计经由中,失误将一支烛炬从两头同期燃烧、撤销完的期间,狡计成了从一端点撤销完的四分之一。
带来哪些升级?
据官方先容,DeepSeek-V2以236B总参数、21B激活,约莫达到70B~110B Dense的模子才调。
和此前的DeepSeek 67B比拟,它的性能更强,同期历练本钱更低,可从简42.5%历练本钱,减少93.3%的KV缓存,最大模糊量进步到5.76倍。
官方示意这意味着DeepSeek-V2蓦地的显存(KV Cache)惟有同级别Dense模子的1/5~1/100,每token本钱大幅裁汰。
故意针对H800规格作念了无数通信优化,本色部署在8卡H800机器上,输入模糊量进步每秒10万tokens,输出进步每秒5万tokens。
在一些基础Benchmark上,DeepSeek-V2基础模子施展如下:
DeepSeek-V2 采纳了革命的架构。
建议MLA(Multi-head Latent Attention)架构,大幅减少狡计量和推理显存。
同期自研了Sparse结构,使其狡计量进一步裁汰。
有东说念主就示意,这些升级关于数据中心大型狡计可能十分有匡助。
而且在API订价上,DeepSeek-V2果然低于市面上整个明星大模子。
团队示意,DeepSeek-V2模子和论文也将齐全开源。模子权重、工夫报告齐给出。
当今登录DeepSeek API洞开平台,注册即施济1000万输入/500万输出Tokens。平日试玩则齐全免费。
感意思意思的童鞋,可以来薅羊毛了~
体验地址:https://chat.deepseek.comAPI平台:platform.deepseek.com
GitHub:https://github.com/deepseek-ai/DeepSeek-V2?tab=readme-ov-file