今年大模型趋势发生以来,向量数据库因为自身属性,备受行业关注。
7月4日,腾讯云正式发布AI原生(AI Native)向量数据库Tencent Cloud VectorDB。该数据库能够被广泛应用于大模型的训练、推理和知识库补充等场景,是国内首个从接入层、计算层、到存储层提供全生命周期AI化的向量数据库。
这意味着,已经推出了行业大模型平台的腾讯云,还要专门面向大模型巨大的数据需求,推出单点云服务产品。这在国内云市场中,还是首例。
|什么是向量数据库?
先简单介绍下向量数据库。它是通过把数据向量化,然后进行存储和查询。可以高速处理大规模复杂数据、高维数据(如图像、音视频等);同时支持复杂查询操作,能轻松扩展到多个节点处理更大规模数据。
具体到大模型领域,向量数据库能有效降低训练成本、补充模型“长期记忆”、更快更新知识库、解决提示词工程复杂等问题。
如腾讯云向量数据库,可最高支持10亿级向量检索规模,延迟控制在毫秒级,相比传统插件式数据库检索规模提升10倍,同时具备百万级每秒查询(QPS)的峰值能力。
这是什么概念?
腾讯云数据库副总经理罗云解释说,假设想要在10亿张图片里找到1张有狗的图片,腾讯云向量数据库有可以同时支持100万个类似的请求,在10亿规模图片里进行搜索,并且平均时延控制在百毫秒以内。
而为了能更加面向大模型领域需求,这次最新发布中,腾讯云重新定义了一个AI原生(AI Native)的开发范式。将提供接入层、计算层、存储层的全面AI化解决方案。带来的改变是,能让用户在使用向量数据库的全生命周期内,都能应用到AI能力。
带来的直接好处是,原来企业接入一个大模型需要花1个月左右的时间,用腾讯云向量库后,可以仅需3天,给企业使用降低了门槛。
|拥抱大模型成为企业的刚需
腾讯云方面表示,向量数据库通过把数据向量化然后进行存储和查询,可以极大地提升效率和降低成本。它能解决大模型预训练成本高、没有“长期记忆”、知识更新不足、提示词工程复杂等问题,突破大模型在时间和空间上的限制,加速大模型落地行业场景。
统计显示,将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗相比传统方式可以实现10倍效率的提升,如果将向量数据库作为外部知识库用于模型推理,则可以将成本降低2-4个数量级。
据介绍,在接入层,腾讯云向量数据库支持自然语言文本的输入,同时采用“标量+向量”的查询方式,支持全内存索引,最高支持每秒百万的查询量(QPS);在计算层,AI Native开发范式能实现全量数据AI计算,一站式解决企业在搭建私域知识库时的文本切分(segment)、向量化(embedding)等难题;在存储层,腾讯云向量数据库支持数据智能存储分布,助力企业存储成本降低50%。
|竞泰观点:市场需求已经非常明显
在外因方面,不仅是看到了向量数据库领域的发展趋势,腾讯云认为在这一方面云厂商也有一定自身优势。罗云表示,出于对数据的重视,国内企业在选择数据类产品服务时,会希望能更加稳定、长久。
那么在国内的To B决策链条里,公有云厂商提供自己相应的技术服务,会很有竞争力。据预测,到2030年,全球向量数据库市场规模有望达到500亿美元,国内向量数据库市场规模有望超过600亿人民币。腾讯云的动向,代表了云厂商在向量数据库方面的发力。
而除此之外,我们也看到Zilliz在内的向量数据库厂商,陆续面向大模型进行产品更新和升级。以及一些老牌数据库厂商(如甲骨文)也在发布AI相关业务。而目前行业尚处于一个比较早期的阶段,未来趋势如何发展,还要看各方厂商的具体动向了。
但总之,在大模型趋势推动下,向量数据库领域还在不断升温。