MySQL正在引入原生向量索引:未来AI知识库还需要单独部署向量数据库吗?

同一批企业知识库文档,为什么需要同时保存在MySQL和另一套向量数据库中?
在目前不少AI应用中,MySQL负责保存用户信息、文档内容、权限和业务数据,而向量数据库则负责存储文档Embedding,并根据语义相似度查找相关内容。
这样的架构已经比较常见,但也带来了额外的数据库部署、数据同步和维护工作。
Oracle MySQL社区架构师Henrik Ingo于11月16日发布了题为《MySQL Development as it Happens, Part 2 – Vector Indexes》的技术文章,披露MySQL原生向量索引项目的最新研发进展。
根据官方介绍,MySQL开发团队正在推进将向量索引直接集成至InnoDB存储引擎,并评估ScaNN、HNSW、IVF和Vamana等不同索引算法。其中,Google开源的ScaNN目前是开发团队重点集成和测试的方案。
这项工作由Oracle、Google、Intel等企业的工程人员及MySQL开源社区共同参与,目标是让MySQL能够在传统关系型数据之外,直接承担高维向量的相似度检索任务。
但需要明确,截至11月17日,原生InnoDB向量索引仍处于研发与性能验证阶段,相关算法、索引存储结构及正式发布版本尚未最终确定。
它并不意味着现有MySQL Community Server已经能够直接创建正式支持的原生向量索引。
对于大量使用MySQL部署网站、企业后台和业务系统的用户来说,这项进展真正值得关注的地方,是未来AI知识库可能不再必须依靠另一套独立数据库完成语义搜索。
MySQL早就能保存向量,为什么现在才重点开发向量索引?
讨论此次进展,首先需要区分两个容易混淆的概念:保存向量数据,以及高效搜索向量数据。
MySQL从9.0版本开始引入VECTOR数据类型,允许数据库在字段中存储由浮点数构成的向量。
例如,AI模型可以将一段文本转换成包含数百或数千个数字的Embedding。
这些数字并不是普通的文章关键词,而是模型对文本内容进行编码后得到的数学表示。
从概念上看,两段表达不同、但含义相近的文字,经过合适的Embedding模型处理后,其向量在高维空间中可能相互接近。
因此,系统可以通过计算向量之间的距离,寻找与用户问题语义相似的文档。
MySQL已经具备存储这类数据的基础能力。
但这不等于具备面向大规模数据的高效向量索引。
传统MySQL数据库主要依靠B-tree等索引处理字段查询。
例如,根据用户ID查找记录、按照订单时间筛选数据,或者按照商品价格排序,都可以使用适当的常规索引加快查询。
但向量检索面对的是另一类问题。
用户输入一个查询向量,数据库需要在大量高维向量中寻找距离最近的若干条记录。
这种查询无法简单套用普通B-tree索引的工作方式。
如果缺少专门的向量索引,系统可能需要遍历大量数据,逐个计算距离,再进行排序。
数据规模较小时,这种方式或许还能接受。
但当知识库包含数十万、数百万甚至更多文档片段时,逐条计算的成本就可能明显增加。
因此,真正决定MySQL能否高效承担AI知识库检索任务的,并不是有没有VECTOR字段,而是能否提供适合高维相似度搜索的索引结构。
值得注意,Oracle旗下的MySQL HeatWave GenAI已经具备向量检索能力,并从MySQL 9.5开始支持自动创建基于HNSW的向量索引。
但HeatWave相关能力与普通MySQL Community Server的功能范围并不相同。
例如,部分向量距离计算函数虽然已经用于HeatWave或MySQL AI相关产品,却没有直接包含在普通Community发行版中。
此次MySQL社区正在推进的原生索引项目,重点是将相关能力进一步引入开源MySQL的InnoDB体系。
A5数据分析,这种区别非常重要。
对于普通服务器管理员而言,不能因为看到MySQL已经提供VECTOR字段,就认定自己安装的社区版本可以直接运行完整、高性能的向量知识库。
Google的ScaNN为什么成为MySQL重点研究的方案?
此次技术披露中,最受关注的算法是ScaNN。
ScaNN全称为Scalable Nearest Neighbors,最初由Google研究团队开发,主要用于大规模向量近邻检索。
它属于近似最近邻搜索技术,即Approximate Nearest Neighbor,通常简称ANN。
为什么需要近似搜索?
如果要求数据库从海量向量中找出数学意义上绝对最近的若干条记录,最直接的方法是计算查询向量与每个候选向量之间的距离。
这种方式可以实现精确搜索,但当数据量持续增长时,需要付出的计算代价也会增加。
ANN采用另一种思路:通过建立特定索引结构,减少每次查询需要实际比较的向量数量。
其目标是在可接受的召回质量下,提高查询速度并降低资源消耗。
对于RAG知识库而言,通常不一定要求每次都找到数学距离排名完全精确的前10条记录。
系统更关心的是能否在合理时间内找到足够相关、可信且满足业务条件的文档。
ScaNN通过向量分组、量化及相关检索优化技术,尝试降低大规模搜索的计算和内存成本。
根据Henrik Ingo的介绍,Google Cloud SQL团队近期已将相关ScaNN实现开源,Oracle的InnoDB开发团队正在推进集成与性能测试。
不过,Oracle并没有宣布ScaNN已经成为MySQL最终确定的向量索引算法。
目前的研发方向仍然需要与其他方案进行比较,并经过代码审查、性能测试和存储引擎兼容性验证。
尤其值得关注的是,MySQL并不准备简单地将一个外部向量搜索工具直接放进数据库进程。
开发团队还需要研究,如何让向量索引与InnoDB已有的数据存储、事务和恢复机制协同工作。
从技术发展角度看,这可能比选择某个搜索算法本身更加复杂。
HNSW、IVF、ScaNN和Vamana,四种技术有什么区别?
除了ScaNN,MySQL此次公布的候选方案还包括HNSW、IVF以及Intel提出的Vamana。
它们都用于加快向量相似度搜索,但底层设计思路存在区别。
HNSW:通过图结构寻找相近向量。
HNSW全称Hierarchical Navigable Small World,是目前比较常见的向量索引技术。
它会在向量之间建立邻近关系,并利用多层图结构缩小搜索范围。
查询时不需要依次比较全部向量,而是沿着图中的连接逐步接近目标区域。
HNSW已经被PostgreSQL的pgvector等项目采用。
它具有较成熟的应用基础,但图结构可能带来较高的内存占用。在数据规模非常大、索引无法完全保留在内存中的情况下,随机访问也可能影响性能。
IVF:先对向量分组,再查找目标区域。
IVF即Inverted File Index。
它通常先将向量划分成多个簇,查询时优先搜索与输入向量比较接近的簇,而不是遍历整个数据集。
这种设计有机会减少需要检查的数据数量。
但如果目标向量恰好位于不同分组的边界附近,就可能遗漏部分实际上相近的结果。
ScaNN:强调大规模搜索中的量化与效率。
ScaNN利用分组、量化及相关优化方式,在搜索速度、内存占用和结果质量之间进行平衡。
Google此前针对不同数据集公布过较好的性能测试结果,但这些数据不能直接理解为MySQL集成ScaNN之后,就一定比其他向量数据库快数倍。
真正的性能还取决于InnoDB集成方式、索引结构、数据规模及查询条件。
Vamana:另一种基于图结构的近邻检索方案。
Vamana也属于图索引技术路线,侧重通过图结构实现高效近邻搜索。
此次Intel向MySQL社区提出相关方案,为开发团队提供了另一种候选设计。
但截至目前,MySQL尚未决定最终采用哪一种算法,也没有确认正式版本一定同时支持全部四种。
A5数据注意到,四种算法之间的差别,不只是简单比较谁的查询速度更快。
对于数据库来说,还需要考虑索引构建时间、插入和删除数据时的维护成本、内存消耗、磁盘访问模式以及异常重启后的恢复能力。
一个适合只读向量检索的数据结构,不一定适合每天都需要频繁更新文档的企业业务数据库。
这也是MySQL不能直接照搬某种独立向量搜索引擎实现的原因。
将向量索引真正放进InnoDB,难点在哪里?
此次MySQL研发工作还有一个值得关注的细节:开发团队正在讨论向量索引究竟应该以什么形式存储。
其中两种主要思路,是使用关联的InnoDB子表保存索引数据,或者直接采用InnoDB二级索引页的相关结构。
第一种方式相对容易理解。
数据库可以使用额外的内部数据结构保存向量索引,并与原始业务表建立关联。
第二种方式则希望让向量索引更深入地融入InnoDB现有索引体系。
但InnoDB并不是简单存放数据文件的组件。
它还承担事务处理、多版本并发控制(MVCC)、日志记录和崩溃恢复等工作。
例如,某篇知识库文章被管理员删除后,其对应向量索引也需要正确处理。
如果数据库事务尚未提交,其他查询是否应该看到新向量?
如果事务已经提交,但数据库突然断电,重新启动后向量索引能否恢复到正确状态?
如果主从复制正在运行,向量索引如何与业务数据保持一致?
这些问题都不是只实现一个相似度搜索算法就能解决的。
MySQL开发团队已经明确将事务一致性、索引更新和崩溃恢复纳入研发目标。
但这些仍属于设计要求和正在推进的工作,不能将其描述为所有能力已经在正式版本中得到验证。
根据11月4日MySQL社区公开讨论,当前子表方案和原生二级索引页方案均已有概念验证实现,最终架构尚未确定。
MySQL社区架构师也表示,希望设计相对通用的接口,使不同向量索引算法能够集成测试,未来甚至可能支持多种实现。
不过,首个正式实现仍有大量研发工作需要完成,预计会在合适的Innovation版本准备就绪后推出,尚未公布确定的发布日期。
从A5数据关注的数据库运维角度看,这其实是原生向量索引能否真正走进生产环境的关键。
对于企业来说,数据库查询速度固然重要,但数据能否正确备份、复制和恢复,同样决定这项功能是否值得长期采用。
MySQL最有吸引力的能力,可能是向量与SQL的混合查询
如果MySQL未来具备完善的原生向量索引,它最大的优势未必是某项纯向量搜索基准测试取得第一名。
更有吸引力的能力,可能是将语义搜索与传统关系型查询结合。
例如,企业使用MySQL保存知识库文章。
每篇文章除了正文,还可能包含所属客户、业务分类、创建时间、语言及访问权限等字段。
当用户通过AI助手提问时,系统不仅需要查找语义相似的内容,还需要遵守这些业务条件。
例如,只能搜索当前用户有权限查看的文档。
或者,只查询某个产品分类下最近更新的技术资料。
如果使用独立向量数据库,企业通常需要将部分业务元数据同步过去。
当MySQL中的文档权限发生变化时,向量数据库也需要及时更新。
如果同步延迟或逻辑存在缺陷,就可能出现检索结果与实际业务权限不一致的问题。
如果向量和业务字段能够直接由同一个数据库管理,这类数据协调工作就有机会减少。
MySQL开发团队在11月16日的文章中,也把混合搜索(Hybrid Search)列为重要的目标方向。
这里的混合搜索,不只是将关键词搜索和向量搜索的结果简单合并,还包括让向量相似度条件与普通SQL筛选条件协同执行。
例如,在筛选符合客户权限和文档状态的记录之后,再查找语义最相近的内容。
更进一步,查询优化器还需要判断应该先执行哪种筛选,以及如何利用已有索引降低整体成本。
不过,官方目前尚未承诺首个原生向量索引版本就具备完整的混合查询优化能力。
公开设计文件中,部分复杂的谓词过滤和查询优化器集成仍被列在初始实现范围之外。
因此,混合检索应该被理解为研发目标和长期方向,而不是已经确定交付的全部功能。
A5数据分析,关系型数据库进入向量检索市场,真正值得关注的是业务数据与语义检索的结合。
如果未来可以在保留MySQL成熟事务与权限管理体系的同时,高效执行向量搜索,那么部分企业就没有必要再维护两套存储相似业务数据的系统。
但这项优势必须建立在正确的查询执行和权限控制之上。
尤其对于多租户AI知识库,不能仅依赖应用层在检索结果返回后再做权限过滤。否则,不仅可能影响检索结果质量,还需要额外防范敏感信息进入不恰当的模型上下文。
原生向量索引能否降低AI知识库的部署成本?
对于中小企业来说,AI知识库并不一定需要非常庞大的服务器集群。
不少企业的目标只是将产品说明、技术文档、客户帮助中心和内部知识整理成可以通过自然语言查询的系统。
如果使用MySQL保存业务数据,再独立部署一套向量数据库,通常就需要管理两套数据服务。
这意味着额外的进程、磁盘空间、内存占用、备份任务和监控配置。
还需要考虑数据同步。
例如,企业在MySQL中更新一篇帮助文档后,系统需要重新生成Embedding,并将新的向量和元数据写入向量数据库。
如果其中某个步骤失败,就可能出现业务数据库已经更新,但AI检索仍然返回旧内容的情况。
为了处理这些问题,开发人员可能需要设计重试队列、同步状态记录和数据一致性检查机制。
当应用规模较小时,这些维护工作在整体运营成本中可能占据不小的比例。
如果MySQL未来能够直接保存并高效检索向量,部分企业就可以减少独立部署向量数据库的需求。
但这不意味着AI知识库的所有成本都会消失。
Embedding仍然需要由适当的模型生成。
文档仍然需要解析、切分和更新。
检索结果仍然可能需要经过重排序,才能更适合提供给大语言模型。
而MySQL本身也需要承担向量索引构建、维护与查询所产生的CPU、内存和存储开销。
如果把大量向量检索任务直接放进已有的生产数据库,还可能影响订单查询、账户管理或其他核心业务的响应速度。
因此,减少一套数据库服务,并不必然意味着整套系统的成本一定更低。
对于业务量较小的知识库,统一数据库有机会简化架构。
但对于拥有大量向量、高并发检索需求或复杂检索策略的应用,专门的向量搜索系统仍可能具备明显价值。
判断依据应当是完整的部署和运营成本,而不是单纯比较少安装了一个软件。
PostgreSQL和MariaDB已经支持向量索引,MySQL为什么还在研发?
从整个数据库市场来看,关系型数据库引入向量检索并不是MySQL首次提出的方向。
PostgreSQL已经通过pgvector扩展支持向量相似度搜索。
pgvector提供精确搜索,也支持HNSW和IVFFlat等近似向量索引。
对于已经使用PostgreSQL的企业来说,这使其能够在原有关系型数据库中增加一定的向量检索能力,而不必立即引入独立向量数据库。
MariaDB也已在11.7系列引入向量数据类型及相应的向量索引功能,并在后续长期维护版本中持续完善。
其实现采用经过调整的HNSW技术,支持通过SQL管理向量数据和相似度查询。
MySQL此次的进展,则主要是将原生向量索引进一步纳入MySQL Community Edition和InnoDB开发路线。
相比一些已经提供正式向量索引能力的产品,MySQL的原生项目目前仍处于研发阶段。
不过,MySQL拥有庞大的网站、企业应用和云计算用户群体。
大量系统已经使用MySQL保存业务数据,并建立了成熟的备份、监控、权限和开发工具体系。
如果未来原生向量索引能够稳定进入社区版,并与现有数据库能力良好结合,其实际影响可能相当广泛。
另外,MySQL社区已经出现一些第三方向量检索方案。
例如,Alkin Tezuysal开发的MyVector插件,已经支持HNSW、IVF以及近似和精确近邻搜索,并通过监测Binary Log处理索引维护。
Oracle在11月16日的技术文章中也专门提到了这一项目。
但MyVector属于社区第三方扩展,并不等同于未来正式集成到InnoDB中的原生向量索引。
对于生产环境,企业仍需要自行评估插件兼容性、性能、数据一致性和长期维护情况。
因此,现阶段的MySQL向量检索方案实际上存在多种不同路径,不能将HeatWave、第三方插件和正在研发的原生InnoDB索引混为一谈。
未来AI知识库还需要独立向量数据库吗?
从目前的技术发展来看,这个问题没有适用于所有企业的统一答案。
对于数据量较小、查询并发不高,而且已经大量依赖MySQL的企业,未来原生向量索引可能带来明显便利。
例如,企业帮助中心、产品知识库、内部操作文档和简单的智能客服系统,都可能受益于统一的数据管理方式。
这类应用的向量检索需求通常比较明确,同时又需要结合用户权限、分类和业务状态查询。
如果MySQL能够在同一数据库中高效处理这些任务,就有机会减少额外的数据同步工作。
但对于大型AI检索平台,情况可能不同。
例如,需要持续处理海量向量、多个Embedding模型版本,以及高并发检索请求的系统,可能更加重视分布式扩展、索引分片、查询吞吐量和特定向量搜索算法的性能。
独立向量数据库通常围绕这些需求进行专门设计。
另外,一些检索系统还需要多路召回、全文检索、混合排序和复杂的检索后处理功能。
仅仅具备一个ANN索引,并不能自动满足所有高级搜索需求。
因此,未来数据库选型可能更加取决于具体业务特点。
如果主要需求是让现有MySQL业务增加一定的语义搜索能力,那么原生向量索引可能非常合适。
如果企业需要建设独立的大规模AI搜索平台,专门的向量数据库仍然有其应用空间。
A5数据认为,真正可能发生变化的,并不是独立向量数据库突然失去价值,而是企业不再需要因为引入AI功能,就默认必须增加一套新的数据库服务。
当关系型数据库能够完成越来越多的向量检索任务时,企业就可以根据实际规模和性能需求决定是否拆分架构。
对已经使用MySQL的服务器管理员,现在应该怎么做?
虽然MySQL原生向量索引的研发方向值得关注,但目前并不适合因此立即调整所有生产数据库。
首先,需要明确当前使用的MySQL版本及实际功能范围。
MySQL支持VECTOR数据类型,不代表普通Community Server已经具备正式支持的原生ANN索引。
如果企业需要立即上线AI知识库,应当选择已经具备可用功能、并经过相应验证的技术方案。
其次,不建议为了等待未来的原生索引,提前在重要生产数据库中部署大量未经验证的向量检索代码。
尤其当数据库承担订单、充值、用户管理和其他核心业务时,新的计算任务可能影响原有系统的性能与稳定性。
对于正在规划知识库的企业,更合理的做法是优先明确数据规模、并发需求和更新频率。
还需要确认Embedding模型、向量维度、相似度计算方式,以及是否需要按用户权限过滤检索结果。
另外,应提前考虑Embedding模型更新的问题。
如果企业未来更换Embedding模型,新旧向量可能不再位于相同的语义空间中,不能直接将不同模型生成的向量混合比较。
这可能要求重新生成文档向量,并重新构建相关索引。
因此,即使向量索引未来进入MySQL,也仍然需要合理设计知识库的数据版本管理机制。
对于使用独立向量数据库的现有系统,目前也没有必要仅因为Oracle公布研发进展,就立即制定迁移计划。
更稳妥的方式是继续关注MySQL官方开发路线,等待原生向量索引正式发布,并通过实际业务测试比较性能、兼容性及维护成本。
对于IDC运营商和云服务器服务商,这项技术进展同样具有参考价值。
未来部分原本需要MySQL加独立向量数据库的中小型AI项目,可能有机会通过较为简单的数据库架构完成部署。
但这些变化能否真正降低服务器配置要求,还需要等待正式产品的性能数据。
MySQL向量索引的价值,可能不在于替代谁
11月16日Oracle公布的技术进展,说明MySQL正在进一步完善自身的AI数据处理能力。
从已有的VECTOR数据类型,到正在研发的InnoDB原生向量索引,再到未来希望实现的SQL混合搜索,MySQL正在尝试让关系型数据库承担更多语义检索任务。
这项研发并不意味着MySQL已经全面具备独立向量数据库的能力,更不能据此判断未来所有AI应用都不需要专门的向量搜索系统。
目前,ScaNN仍然处于重点集成和性能测试阶段,HNSW、IVF和Vamana等方案也在比较范围内。
索引的具体存储结构、SQL接口和正式发布版本,仍有待后续开发结果确认。
但这项变化已经揭示了一个值得关注的发展方向。
过去,企业建设AI知识库时,往往需要将业务数据和语义检索数据分别交给两套系统管理。
未来,如果关系型数据库能够同时提供可靠的事务管理和高效的向量搜索,部分应用就可能在更简单的架构中完成相同任务。
对于A5数据持续关注的网站建设、服务器运维及AI应用部署领域,这种变化的意义并不只是增加了一种数据库索引。
它可能让企业重新考虑,究竟需要为一个AI功能增加多少基础设施。
大型检索平台仍然需要关注分布式扩展和专业搜索能力,而中小型业务则可能更加看重系统简单、数据一致和维护成本可控。
MySQL原生向量索引真正值得期待的,并不是让所有向量数据库退出市场,而是让企业在建设AI知识库时拥有更多选择。
当语义检索逐渐成为普通业务系统的一项常见功能,未来数据库之间的竞争,也许不只是比较谁的向量搜索速度更快,还要比较谁能够让传统业务数据与AI检索更加自然地结合。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/10039.html



