开心挖土机,心知气候数据API 产品的高并发实践,李奈映

worry

心知气候作为国内抢先的商业气候服务供给商,气候数据API 产品从公司创建以来就一向扮演着很重要的人物。2009 年API 产品初度上线,历经十年,咱们不断用心迭代,现已为数百家企业客简铭宣户供给了超越540亿次安稳牢靠的数据服务。在心知气候官网主页一向跳动的调用量数字就实时展现了整个气候API 产品的服务状况。现在,心知气候数据API 的QPS 在顶峰时期现已到达数千的量级,怎么承载这高兴挖土机,心知气候数据API 产品的高并发实践,李奈映样海量的并发恳求,使客户能安稳及时的获取到所需数据天然也是心知技能团队一路以来不断前列腺增大探究的主题。

心知气候API 服务实时访问量

气候数据的根本特色和客户本身的事务需求决议了客户来怎么调用心知气候的数据接口。关于部分运用气候数据进行数据展现的2C 事务的客户而言,访问量潮汐跟人的行为规则有着显着的相关性,这大致表现为白日比晚上并发量更高;而关于部分运用气候数据做数据剖析和研讨或许其他需求批量恳求气候数据的客户而言,他们大多会挑选在整点时间来批量恳求不同的数据,所以整点时间往往会有突发的顶峰访问量。

API 数据服务访问量特色

在叠加了不同客户需求的整体A色博士导航PI 服务的访问量,能够看出以下几个特色:

以「天」为单位周期性显着

每天零点时间并发量会激增

整点和半点时间存在高并发小周期

只要了解了咱们客户的需求特色,才干规划出更适宜的技能架构来应对随之而来的应战。

在创业初期,「云核算」的理念开端鼓起,开创团队在酌量好坏之后,挑选将整个体系构建于云服务供给商阿里云之上,如此一来心知气候团队也不用自己再手艺建立艺电易玩和办理需求的硬件资源,这关于创业公山西特产司而言是一往生咒个不错的挑选。和大多数前期创业公司相同,囿于资源和技能堆集,最早咱们也是将API 服务实例直接布置在阿里云ECS 之上,对外经过负载均衡SLB 供给一致的API 进口。

跟着心知气候数据服务体会的不断完善,蔡雄英客户数量也不断增多,API 服务所需求承载的流量也持续上涨。因为咱们现已构建了上述这样的根底架构体系,在并发量最高的时期,咱们需求手艺保护高达40 台左右的ECS。而每个ECS 上有自己独立但不彻底一致的运转环境,不管是应对访问量骤变仍是布置新的版别,都无法做到比较快速的响应和履行。

在这个阶段,咱们产品的API 数据和逻辑都还比较简略,一切关于用户信息处理、位置服务和数据处理的逻辑都揉杂在一两个女性的战役个单体服务中,终究布置时也是一个一个独立的单体式架构经过SLB 一起对外供给服务。

跟着心知气候数据品种的不断增多,数据处理和API 服务的逻辑也变得各不相同,比方城市级数据和公里级网格数据就有着彻底不相同的处理和取数逻辑。在这种情况下,依据程序的可保护性考虑,咱们很快决议依据数据处理逻辑的不同将数据服务拆分为几个不同的微服务,各自对外供给不同的气候数据API。而为了复用取数之前的权限校验、访问量和各种日志计算的逻辑,咱们开端引进网关体系。

API 网关最重要的是功能和安稳性要足够好,一切的API 恳求都需求经过网关。在经过网关的校验之后,数据服务担任获取需求的气候数据,其成果再经过网关回来给外部用户。如此一来,不同的几个数据服务退化成无状况的纯数据服务,即每个数据服务节点不再考虑任何与用户相关的逻辑,仅仅简略的依据恳求条件将一切处理好的数据从存储系侯勇统中取出后回来,网关作为仅有的恳求进口来一致处理一切的权限校验和访问量、日志的各种计算。

依据开源的网关体系Kong,咱们运用Lua 进行了很多的二次定制开发,然后形成了心知气候自己的一套网关体系。这套体系高兴挖土机,心知气候数据API 产品的高并发实践,李奈映不只满意网关根本的路由逻辑,还能更好的处理和咱们本身事务深度耦合的用户权限校验、访问量计算以及以用户为中心的日志记载。Kong 天然生成也是支撑集群的,所以在瓜田李下理论上咱们能够无限横向扩展网关的处理才能。

在这样的架构之下,心知气候的API服务很好的遵从了「单一责任」的准则,使得咱们的代码保护和版别更新都能以更快速且价值更小的方法进行。但另一方面,咱们仍是需求手艺保护很多的ECS 集群,乃至因为气候数据服务的多样化,手艺保护多个不同品种服务的集群将面临更深重的应战。不过,因为我强插们将服务进行了更好的拆分和分层,变成了一个个更小的微服务,使得咱们能把它们进行更好的分布式布置,然后能够横向扩展来进步整个服务集群处理并发恳求的才能。这一阶段既是咱们成功像微服务架构的改变阶段,也能够看作是咱们迈向更现代的后端架构的过渡阶段。

Cloud-Native 的概念是2015 年被初次提出的,随后就获得了技能社区的很多重视。顺着之前架构演进的思路,咱们很快开端用Cloud-Native 的理念来装备整个后端体系架构。在上一年,心知气候正式开端用 Docker 和 Kubernetes 来改造和办理一切对外的线上服务,这些架构规划一起也与阿里云供给的云服务深度结合。

从网关到数据服务,现在咱们都现已完成了容器化的改造,并且一切服务都运用Kubernetes 来编列和办理,这意味着咱们真实艺人歌词一致了各个服务的运转时环境,然后能够快速仿制出新的服务节点。凭借Kubern高兴挖土机,心知气候数据API 产品的高并发实践,李奈映etes,湖北省心知气候现在能够做到4008333000容器等级的主动弹性,在并发量高的时分服务节点能够主动横向扩展以进步整个集群的并发处理才能,然后能够给用户供给愈加优质安稳的气候数据API 服务。

不只如此,依据Cloud-Native 的理念,咱们fill还一致了各个服务的 CI(持续集成) 流程,优化了 DevOps 的体会,做到一切服务的标准化和归一化—— 从此以往,万物皆容器。这关于往后产品的持续高效迭代和改善,也是含义严重的。

心知气候数据API 产品的高可用之路

心知气候数据API 产品历经十高兴挖土机,心知气候数据API 产品的高并发实践,李奈映年,其后端架构也逐步从传统的企业使用的开发形式改变为现代的Cloud-Native 使用的开发形式,不只极大的解放了团队的产品开发功率,并且能对外供给愈加优高兴挖土机,心知气候数据API 产品的高并发实践,李奈映质稳拈花湾定的数据服务。心知气候从创建之初就高兴挖土机,心知气候数据API 产品的高并发实践,李奈映带着明显的互联网风格,咱们崇尚极客文明,技能团队也将持续带着勇于探究和勇于应战的极客精力,用更好的技能与更优质的产品,为咱们的客户供给更具价值的服务。

高兴挖土机,心知气候数据API 产品的高并发实践,李奈映 公司 开发 技能
声明:该文观贺二秀点仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间服务。
女性p