当前位置: 罕南信息门户网 > 科技 >网易的“中台”往事 | 钛度专访

网易的“中台”往事 | 钛度专访

发布日期:2019-11-08 16:46:18   人气:1247

资料来源:视觉中国

2015年底,阿里巴巴将成立搜索事业部、共享业务平台、数据技术和产品事业部为“中国-台湾业务集团”,并推出“小前台、大中型台湾”的管理模式。

从阿里开始,腾讯、百度、京东、美团、网易等各个领域的互联网龙头企业都开始探索自己的中国-台湾模式。特别是在过去的六个月里,中国和台湾突然成为数字经济领域最受关注的技术趋势。

然而,在中国和台湾的定义以及如何建设中国和台湾的问题上,业界仍然存在分歧。由于对中国和台湾的理解不同,市场上出现了“在台湾做生意”、“在台湾数据”、“在台湾技术”、“在台湾算法”和“在台湾移动”等概念。许多面临数字转型的企业也在努力建设自己的中国大陆和台湾。

近日,网易副总裁兼网易杭州研究院执行董事王元就网易在台湾开展业务时遇到的主要和次要问题以及在台湾开展业务的经验进行了联合讨论。

网易为什么应该是中国的台湾?如何理解网易的中国-台湾模式?这是怎么做到的?

与业内人士谈论的阿里零售相比,对网易而言,台海建设面临的最大挑战实际上是自身业务结构的碎片化。

王元承认,正如阿里的共享业务中心初始位置低、压力大一样,网易各专业能力部门的建立并不容易,但发展挑战更大。这种挑战不仅是因为这些部门不直接创造价值,也是因为网易多元化经营的现实。

" 2005年,巧合的是,我们的团队成为了网易杭州的原始团队."

据王元介绍,网易当时提出了一个在京杭研究院做搜索的合适方式,在杭州做互联网创新业务。然而,它遇到了互联网技术的瓶颈——游戏的点卡甲骨文数据库已经不堪重负。相册数据库被堆积在一个700g-g的mysql中,看起来它不会回头。nfs为相册中数十亿个文件构建分布式存储集群的问题经常发生。

"中国和台湾是一个新术语,但不是新的实践."

据王元介绍,杭州研究院成立之初,有几个并行的业务(博客、相册、popo)。生意很复杂。杭州研究院的主要研发力量是工程男性。它追求系统化,极其讨厌重复建设。

这两者似乎有很多矛盾,但王元确实认为,由于杭州研究院被迫并行发展多种业务,而且科学与工程讨厌重复建设的想法,杭州研究院已经开始专注于解决海量数据管理的核心技术问题,从而为网易中国和台湾的诞生奠定了基础。

据王元回忆,2006年9月1日,随着网易博客的正式发布,新推出的ddb和dfs分别解决了分布式数据库和分布式文件存储的问题。后来,2007年,网易投资mapreduce nemr、融合多维查询系统等。

"这些系统基本上解决了当时情况下的重大技术挑战."

从那以后,杭州研究所试图从不同的业务领域中提取公共能力。“我们希望这些共享能力结合在一起,能够形成一个强大的创新中心,提高创新的速度和效率,并提供成功率。”

网易的数据中心和平台架构

据王元介绍,网易的台海建设主要经历了以下几个阶段:

严格来说,网易的中国平台不是阿里打造的那种中国平台。

虽然中国和台湾的概念应该只包括分享的能力,但对于网易这样业务相对独立的公司来说,很容易遇到“标准”的中国和台湾部门与前台业务结合不够深入、合作不够顺畅的问题。

同时,外界也会有这样的疑虑。网易的业务支离破碎。网易的中国-台湾系统如何协调和支持更加分散的业务发展?

王元根据网易杭州研究所的实践经验,提出了一套完整的中台组织方法论。根据参与者的不同,王元将不同类型的组织归纳为“胖中台组织”、“标准中台组织”和“平台组织”。

对于中国和台湾的发展,王元也总结了一个“数字技术核聚变”的模式。

“连通性是宏观基础。有了连接,您就有了大量的数据,有了连接,您就可以有大量的在线业务。”王元强调,在中国和台湾的帮助下,可以根据数据进行分析和洞察。分析和洞察力可以带来新的业务。在线业务可以不断迭代和发展,从而形成一个积极的循环,最终为企业创造巨大的价值。

与理论基础相对应,网易采取分阶段的方法,从组织结构上把一些前台团队整合到专业能力部门。因此,在中国大陆和台湾的部门都有一个个与前台业务定位组相对应的定向支持。这就形成了王元所说的“肥胖的中国台湾组织”。

在王元看来,这是为了使中国和台湾的组织分阶段变得更胖,并使中国和台湾的边界和前台在一个组织中运行。“两年后,我们将看到哪些骨头属于中国和台湾,哪些肉属于前台。在我们弄清楚之后,我们将把肉重新分配到前台。”通过这种方式,肥胖的中型组织已经减肥,成为标准的中型组织。

事实上,网易的许多业务部门,尤其是用户中心、数据挖掘、商业智能、移动研发、内容安全等部门,都有一些中国和台湾的属性。考虑到网易多元化经营的现实,网易杭州研究院选择与各种企业合作,更好地支持各种企业搭建中国平台。

例如,网易的推荐搜索平台从博客服务的个性化推荐和标签推荐萌芽,支持云音乐的推荐引擎,帮助网易新闻从编辑优势进入算法个性化时代。

同时,网易推荐搜索中心还负责考拉和云类等所有互联网服务的个性化推荐。

“网易在数据中心的第一个应用是在考拉。我们最近刚刚完成的数据中心建设取得了100%索引覆盖率、确保99.8%数据质量、100%数据可自行检索、数据成本降低20%的效果。”

据王元介绍,网易还拥有qa(质量保证)平台、移动R&D平台、用户平台和用户体验设计平台等10多个不同平台。

现在,网易正试图将其能力转化为产品,并将其出口到外部世界。

事实上,为了构建大数据的全链路解决方案,有必要跟踪全链路的数据质量,审核和监控节点的数据验证,并回答“数据准确吗?”“哪些数据产品受到影响”和“恢复时间有多长?”等等。

网易大数据总经理余丽华指出,目前大数据实践中存在五大痛点,如索引口径不一致、重复数据构建、检索效率低、数据质量故障频繁、成本呈指数级增长。这导致企业80%的工作与数据分析无关,而数据中心是打破这一症结的好方法。

据钛媒报道,网易云近日发布了全链接大数据产品网易猛犸6.0,以全力支持企业数据中心的建设,并为业务应用提供统一的数据和服务。

余丽华告诉钛媒体,网易大数据发布的猛犸6.0是一个全新的系统,包括索引系统、数据服务、数据地图、数据质量中心、资产管理中心、数据仓库开发和管理,基于以前的hadoop、数据集成、任务运行和维护、实时开发和离线开发产品,从而实现数据中心与平台之间的全链路连接,实现全链路数据质量监控、全链路数据资产分析和全链路数据发现。

这些系统的能力,以指标体系为例,猛犸6.0可以100%消除指标口径的不一致性,减少指标数量50%,缩短理解指标含义的时间80%。

据王元介绍,猛犸6.0已经成功应用于网易考拉和其他企业。通过数据中心的建设,实现了100%的数据产品索引覆盖率、99.8%的数据可用性、100%的自助检索和20%的成本节约。

“使用全链接大数据产品,企业可以将其80%的工作投入到业务分析中,并直接产生业务价值,而数据开发和数据治理只需要占用20%的工作负载。”余立华总结道。

业界普遍认为,台湾的在线业务有助于重用业务能力、加快业务创新和促进数字转型。然而,真正的问题是信息隔离、数据隔离等因素阻碍了在线商务中心的建设。

对于这些问题,网易云基础设施服务总经理陈娥表示,异构系统的集成,包括系统间的兼容性、通信和事务一致性,以及多厂商建设,包括多团队协作和软件资产沉淀,是企业在构建在线业务过程中遇到的最大障碍。

网易还在去年发布的canoe微服务的基础上迭代了新产品,希望通过服务网格、分布式事务框架gtx、新api网关与原有canoe产品的集成,完成全栈在线中间平台技术系统的升级,从而帮助企业完成业务架构的演进,支持快速的业务创新。

陈娥介绍说,独木舟服务网格是基于主流开源技术,如istio和cncf(云计算本地计算基金会)特使。它可以实现java、python、nodejs、golang和php等不同技术栈的兼容和通信。它可以通过nsf统一控制、查找和调用对方,支持容器、虚拟机和裸机的部署,从而实现行业领先的异构系统支持。

在性能方面,独木舟服务网格还达到了将延迟降低50%的优化效果,从而更好地满足用户在线服务的体验。gtx通过一个声明性事务框架实现了一个对开发人员更加友好的分布式事务方案,确保了不同微服务的数据一致性。与常用的tcc模式相比,访问效率提高了85%,在中国工商银行、网易严格选择等大规模生产环境中运行稳定。

据王元称,在网易内部,通过电子商务和音乐等在线服务的建设,需求响应效率提高了100%,应用部署效率提高了280%,软件产品质量提高了52%,其中电子商务应用每天部署1,374次,音乐应用每天部署492次。

在推出产品的同时,网易云还为客户提供全程服务。

据了解,网易云的全流程服务涵盖了所有方面,如开发最佳实践、可扩展架构设计、微服务拆分、治理构建、技术支持以及高级操作和维护。案例项目包括云平台建设、中国台湾建设、工商银行、国家电网、沈万宏远等企业的结构演进。(本文从钛媒体开始,作者/高梦阳)

欲了解更多精彩内容,请关注钛媒体微信号(id: taimeiti)或下载钛媒体应用。

快乐生肖app 甘肃快三 搜狐彩票网 秒速飞艇投注平台 澳门永利

 
 

 

 
推荐资讯
重磅!市里刚刚传来消息,青岛公开遴选200名村党组织书记 长三角地区异地就医门诊费用直接结算试点一周年,三省一市实现全
丰收添美王屋山 南阳:典型引领主题教育走深走实
猜你喜欢