在AWS上使用Presto和Alluxio构建高性能平台以支持实时游戏服务

概 述

电子艺界(EA)是一家游戏行业的领军企业,为全球数十亿用户提供超过一千种游戏。EA的数据和人工智能部门构建了数百个平台来管理游戏和用户每天生成的PB级数据。这些平台涵盖了大范围的数据分析,从实时数据抽取到ETL流水线过程。企业高管、制作人、产品经理、游戏工程师和设计师广泛使用我们部门产生的格式化数据,以进行营销变现、游戏设计、客户参与度、玩家留存度和最终用户体验等分析。
在这里插入图片描述EA在线服务的近实时信息对于制定业务决策(例如活动和问题定位)至关重要。这些服务包括但不限于实时数据可视化,仪表板和会话分析。我们的团队正在积极寻求可以支持这些用例的框架。

在EA,我们采用了许多数据可视化工具,例如Tableau和Dundas,以支持数据洞察分析。这些工具通常与多个数据源连接,例如MySQL DB,AWS S3或HDFS。使用者可以同时从多个端点加载数据以运行计算密集型算法。一个严重的性能瓶颈是数据加载,因为它是I/O密集负载。当需要多次加载相同的数据,则可能会加剧性能瓶颈情况。因此,我们需要一种通过本地缓存数据来减少数据检索开销的解决方案。

仪表展示是另一个常见用例,用以实时跟踪用户参与度,客户满意度或系统状态。在这些情况下,数据量通常约为GB级,但是频繁刷新需要实时处理。目前,我们使用诸如Redshift之类的商业数据库来对时间敏感的数据提供服务,并且我们正在寻找一种能在不损失性能的情况下削减成本的替代方案。

我们最近开发了一个报告机器人,它可以提供游戏内部即时的相关数据,例如实时用户满意度和实时利润分析。该系统的后端使用存储在S3中的PB级数据运行Presto。机器人将用户的问题转换为ANSI SQL,并在Presto集群中运行这些查询。查询通常进行复杂计算,例如跨越数据集搜索后的预测和合并。我们希望找到一种解决方案,该解决方案可以补充基于S3的数据集,从而在不增加额外成本的情况下提高性能。

系统架构

我们将Alluxio评估为存储和数据处理平台之间的数据编排层。Alluxio已被公认为是高性能的数据编排系统,并已在众多数据处理系统中广泛采用。在我们的评估中,我们将前述的Presto在S3生产环境配置的模拟与Alluxio的类似数据栈进行了比较。架构如下所示:
在这里插入图片描述

  • 每个实例都启动了Presto和Alluxio,这两个服务处于同一位置。

  • 对于硬件,我们使用了三个h1.8xlarge的AWS实例,每个实例都挂载有8TB临时磁盘供Alluxio使用,以缓存Presto本地数据。

  • S3被挂载到Alluxio作为基础持久化文件系统。

  • 为Presto配置了两个目录;一个连接到我们现有的Hive
    Metastore,引用外部存储在S3上的基准数据集,另一个连接到具有在Alluxio中创建的基准表的单独的Hive Metastore。

  • 我们在S3上使用了相同的数据集进行性能比较,并使用alluxio fs distributedLoad /
    testDB命令将数据预加载到Alluxio中。

使用以下配置启动Alluxio集群:

# Impersonation 
alluxio.master.security.impersonation.presto.users=*
alluxio.master.mount.table.root.ufs=<s3://alluxio_path>
alluxio.security.authorization.permission.enabled=false
alluxio.security.authentication.type=SIMPLE
alluxio.security.authorization.permission.supergroup=*
# Alluxio Worker tier configuration
alluxio.worker.block.heartbeat.interval=30sec
# Prevent disk thrashing
alluxio.user.file.passive.cache.enabled=false
# Increase Threadpool concurrency for Presto
alluxio.user.block.master.client.pool.size.max=256
alluxio.user.file.master.client.pool.size.max=256
# Return full list of blocks 
alluxio.user.ufs.block.location.all.fallback.enabled=true 
# Worker properties
alluxio.worker.tieredstore.levels=1
alluxio.worker.tieredstore.level0.dirs.mediumtype=HDD
alluxio.worker.tieredstore.level0.dirs.path=</path1>
alluxio.worker.tieredstore.level0.dirs.quota=<1000GB> 
# file replica 
alluxio.user.file.replication.max=3
# User properties
alluxio.user.file.readtype.default=CACHE_PROMOTE
# Writes data only to Alluxio beforereturning a successful write
alluxio.user.file.writetype.default=MUST_CACHE

以上展示了初始的 alluxio-site.properties

我们注意到在处理大量小文件时,Alluxio的表现不如预期。我们启用了元数据缓存来调整性能:

alluxio.user.metadata.cache.enabled=true 
alluxio.user.metadata.cache.max.size=100000
alluxio.user.metadata.cache.expiration.time=10min

以上展示了alluxio-site.properties 设置以激活元数据缓存。

基准测试结果

在分别使用Alluxio和不使用Alluxio的情况下,运行四个独立基准来对性能进行基准测试:

测试1:运行我们的内部基准测试,该测试将玩家游戏中事件快照合成。数据集采用ORC格式,总大小为1GB,10GB和100GB。每个数据集都使用相同的DDL创建,包含49个cols,40个varchar,5个布尔值和4个映射。基准查询选择具有一个varchar字段过滤条件的所有列,这是典型的重度I / O负载查询用例。

结果:具有元数据缓存的Alluxio比S3快2到7倍。

测试2:使用游戏元数据和用户参与记录来模拟数据可视化。我们分别选择了Tableau和Dundas中经常使用的两个常用数据集和查询。查询选择所有具有日期过滤条件的列,接着是日期的GROUP BY和ORDER BY。这是一个典型的同时强调CPU和I / O的查询。在此测试中,我们不需要在Alluxio中启用元数据缓存,因为它已经显示出显著的改进。

结果:如果没有元数据缓存,使用Dunuxs数据集的Presto和Alluxio的速度比S3快2.75倍,而使用Tableau数据集的速度则快5.1倍。

测试3:使用包含大量小文件的数据集来模拟我们的仪表板用例。数据集是2MB大小的批文件,共50、500和5000个文件。使用的查询是一个选择查询,聚合每个日期的条目数。

结果:具有元数据缓存的Alluxio比S3快1.2到5.9倍。当没有元数据缓存,Alluxio的速度仅提高1倍至1.35倍。通过存储元数据,识别热数据并增加副本,启用元数据缓存可显著减少执行时间。

测试4:模拟会话机器人。使用的数据集是每日游戏性能的快照。该查询包含多个计算阶段,以模拟CPU密集型查询。它将整数字段转换为HyperLogLog,将其合并,然后选择基数。结果由整数和varchar字段过滤。

结果:没有元数据缓存的Alluxio将时间从85.2秒缩短到3秒,从而将性能提高了27倍。

结 论

这篇博客探索了一个以Presto作为计算引擎,并以Alluxio作为Presto和S3存储之间的数据编排层,以支持在线服务,并在游戏行业内提供即时响应的新平台。我们通过数据可视化,仪表板和对话式聊天机器人的实际工业界用例评估了该平台。我们的初步结果表明,在所有情况下,带有Alluxio的Presto均明显优于S3。特别是具有元数据缓存的Alluxio在处理大量小文件时显示出高达5.9倍的性能提升。Alluxio通过管理分配的临时磁盘来将数据从本地S3缓存到Presto,从而实现存储和计算的分离。先进的缓存管理,以及针对热数据和冷数据的不对称副本数量,能够在我们测试的每种情况下提高性能。

热门文章

暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

GMX 命令分类列表

建模和计算操作命令&#xff1a; 1.1 . 创建拓扑与坐标文件 gmx editconf - 编辑模拟盒子以及写入子组(subgroups) gmx protonate - 结构质子化 gmx x2top - 根据坐标生成原始拓扑文件 gmx solvate - 体系溶剂化 gmx insert-molecules - 将分子插入已有空位 gmx genconf - 增加…
暂无图片
编程学习 ·

一文高效回顾研究生课程《数值分析》重点

数值分析这门课的本质就是用离散的已知点去估计整体&#xff0c;就是由黑盒子产生的结果去估计这个黑盒子。在数学里这个黑盒子就是一个函数嘛&#xff0c;这门课会介绍许多方法去利用离散点最大化地逼近这个函数&#xff0c;甚至它的导数、积分&#xff0c;甚至微分方程的解。…
暂无图片
编程学习 ·

在职阿里5年,一个28岁女软测工程师的心声

简单的先说一下&#xff0c;坐标杭州&#xff0c;14届本科毕业&#xff0c;算上年前在阿里巴巴的面试&#xff0c;一共有面试了有6家公司&#xff08;因为不想请假&#xff0c;因此只是每个晚上去其他公司面试&#xff0c;所以面试的公司比较少&#xff09; ​ 编辑切换为居中…
暂无图片
编程学习 ·

字符串左旋c语言

目录 题目&#xff1a; 解题思路&#xff1a; 第一步&#xff1a; 第二步&#xff1a; 第三步&#xff1a; 总代码&#xff1a; 题目&#xff1a; 实现一个函数&#xff0c;可以左旋字符串中的k个字符。 例如&#xff1a; ABCD左旋一个字符得到BCDA ABCD左旋两个字符…
暂无图片
编程学习 ·

设计模式--观察者模式笔记

模式的定义与特点 观察者&#xff08;Observer&#xff09;模式的定义&#xff1a;指多个对象间存在一对多的依赖关系&#xff0c;当一个对象的状态发生改变时&#xff0c;所有依赖于它的对象都得到通知并被自动更新。这种模式有时又称作发布-订阅模式、模型-视图模式&#xf…
暂无图片
编程学习 ·

睡觉突然身体动不了,什么是睡眠痽痪症

很多朋友可能有这样的体验&#xff0c;睡觉过程中突然意识清醒&#xff0c;身体却动弹不了。这时候感觉非常恐怖&#xff0c;希望旁边有一个人推自己一下。阳光以前也经常会碰到这样的情况&#xff0c;一年有一百多次&#xff0c;那时候很害怕晚上到来&#xff0c;睡觉了就会出…
暂无图片
编程学习 ·

深入理解C++智能指针——浅析MSVC源码

文章目录unique_ptrshared_ptr 与 weak_ptrstd::bad_weak_ptr 异常std::enable_shared_from_thisunique_ptr unique_ptr 是一个只移型别&#xff08;move-only type&#xff0c;只移型别还有std::mutex等&#xff09;。 结合一下工厂模式&#xff0c;看看其基本用法&#xff…
暂无图片
编程学习 ·

@TableField(exist = false)

TableField(exist false) //申明此字段不在数据库存在&#xff0c;但代码中需要用到它&#xff0c;通知Mybatis-plus在做写库操作是忽略它。,.
暂无图片
编程学习 ·

Java Web day15

第十二章文件上传和下载 一、如何实现文件上传 要实现Web开发中的文件上传功能&#xff0c;通常需要完成两步操作&#xff1a;一.是在Web页面中添加上传输入项&#xff1b;二是在Servlet中读取上传文件的数据&#xff0c;并保存到本地硬盘中。 需要使用一个Apache组织提供一个…
暂无图片
编程学习 ·

【51nod 2478】【单调栈】【前缀和】小b接水

小b接水题目解题思路Code51nod 2478 小b接水 题目 输入样例 12 0 1 0 2 1 0 1 3 2 1 2 1输出样例 6解题思路 可以发现最后能拦住水的都是向两边递减高度&#xff08;&#xff1f;&#xff09; 不管两个高积木之间的的积木是怎样乱七八糟的高度&#xff0c;最后能用来装水的…
暂无图片
编程学习 ·

花了大半天写了一个UVC扩展单元调试工具

基于DIRECTSHOW 实现的&#xff0c;用的是MFC VS2019. 详见&#xff1a;http://www.usbzh.com/article/detail-761.html 获取方法 加QQ群:952873936&#xff0c;然后在群文件\USB调试工具&测试软件\UVCXU-V1.0(UVC扩展单元调试工具-USB中文网官方版).exe USB中文网 USB中文…
暂无图片
编程学习 ·

贪心(一):区间问题、Huffman树

区间问题 例题一&#xff1a;区间选点 给定 N 个闭区间 [ai,bi]请你在数轴上选择尽量少的点&#xff0c;使得每个区间内至少包含一个选出的点。 输出选择的点的最小数量。 位于区间端点上的点也算作区间内。 输入格式 第一行包含整数 N&#xff0c;表示区间数。 接下来 …
暂无图片
编程学习 ·

C语言练习实例——费氏数列

目录 题目 解法 输出结果 题目 Fibonacci为1200年代的欧洲数学家&#xff0c;在他的着作中曾经提到&#xff1a;「若有一只免子每个月生一只小免子&#xff0c;一个月后小免子也开始生产。起初只有一只免子&#xff0c;一个月后就有两只免子&#xff0c;二个月后有三只免子…
暂无图片
编程学习 ·

Android开发(2): Android 资源

个人笔记整理 Android 资源 Android中的资源&#xff0c;一般分为两类&#xff1a; 系统内置资源&#xff1a;Android SDK中所提供的已经定义好的资源&#xff0c;用户可以直接拿来使用。 用户自定义资源&#xff1a;用户自己定义或引入的&#xff0c;只适用于当前应用的资源…
暂无图片
编程学习 ·

零基础如何在短时间内拿到算法offer

​算法工程师是利用算法处理事物的职业 算法&#xff08;Algorithm&#xff09;是一系列解决问题的清晰指令&#xff0c;也就是说&#xff0c;能够对一定规范的输入&#xff0c;在有限时间内获得所要求的输出。 如果一个算法有缺陷&#xff0c;或不适合于某个问题&#xff0c;执…
暂无图片
编程学习 ·

人工智能:知识图谱实战总结

人工智能python&#xff0c;NLP&#xff0c;知识图谱&#xff0c;机器学习&#xff0c;深度学习人工智能&#xff1a;知识图谱实战前言一、实体建模工具Protegepython&#xff0c;NLP&#xff0c;知识图谱&#xff0c;机器学习&#xff0c;深度学习 人工智能&#xff1a;知识图…
暂无图片
编程学习 ·

【无标题】

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题&#xff0c;有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注…