【Infra Meetup No.88】小红书的社区架构 & TiDB 在小红书的实践案例分享 & Vectorized Execution Explained

在上周六举办的 Infra Meetup No.88 上海站上,来自小红书的郭一、张俊骏两位老师,和我司施闻轩老师一起,为大家带来三个精彩的分享,以下是视频&文字回顾,enjoy~

小红书的社区架构

郭一 | 小红书

郭一 | 小红书

本次分享,郭一老师主要介绍了小红书社区的数据技术。首先介绍了小红书的产品和社区个性化的推荐需要的关键技术。然后对社区的数据技术分别从接入层,业务层,数据服务层和数据仓库层进行了概述。然后讲述了一个利用流计算引擎 Flink 给线上推荐提供用户行为实时的多维度聚合的业务实例。最后对小红书下一年的数据架构发展进行了展望。

TiDB 在小红书的实践案例分享

张俊骏 | 小红书

张俊骏 | 小红书

本次分享,张俊骏老师主要介绍了小红书在以下两个场景中对 TiDB 的使用:第一个场景是大促实时看板,在高 QPS 场景下通过最终一致性写入模型完美地满足了需求,且全程保持稳定;第二个是作为分库分表 MySQL 的从库进行 ETL 任务,通过分析分库分表 MySQL 的特性自行开发了同步工具,解决了许多 ETL 任务的痛点。小红书未来还会在 TiDB 的容器化部署、自动化运维、接入更多业务场景等方向上努力。

Vectorized Execution Explained

施闻轩 | PingCAP

施闻轩 | PingCAP

2019 年我们会尝试针对一些主题进行一系列分享,Q1 计划的是查询执行(Query Execution)相关主题。针对这个主题我们会分享当前业界相对前沿的设计和算法,例如 JIT Compilation,向量化,SIMD,NUMA 相关优化等。

本次 Meetup 施闻轩老师的分享主题是「向量化执行」。向量化是随着列存数据库一起成熟的新查询执行模型,诸如 Hive,Vertica,Vectorwise,Clickhouse 等都使用了该技术。向量化也是 TiDB 正在进行的优化之一。本次分享从为何进行向量化,块执行,SIMD 和晚期物化等多个方面阐述向量化引擎的设计和实现。