展超网第十届软件系统负载测试和基准测试 国际研讨会（LTB 2022）
研讨会议程：
注：研讨会开始时间为 2022 年 4 月 10 日 CEST 16:00、北京时间 (CST) 22:00、东部时间 (EDT) 10:00。
| 16:00 – 16:05 CEST 22:00 – 22:05 CST 10:00 – 10:05 EDT |
简介： Alexander Podelko (MongoDB)、Heng Li (蒙特利尔理工学院)、Nima Mahmoudi (阿尔伯塔大学)。 |
| 16:05 – 17:00 CEST 22:05 – 23:00 CST 10:05 – 11:00 EDT |
主题演讲：郭建美（华东师范大学）。 从 SPEC 基准测试到数据中心的在线性能评估。抽象的： 数据中心已经成为支持大规模互联网服务的标准基础设施。随着规模的扩大，对软件（例如，操作系统）或硬件（例如，CPU）的每次大规模升级都会变得更加昂贵和冒险。对给定升级进行可靠的性能评估有助于数据中心的基础设施优化、稳定性维护和成本降低，而错误的评估会产生误导性数据、错误的决策，并最终导致巨大的损失。本次演讲介绍了数据中心系统性能工程的挑战和实践，主要涵盖了针对大型生产环境的竞争分析和在线评估的 SPEC 基准测试。 简介：郭建梅教授共同指导华东师范大学数据科学与工程学院系统优化实验室。他获得了博士学位。2011年毕业于上海交通大学计算机科学专业。他是滑铁卢大学的博士后研究员和阿里巴巴集团的高级工程师。他的研究兴趣包括系统优化、系统性能工程和系统可靠性工程。他发表了 50 多篇同行评审论文，并获得了 1 项 ACM SIGSOFT 杰出论文奖和 2 项最佳论文奖。他定期在高级国际期刊或会议的评审委员会或程序委员会任职。[网站] |
| 17:00 – 17:20 CEST 23:00 – 23:20 CST 11:00 – 11:20 EDT |
研究论文： Thomas F. Düllmann（斯图加特大学）、André van Hoorn（汉堡大学）、Vladimir Yussupov（斯图加特大学）、Pelle Jakovits（塔尔图大学）和 Mainak Adhikari（勒克瑙印度信息技术学院）。 CTT：基于 TOSCA 的云应用程序的负载测试自动化摘要： Despite todays fast and rapid modeling and deployment capabilities to meet customer requirements in an agile manner, testing is still of utmost importance to avoid outages, unsatisfied customers, and performance problems. To tackle such issues, (load) testing is one of several approaches. In this paper we introduce the Continuous Testing Tool (CTT), which enables modeling of tests and test infrastructures along with the cloud system under test, as well as deploying and executing (load) tests against a fully deployed system in an automated manner. CTT employs the OASIS TOSCA Standard to enable end-to-end support for continuous testing of cloud-based applications. We demonstrate CTT’s workflow, its architecture, as well as its application to DevOps-oriented load testing and load testing of data pipelines. |
| 17:20 – 17:40 CEST 23:20 – 23:40 CST 11:20 – 11:40 EDT |
演示文稿： Alexander Podelko (MongoDB)。 性能测试摘要 中的现代挑战回顾： 我们开发软件的方式正在发生变化——性能测试也在发生变化以保持相关性。它应该集成到敏捷开发和 DevOps 中（包括左移、右移和持续性能测试）。随着我们进行多次迭代和缩短时间来验证性能，自动化和持续集成 (CI) 变得必要。它改变了我们进行性能测试的方式，并带来了许多既没有深入研究也没有明确定义的新挑战。本演示文稿试图回顾这些挑战，将它们松散地分组，并提供一些有关在工业和学术界处理它们的信息（如果有这些信息）。 |
| 17:40 – 18:00 CEST 23:40 – 00:00 CST 11:40 – 12:00 EDT |
演示文稿： Leandro Melendez (Grafana/K6)。 具有成本效益的负载测试 摘要：在这些敏捷和连续的日子里，组织仍然需要传统上执行完整的端到端负载测试项目。这些情况通常对覆盖范围、要使用的案例类型以及要包括的自动化数量有误解。所有这些混乱都会浪费时间、性能团队付出额外的努力、执行负载测试时效率低下等等。最后，每一项都会为您的组织带来额外的成本。性能测试是一个以活动为导向的领域，其最终目标是降低成本。但是我们不会停下来考虑我们可以在性能测试过程中内部进行的成本降低或优化。经常， 在本次演讲中，Leandro 将向您展示组织陷入的一些常见错误，这些错误会产生额外成本并影响团队效率，甚至是在不知不觉中。然后，他将深入研究帕累托原则的无数技巧，传递优先级和技术以提高成本效率和成本节约的影响。 |
| 18:00 – 19:00 CEST 00:00 – 01:00 CST 12:00 – 13:00 EDT |
主题演讲： Andre van Hoorn（汉堡大学）。 基于微服务的软件系统的基于架构的弹性测试和工程。 抽象的：基于微服务的架构有望具有弹性。然而，各种系统仍然因导致瞬态行为的变化（例如服务故障或工作负载变化）而遭受严重的质量下降。这种缺陷有不同的原因。在实践中，弹性要求的引出和系统是否满足这些要求的定量评估通常不是系统的，甚至没有进行。弹性测试（又名混沌工程）旨在评估软件系统和组织应对故障的能力，例如，通过注入故障并观察其影响。然而，识别和优先考虑有效和高效的弹性测试并非易事。而且， 在本次演讲中，我将概述我们最近的研究活动，以评估和解决前面提到的与复原力相关的挑战。我们进行了专家访谈，以分析瞬态行为在实践中的相关性。我们探索了使用众所周知的风险分析方法（例如，故障树分析和 FMEA）和基于场景的架构权衡分析方法 (ATAM)，通过工业案例研究和状态来进行弹性需求启发和弹性测试。最先进的技术。我们开发了利用弹性模式、反模式和故障注入之间关系的方法和工具；自动提取架构知识以生成和改进弹性测试；并使用模拟来进一步减少要执行的弹性测试的数量。我们开发了许多技术和工具，用于交互式和视觉启发、规范、理解和细化弹性要求和属性。 简介：Andre van Hoorn 是德国汉堡大学信息学系的高级研究员（自 2021 年起）。在搬到汉堡之前，他曾在德国斯图加特大学软件工程研究所（2013-2021 年）、德国基尔大学软件工程组（2010-2012 年）和德国奥尔登堡大学 (2007-2010)。他于 2014 年在德国基尔大学获得博士学位（以优异成绩），在德国奥尔登堡大学获得硕士学位（2007 年）。Andre 的研究重点是设计、操作和发展可信赖的分布式软件系统。特别感兴趣的是运行时质量属性，例如性能、可靠性、和弹性——以及如何使用基于模型和基于测量的方法的智能组合来评估和优化它们。近年来，André 研究了在持续软件工程和 DevOps 环境中应用此类方法的挑战和机遇。André 是多个研究项目的首席研究员，包括基础研究和应用研究，并积极参与社区活动，例如，在标准性能评估公司 (SPEC) 研究小组和 ACM/SPEC 国际会议 ACM 的范围内/SPEC 国际性能工程会议 (ICPE)。André 研究了在持续软件工程和 DevOps 环境中应用此类方法的挑战和机遇。André 是多个研究项目的首席研究员，包括基础研究和应用研究，并积极参与社区活动，例如，在标准性能评估公司 (SPEC) 研究小组和 ACM/SPEC 国际会议 ACM 的范围内/SPEC 国际性能工程会议 (ICPE)。André 研究了在持续软件工程和 DevOps 环境中应用此类方法的挑战和机遇。André 是多个研究项目的首席研究员，包括基础研究和应用研究，并积极参与社区活动，例如，在标准性能评估公司 (SPEC) 研究小组和 ACM/SPEC 国际会议 ACM 的范围内/SPEC 国际性能工程会议 (ICPE)。 |
| 19:00 – 20:00 CEST 01:00 – 02:00 CST 13:00 – 14:00 EDT |
小组讨论： Andre B. Bondi (Software Performance and Scalability Consulting LLC)、Leandro Melendez (Grafana/K6)、Weiyi Shang (Concordia University)、Alexander Podelko (MongoDB)、Heng Li (Polytechnique Montréal)。 绩效教育和培训 来自学术界和工业界的领先专家将讨论他们在教育和培训未来绩效研究人员或从业者方面的经验、最佳实践和挑战。小组成员是 Andre B. Bondi (Software Performance and Scalability Consulting LLC)、Leandro Melendez (Grafana/K6)、Weiyi (Ian) Shang (Concordia University) 和 Alexander Podelko (MongoDB)。小组讨论由 Heng Li（蒙特利尔理工学院）主持。 |
| 20:00 – 20:20 CEST 02:00 – 02:20 CST 14:00 – 14:20 EDT |
研究论文： Devon Hockley（卡尔加里大学）和 Carey Williamson（卡尔加里大学）。 在 WebAssembly 摘要中对运行时脚本性能进行基准测试：在本文中，我们探讨了使用 WebAssembly (WASM) 作为通用运行时脚本的沙盒环境。我们的工作不同于之前专注于基于浏览器的性能或 SPEC 基准的研究。特别是，我们使用微基准和宏基准（均用 Rust 编写）来比较 WASM 和原生模式之间的执行时间。我们首先使用简单的微基准测量脚本执行的哪些元素对性能影响最大。然后我们考虑一个具有不同缓存替换策略的 Web 代理缓存模拟器作为宏基准。使用这个模拟器，我们展示了 WASM 与原生执行相比 5-10 倍的性能损失。 |
| 20:20 – 20:40 CEST 02:20 – 02:40 CST 14:20 – 14:40 EDT |
演示文稿： Josef Mayrhofer (Performetriks LLC)。 使用智能摘要 简化性能工程： 我们生活在一个不可思议的世界。我们所有的日常需求都只需单击鼠标，送货服务将这些货物送到我们的前门。但是，这种灵活性是有代价的，我们变得更加依赖此类电子商务或金融交易的可用性和性能。Performetriks 在构建快速、安全的业务应用程序方面拥有 20 年的经验。我们的使命是简化和简化跨行业的性能工程，并使其成为每个人的日常工作。我们的性能工程成熟度模型 (PEMM) 侧重于标准、方法、流程、以及组织中使用的工具，用于客观地评估其与其他公司相比的性能工程成熟度水平，并指导他们的绩效之旅。我们使用专家建议丰富我们的知识库，并使用蒙特卡洛和机器学习来创建我们客户的性能工程修复计划。 |
| 20:40 – 21:00 CEST 02:40 – 03:00 CST 14:40 – 15:00 EDT |
演讲： Matt Fleming (DataStax)、Guy Bolton King (DataStax)、Sean McCarthy (DataStax)、Jake Luciani (DataStax) 和 Pushkala Pattabhiram (DataStax)。 辐射：分布式系统测试即服务 摘要：所有现代分布式系统都将性能和可扩展性列为其核心优势。鉴于最佳性能需要仔细选择配置选项，并且典型的集群规模可以从 2 到 300 个节点不等，任何两个集群都很少完全相同。如果没有跨越软件堆栈的自动化，在这个大型配置空间中验证分布式系统的行为和性能是一项挑战。在本文中，我们介绍了 Fallout，这是一种开源分布式系统测试服务，可自动配置和配置分布式系统和客户端，支持运行各种工作负载和基准测试，并根据收集的指标生成性能报告以进行可视化分析。我们已经在 DataStax 内部运行 Fallout 服务超过 5 年，最近将其开源以支持我们与 Apache Cassandra、Pulsar 和其他开源项目的合作。我们描述了 Fallout 的架构及其设计的演变，以及我们在动态环境中操作该服务的经验教训，团队在不同的产品上工作并支持不同的基准测试工具。 |
| 21:00 – 21:05 CEST 03:00 – 03:05 CST 15:00 – 15:05 EDT |
结论。 |
