如何在 Serverless 中使用 Kinesis 和 Lambda

面试官：小伙子，你的数组去重方式惊艳到我了

在 Serverless 架构中，AWS Lambda 是一种常见的无服务器计算服务，用于自动扩展应用程序并消除运维成本。与之类似的还有数据流处理服务 Kinesis，它可以支持实时数据注入和处理。在本文中，我们将探讨如何在 Serverless 中使用 Kinesis 和 Lambda。

Kinesis 和 Lambda 的结合

Kinesis 是一种高度可伸缩的流式数据处理服务，可用于读取和写入大型、分散、高吞吐量的数据流。它可以处理和存储来自 Web 和移动应用程序、媒体和 IoT 设备等各种来源的数据，并在实时或稍后进行处理。

Lambda 是一个事件驱动的计算服务，可以自动扩展以处理各种事件，例如 HTTP 请求、S3 对象创建或 DynamoDB 变更等事件。Kinesis 和 Lambda 的结合可以实现一些有趣的用例，例如：

  • Real-time processing: 对来自 Kinesis 数据流的大量数据进行实时处理。
  • ETL pipelines: 从 Kinesis 流中提取数据并将其转换为其他系统可以使用的格式，例如 Elasticsearch 或 S3 存储桶。
  • Stream processing: 执行连续处理，如窗口聚合、流连接和时间序列分析。

Serverless Framework 的部署

我们将使用 Serverless Framework 来部署 Lambda 和 Kinesis 管道。 在开始之前，您需要确保按照 AWS 文档的要求设置您的 AWS 访问凭据。现在，让我们安装和配置 Serverless CLI：

- --- ------- -- ----------
- ---------- ------ ----------- ---------- --- ----- ------------------------ -------- ----------------------------

作为第一步，我们需要将 Serverless Framework 插件视为依赖项，以便能够更轻松地部署 Kinesis 管道。

- --- ----
- --- ------- ------ --------------------------

在这个课程中，我们将处理数据流 Kinesis Firehose。Firehose 是一种 Kinesis 服务，它可以从数据源中不间断地获取数据，并将其发送到目标存储区。这些存储区可以是 Amazon S3、Redshift 或 Elasticsearch 等服务。

- --- ------ -- ---------- -- --------------------------
- -- --------------------------

Lambda 函数

现在，我们将为一个 Serverless Lambda 函数部署一个新服务。这个函数将通过 AWS API Gateway 暴露一个 HTTP 端点，接收推送到 Kinesis Firehose 的数据，并将它们处理为我们所需要的格式。在本例中，使用了 Node.js 运行时和 serverless-http 插件。

使用以下命令来创建 HTTP API Gateway 绑定的 Lambda 函数，并将函数部署到 AWS：

- --- ------ -- ---------- -- ----------
- -- ----------
-------- ----------

---------
  ----- ---
  -------- ----------
  ------- ---------

----------
  ----
    -------- -----------
    -------
      - -----
          ----- -
          ------- ----
          ----- ----

--------
  - ---------------
----- ------ - ------------------

------------------ - ----- ------- -- -
  ----- - ------------------ ------ - - ---------------------

  --------------------- ------- -----------------------
  -------------------- ------------

  ------------------------------ -- -
    ----- ------- - ------------------------ ----------------------------
    ----- ---- - --------------------
    ----- --------- - --------------------------------------------

    ----- ------ - -
      --- --------
      ----------
      -------- -------------
    --

    -----------------------------------------
  ---

  ------ -
    ----------- ----
    ----- -------------------
  --
--

使用 Kinesis Firehose 管道

首先，让我们通过 CloudFormation 声明一个 Firehose Delivery Stream。

----------
  -----------------
    ----- --------------------------------------
    -----------
      ------------------- ------------------------------------------
      ------------------- ---------
      ---------------------------
        -------- ------- ----------------
        ---------- --------------------------------------------------------------
        ------- -------
        ---------------
          ------------------ --
          ---------- -
        ------------------ ----
        -------------------------
          -------- ----
          ------------- --------------------------------
          -------------- ----- ----- ----- ----------------- ------------------

这段 CloudFormation 中的代码创建了一个名为 kinesis-firehose-processor-delivery-stream 的 Kinesis Firehose Stream，它会将记录写入到一个名为 kinesis-firehose-processor-destination-bucket 的 Amazon S3 存储桶中。在 S3DestinationConfiguration 属性中，我们为 S3 存储桶配置了前缀、缓冲配置和压缩格式等设置。

然后，我们需要创建一个 AWS Lambda 来作为 Kinesis Firehose 处理程序。打开 serverless.yml 文件并添加以下内容：

----------
  -----------------
    -------- ------------------------
    -------
      - -------
          ----- ----------------
          ---- ---- ------------------------------------------------------------------------------------------------------------

这会在我们部署的 AWS 存储桶和 Kinesis Firehose Stream 之间建立一个平台。当有新的数据到达 Kinesis Firehose Stream 时，Lambda 函数将自动触发并将数据转换为我们指定的格式，并将其写入到前面声明的 Amazon S3 存储桶中。

----- ---- - ----------------

------------------------------- - ----- ------- -------- -- -
  ----- ------- - ---

  --- ------ ------ -- -------------- -
    ----- ------- - ------------------------ ----------
    ----- ------------ - -------------------------
    ----- ---------- - -------------------------------
    ----- ------- - -----------------------

    ----- ----------- - -
      --- -----------
      -------- ----------------
    --

    ----- ------ - -
      --------- ----------------
      ------- -----
      ----- ------------------------------------------------------------
    --

    ---------------------
  -

  ------ -
    -------- --------
  --
--

结论

AWS 还提供了一些其他的 Stream 服务，例如 Kinesis Analytics、Kinesis Video Streams 等等。Serverless 框架可以帮助我们轻松构建这些流处理管道，让我们将注意力更多地放在数据分析和处理上，而不是架构和管理。本文所述的例子只是 AWS Kinesis 和 Lambda 的一种简单组合，还有许多其他有趣的应用程序等着我们去挖掘。

来源：JavaScript中文网 ，转载请联系管理员！ 本文地址：https://www.javascriptcn.com/post/670254a9d91dce0dc8472295

阅读全文

猜你喜欢

  • Redux 中如何处理网络请求的错误

    在前端开发中，我们经常需要与后端交互，发送网络请求。然而，网络请求并不总是能成功返回数据，有时候会遇到各种错误，比如网络超时、404 等。如何在 Redux 中处理这些网络请求的错误呢？本文将详细介绍...

    12 天前
  • 如何在 Ruby on Rails 项目中使用 Tailwind CSS

    在现代前端开发中，CSS 框架成为了极受欢迎的工具之一，以其快速、灵活、易用和可扩展性受到了广泛的欢迎。Tailwind CSS 是一个相对新的 CSS 框架，它最近越来越受欢迎，它提供了一系列快速而...

    12 天前
  • 如何利用 RxJS 开发复杂的数据处理流

    在前端开发中，数据的处理是至关重要的一部分。而随着前端应用的复杂化，数据流处理也越来越复杂。为了解决这个问题，RxJS（响应式编程）成为了一种流行的解决方案，它可以帮助我们更好地处理数据流。

    12 天前
  • 使用 Promise 封装 AJAX 请求

    在现代 Web 开发中，AJAX 是不可避免的一个关键技术。AJAX 允许我们以异步方式向服务器发送请求，更新页面等等。尽管我们可以在 JavaScript 中使用普通的 xmlhttprequest...

    12 天前
  • 响应式设计中如何实现可折叠性导航栏

    在响应式设计中，一个常见的需求是实现可折叠性导航栏。这样的导航栏在桌面端可以展开显示所有菜单选项，而在移动端则可以折叠起来以节省空间，同时也更加符合移动端的交互习惯。

    12 天前
  • 解决 Kubernetes 中 Pod 资源限制的问题

    当我们在 Kubernetes 中运行一个 Pod 时，我们需要为该 Pod 指定需要的资源量，如 CPU 和内存。这可以通过配置 Pod 的资源限制来完成。但是，如果资源限制设置不当或不合理，可能会...

    12 天前
  • GraphQL 返回错误处理及异常信息解析

    引言 GraphQL 是一种用于 API 的查询语言，它让客户端可以精确地获取所需的数据，避免了过度获取不必要的数据。而当用户发送 GraphQL 查询时，如果查询中存在某些错误，比如字段不存在、类型...

    12 天前
  • Node.js 实现高可用性：使用 PM2

    前言 在当今互联网时代，大多数企业的业务都是通过 Web 应用程序实现的。因此，Web 应用程序的高可用性成为了非常重要的一项指标。目前，Node.js 已成为众多企业在构建 Web 应用程序时的首选...

    12 天前
  • React + Enzyme：如何轻松自定义交互测试

    介绍 随着越来越多的前端项目采用 React 框架开发，对于前端开发测试的需求也越来越迫切。而在 React 中，Enzyme 是一个优秀的测试工具，它让我们能够更轻松地测试 React 组件的交互行...

    12 天前
  • 怎样使用 Mocha和 Sinon.js测试Node.js异步函数

    前言 在开发 Node.js 应用程序时，测试是至关重要的一步。为了确保应用程序的质量和稳定性，我们必须进行全面的测试。本文将讨论如何使用 Mocha 和 Sinon.js 来测试 Node.js 异...

    12 天前
  • Serverless 架构带来的效率提升

    在云计算时代，随着 Serverless 架构的兴起，前端开发者们可以在没有服务器的情况下轻松开发和部署应用程序。Serverless 架构可以使前端开发者完全无需关心服务器资源的管理，而只需要专注于...

    12 天前
  • 如何在 Cypress 中进行快照测试

    如何在 Cypress 中进行快照测试 快照测试是一种常见的前端测试方法，通常用于比较两个版本之间的差异或检查 UI 组件的样式和布局。在 Cypress 中进行快照测试也是十分简单的。

    12 天前
  • 使用 Redux-thunk 实现登录状态验证

    在前端开发中，我们经常需要处理登录状态和权限验证。Redux-thunk 是一个用于管理 Redux 异步操作的中间件，可以很方便地实现登录状态验证和其他异步操作。

    12 天前
  • Jest + Enzyme 实现 React 组件测试

    React 是一个非常流行的前端框架，现在已经成为了许多前端开发人员的首选。但是，如何进行 React 组件测试呢？这里介绍如何使用 Jest 和 Enzyme 进行 React 组件测试。

    12 天前
  • ES7 新增对象的 includes 方法详解

    ES7 新增对象的 includes 方法详解 在 ES2016 (也称为 ES7) 中，新增了 includes 方法，使得在对象中查找值变得更加方便和直观。在本文中，我们将深入学习这个方法，并提供...

    12 天前
  • 使用 Web Components 时如何处理动态载入的组件？

    Web Components 是一种利用 Web 技术构建可重用、独立自我维护的组件的方式。其能够提供一种模块化、可重用和可维护的代码结构，使开发者的工作变得更加高效和简便。

    12 天前
  • 如何使用 Scala 开发 RESTful API

    简介 RESTful API 是一种具有多样性和普适性的 Web API。使用 Scala 语言进行 RESTful API 开发可减少开发时间和减轻负荷。在这篇文章中，我们将会介绍如何使用 Scal...

    12 天前
  • CSS Grid 实现两栏布局

    CSS Grid 实现两栏布局 引言 前端开发中经常需要进行页面布局，两栏布局是常见的一种布局方式，常常用于页面左右分列显示不同的内容。在CSS 2.1时代，我们可以用浮动或定位来实现这一布局方式，但...

    12 天前
  • MongoDB 嵌套数据的查询最佳实践

    在前端开发中，问题往往不止于存储和检索数据，还包括数据结构的设计和明确。MongoDB 数据库为开发人员提供了一种可以存储各种数据类型的灵活文档模型。 然而，随着项目的规模和复杂性增加，需要存储和查询...

    12 天前
  • 解决 Angular 应用程序中的性能问题

    Angular 是一种流行的前端框架，它提供了丰富的功能和组件，使得构建 Web 应用程序变得更加简单和高效。然而，由于应用程序规模和复杂度的不断增加，Angular 应用程序的性能问题也越来越严重。

    12 天前

相关推荐

    暂无文章