使用 Serverless 架构实现数据分析和可视化

阅读时长 13 分钟读完

Serverless 是一个相对较新且备受关注的云计算架构，它的主要特点是无须关注服务器硬件环境、操作系统和网络等基础设施，同时具有弹性、高可扩展性和运行成本低廉的优势。在此基础上，我们可以使用 Serverless 架构对数据进行分析和可视化，使得数据分析和产生见解的过程更加高效和便捷。本文将带大家深入了解使用 Serverless 架构实现数据分析和可视化的方法和步骤，并给出示例代码和实际应用案例。

准备工作

在开始本文所述的 Serverless 架构实现数据分析和可视化的过程之前，需要先准备好以下环境和工具。

  • Amazon Web Services (AWS) 或 Google Cloud Platform (GCP) 云平台账号
  • Python 编程语言（建议使用 Python 3.x）
  • AWS Lambda 或 Google Cloud Functions
  • AWS API Gateway 或 Google Cloud Endpoints
  • 数据库服务（如 Amazon RDS 或 Google Cloud SQL）
  • 数据分析和可视化工具（如 Pandas、Matplotlib、Plotly 等）

架构设计

Serverless 架构最重要的特点是把服务器管理交由云服务商，具体而言，我们可以使用 AWS Lambda 或 Google Cloud Functions 功能来实例化和管理我们的代码。这里我们以 AWS Lambda 为例进行介绍。

<image>

如上图所示，我们可以设计如下的 Serverless 架构来实现数据分析和可视化：用户访问前端网站，前端网站调用 AWS API Gateway 中的 RESTful API，RESTful API 调用 AWS Lambda 函数，AWS Lambda 函数调用后端数据库服务获取数据，将获取的数据进行分析可视化之后返回到前端网站。这里我们使用 Pandas 和 Plotly 进行数据分析和可视化。下文将分别介绍各部分的实现细节。

架构实现

1. 搭建 AWS RDS 数据库

对于需要进行数据分析和可视化的数据，我们需要先将其存储到数据库中，这里我们使用的是 Amazon RDS 服务。在此之前，我们需要先登录到 AWS 控制台，找到 RDS 服务页面，创建一个新的数据库实例。具体操作步骤如下：

  1. 登录到 AWS 控制台，找到 RDS 服务页面；
  2. 点击左侧菜单栏中的“数据库”按钮，选择“数据库实例”；
  3. 点击“创建数据库实例”按钮，选择需要使用的数据库引擎，这里我们使用的是 Postgres；
  4. 配置数据库实例的各项参数，包括实例规模、数据库版本、网络配置等；
  5. 设置数据库的认证名称和密码；
  6. 点击“创建数据库实例”按钮，等待数据库实例创建完毕。

2. 实现 AWS Lambda 函数

在本步骤中，我们将实现一个 AWS Lambda 函数，用于对数据库中的数据进行分析和可视化。代码实现细节如下：

-- -------------------- ---- -------
- ---------
------ ------ -- --
------ ----------------- -- --
------ --------- -- ---
------ --------
---- -- ------ -------

- ---------
------- - --------------
------- - --------------
------- - --------------
----------- - ------------------
------- - --------------

- ---------
--- --------------------
    ---- - ------------------------------ ------------- --------------- ------------- ---------------------
    ------ ----

- ---------
--- -----------
    ---- - -------------------
    ----- - ---
        ------ --------- --------- --------
        ---- -----------
    ---
    ---- - ------------------ -----
    ------ ----

- ------------
--- -------------------
    - ----- ------ - ------ --------------
    ------ ---

- ------------
--- -------------------
    --------- - ---------
    -------------------- ---------- -------------
    ------ --------------------

- --- ------ ----
--- --------------------- ---------
    - ----
    ---- - ----------
    - ---------
    --- - ------------------
    - ------------
    --------- - ------------------
    - --------
    ------ -
        ---------- -
            --------------- -----------
        --
        ------------- ----
        ------- ---------
    -

在以上代码中，我们首先导入了需要使用的库和模块，分别是 Pandas、Plotly、psycopg2 和 BytesIO，其中 psycopg2 模块是 Python 与 PostgreSQL 数据库进行交互的标准模块。之后我们定义了一些常量，如数据库连接参数和数据库查询语句等，并实现了创建和数据库的连接、从数据库中获取数据、分析数据生成图表和将图表转换为二进制流数据的几个函数。其中，分析数据生成图表的细节因数据类型的不同而有所区别，可以根据实际情况进行调整。

最后我们实现了 AWS Lambda 函数的执行函数，执行函数会先调用获取数据的函数，随后根据数据分析和生成图表，将图表转换为二进制流数据，并返回二进制流数据。在本例中，我们将图表转换为 PNG 格式的二进制流数据，作为服务端的响应数据使用。

3. 实现 AWS API Gateway

在完成了 AWS Lambda 函数的实现之后，我们需要将其暴露为一个 RESTful API，这里我们使用 AWS API Gateway 来实现。具体步骤如下：

  1. 登录到 AWS 控制台，找到 API Gateway 服务页面；
  2. 点击左侧菜单栏中的“REST API”按钮，选择“新建 API”；
  3. 选择“REST API”并选择“HTTP API”，命名 API 并选择 HTTP API 协议；
  4. 在“整合 Lambda 函数”选项卡中，选择设置为新建的 Lambda 函数；
  5. 点击“创建”按钮，等待 API Gateway API 创建成功。

4. 实现前端网站

对于前端网站的实现，我们这里不进行深入讲解，参考者可以选择自己熟悉的前端框架来实现。在本例中，我们需要使用 RESTful API，因此需要掌握如何使用 JavaScript 或 Python 等语言来调用 RESTful API，并使用响应数据进行页面渲染。下文给出使用 Python 调用 RESTful API 并在 Web 页面中显示图表的示例代码。

-- -------------------- ---- -------
- ---------
------ --------
------ ------
---- -- ------ -------
---- --- ------ -----
------ ----------------- -- ---

- -- --- ------- - ---
------- - ----------------------

- -- --- ------ ------------
--- -----------------
    -------- - ---------------------
    --------- - ----------------------------------
    --- - ------------------------------
    ------ ---

- - --- ----------
--- ------------
    --- - ----------------
    --- - ------------
    ---------------------
    --------------------
    ---------------
    ----------

在以上代码中，我们首先导入了需要使用的库和模块，分别是 requests、base64、BytesIO、PIL 和 matplotlib，其中 requests 模块是 Python 的网络请求库，PIL 是 Python 的图像处理库，matplotlib 是 Python 的绘图库。之后我们定义了一个常量，即 AWS Lambda 函数的 API Gateway 的 URL，并实现了两个函数，分别是调用 AWS Lambda 函数并获得图表数据的函数和在 Web 页面中绘制图表的函数。在本例中，我们使用了 matplotlib 绘制图表，并在 Web 页面中进行显示。

实际案例

在实现完以上 Serverless 架构实现数据分析和可视化的方法和步骤之后，我们可以考虑应用到实际的项目中。本节将介绍一个基于 Serverless 架构实现数据分析和可视化的实际案例：使用 AWS Lambda、API Gateway 和 RDS 服务对电子商务交易数据进行分析和可视化。

我们的目标是对电子商务交易数据进行分析，得出一些有用的商业见解，并可视化展现出来。对于电商数据，我们可以从平台商城或者第三方数据提供商获取。获取到数据后，我们将其存储到 AWS RDS 服务中，并使用 Serverless 架构进行数据分析和可视化，最终将结果呈现在一个 Web 页面中。下面是一些示例的电商数据，我们将其存储到 AWS RDS 中供后续使用。

<image>

我们将电商交易数据中的商品分类、商品销量和商品价格等信息进行了整理，并使用 Pandas 和 Plotly 进行图表生成和可视化展示。具体的图表和代码实现见下面的示例。在本例中，我们使用了 AWS Lambda 和 API Gateway 服务，并使用 Plotly 绘制图表，调用 RESTful API 并使用 Flask 框架作为前端 Web 应用。

示范代码

-- -------------------- ---- -------
- ---------
------ ------ -- --
------ ----------------- -- --
------ --------- -- ---
---- -- ------ -------
------ --------

- -- ----- ----
---- ----- ------ ------ --------- ---------------

--- - ---------------

- ---------
------- - --------------
------- - --------------
------- - --------------
----------- - ------------------
------- - --------------

- ---------
--- --------------------
    ---- - ------------------------------ ------------- --------------- ------------- ---------------------
    ------ ----

- ---------
--- -----------
    ---- - -------------------
    ----- - ---
        ------ --------- ---------- -- ------ ---------- -- ---------
        ---- ---------------
        ----- -- --------
    ---
    ---- - ------------------ -----
    ------ ----

- ------------
--- -------------------
    ------ - -------------------------- ---------------- -------------
    ------ - ------------------------------ -------------------- --------- ------- -----------
    ------ - ----------
        ----------------- ----- ----------
        -----------
            -------------
        --
        ------------
            ---------- -------
            ---------------
            ------------
        -
    -
    --- - ----------------------- -------- --------------
    ------ ---

- ------------
--- -------------------
    --------- - ---------
    -------------------- ---------- -------------
    ------ --------------------

- ----- --- ---------
---------------
--- --------
    ------ -----------------------------

---------------------------
--- -------
    - ----
    ---- - ----------
    - ---------
    --- - ------------------
    - ------------
    --------- - ------------------
    - --------------------- --- ---------
    ------ ------------------- ---------------------

-- -------- -- -----------
    -------------------

在以上代码中，我们首先导入了需要使用的库和模块，包括 Pandas、Plotly、psycopg2、BytesIO 和 Flask 等。其中，Flask 是一个 Python Web 应用框架，可以用来实现前端网站和 Web API 等应用。之后我们定义了一些常量，如数据库连接参数和数据库查询语句等，并实现了创建和数据库的连接、从数据库中获取数据、分析数据生成图表和将图表转换为二进制流数据的几个函数。其中，分析数据生成图表的细节因数据类型的不同而有所区别，可以根据实际情况进行调整。

最后我们使用 Flask 进行 Web 应用框架的路由定义，即在 /api/plot.png 路径下暴露生成图片的 RESTful API，使用 index.html 文件作为前端首页模板。运行 Web 应用程序后可以在浏览器中输入 http://localhost:5000/ 访问我们的应用，最终结果是如下图所示的交易数据的可视化展示。

<image>

结论

本文介绍了使用 Serverless 架构实现数据分析和可视化的方法和步骤，并给出示例代码和实际应用案例。在此过程中，我们使用了 AWS Lambda、API Gateway 和 RDS 等服务，并使用 Pandas 和 Plotly 作为数据处理和可视化工具。在应用时，我们需要根据实际情况进行具体的架构设计和代码实现，结合前端框架和 Web 应用程序，实现通过 Serverless 架构实现高效、可扩展、低成本的数据分析和可视化。

来源：JavaScript中文网 ，转载请注明来源 https://www.javascriptcn.com/post/66f4e387c5c563ced5664e84

纠错
反馈
相关推荐
精选内容