基于Go发送多种类型图表邮件的探索

基于Go发送多种类型图表邮件的探索

最近需要开发一个报表的功能,这个报表有不同的格式,能够自由的组合形成不同的报表。可能存在以下几种类型,并能通过邮件进行发送。

  • 普通表格
  • 柱状图
  • 折线图
  • 饼图
  • 柱状图和折线图相互混合的情况

需要实现的核心功能点

  1. 页面能够选择不同的组件,能够组装成不同的报表
  2. 报表支持在线查看/修改,以及预览报表能够通过邮件进行发送
  3. 邮件里面的内容和页面的内容最好要保持一致

实现原型图
image.png

前后端实现的方案:
创建/修改方案: 前端针对不同的组件数据,保存对应组件的请求参数,在保存报告的时候,只保存参数。在修改的时候,通过保存的请求参数进行回显并请求接口渲染数据。
预览方案: 携带报告的Id,直接请求后台的数据,得到完整的数据然后进行回显。

邮件发送方案: 通过go-html/template对html进行编译,然后直接填充到邮件内容中发送。但是存在以下问题

  1. 邮件中不能引用外部链接图片,需要把网络引用的图片转换成base64嵌入html中。
  2. 邮件中不能执行js,不能够引用外部的js包。即不能通过前端现有的框架操作html(如echarts)
    问题1比较好解决,但是问题2的话,就比较难了,如何在不使用echars这种前端js库的方式来生成不同类型的图表呢?

查阅网上的资料,有以下几种解决方案:
1、直接使用纯CSS代码来实现图表,代表的开源库有:chartscss: https://chartscss.org/官网的介绍

Charts.css is a modern CSS framework. It uses CSS utility classes to style HTML elements as charts.
翻译如下:
Charts.css 是一个现代的CSS框架。它使用CSS实用程序类将HTML元素设计为图表

听介绍看起来很牛逼,亲自上手试了一下
操作流程也很简单

  1. 把他的CSS代码拷贝到html的style标签中,注意这里不能通过链接引用。
  2. 参考文档,写两个简单的demo例子。
<table class="charts-css bar hide-data">
<caption>
  Bar Example #1 
</caption> 
<tbody>
  <tr>
      <td style="--size: 0.2;"><span class="data"> $ 20K </span></td>
  </tr> 
  <tr>
      <td style="--size: 0.4;"><span class="data"> $ 40K </span></td>
  </tr> 
  <tr>
     ...
</tbody>
</table>

效果图:
image.png

存在的问题:

  • 完全通过html的style参数控制,参数的含义比较难以理解,有一定的学习成本。
  • 实现的图形难以定制,达不到业务的要求,且难以扩展。

2、无头浏览器
后台直接使用无头浏览器获取页面的数据,然后渲染成图片,在邮件中直接渲染成一张图片然后发送。这种方式也有一些问题。

  1. 通过图片发送,就不能复制出页面的内容,交互不够友好
  2. 系统是在公司内网的,不太能够绕过权限验证直接查看到页面,如果需要做,需要对前端工程和网络做特殊处理,然后才能达到对应的效果。

这里使用node 的 puppeteer(https://github.com/puppeteer/puppeteer)做了一个尝试,在加载图片的时候,果然直接到只截图到了登录页面。

const puppeteer = require('puppeteer');

(async () => {
  // 启动chrome浏览器
  const browser = await puppeteer.launch();
  // 创建一个新页面
  const page = await browser.newPage();
  // 页面指向指定网址
  await page.goto('https://xxx.com');
  // 截图
  await page.screenshot({path: 'xxx.png'});
  // 关闭
  await browser.close();
})();

3、通过Go生成图片
通过Go生成不同格式的图片(折线/柱状/饼图等)
不查不知道,Go生成数据图表的框架有很多,名字还很像,简直傻傻分不清。

  • GitHub - wcharczuk/go-chart: go chart is a basic charting library in go
  • GitHub - vicanso/go-charts: A charts library for Golang
  • GitHub - vdobler/chart: Provide basic charts in go
  • GitHub - gonum/plot: A repository for plotting and visualizing data
  • GitHub - go-echarts/go-echarts: 🎨 The adorable charts library for Golang

image.png

我们想直接生成图片,go-echarts就直接被否定了,go-echarts生成的就是一个html,里面引用了echarts的官方库,在我们这种场景就不适用了。

在go-echarts的github讨论区也有很多同学在讨论这个问题:
https://github.com/go-echarts/go-echarts/issues/35

image.png

最后的方案是在go中启动一个chrome浏览器,然后去加载渲染的html

image.png

为了生成一张图片,需要生成html还要启动浏览器去加载对应的代码,实在是有点得不偿失。

go-chart:https://github.com/wcharczuk/go-chart/tree/main

可以实现需求,但是生成的图片就是丑,放张官方图给大家感受一下, 而且这个Y轴的坐标必须在右边,调了很久都没有调整到左边来。
image.png

go-charts: https://github.com/vicanso/go-charts
最后评估完成,还是选择了go-charts,上手难度较低,并且生成的图片还比较美观
官方的图片:
image.png

核心逻辑
以多重折线图为例:

1、数据解析,根据业务实际情况处理数据,并获得以下数据
// legendLabelList: 需要显示的label信息([]string)
// xAxisList: X轴的横坐标([]string)
// values: 需要展示的折线图数据([][]float64)

2、调用Render方法渲染图表
p, _ := charts.LineRender(values, option)

3、自定义输出格式, 我这边直接是转换成base64
buf, _ := p.Bytes()
imgBase64 := imgStrPrefix + base64.StdEncoding.EncodeToString(buf)

4、使用template把生成的字符串嵌入html中即可完成

我们以折线图为例,简单的看一下具体的实现,为什么可以直接生成bytes

1、补充SeriesList相关信息,在上面我们只是输入了数组,但是但是没有设置其他属性。熟悉echarts的同学,都知道,在里面可能还会有其他的一些数据

func LineRender(values [][]float64, opts ...OptionFunc) (*Painter, error) {
    seriesList := NewSeriesListDataFromValues(values, ChartTypeLine)
    return Render(ChartOption{SeriesList: seriesList}, opts...)
}

完整的series数据如下,剩下的都会在代码中自动的补齐。

type Series struct {
    index int
    Type string
    Data []SeriesData
    AxisIndex int
    Style chart.Style
    Label SeriesLabel
    Name string
    Radius string
    MarkPoint SeriesMarkPoint
    MarkLine SeriesMarkLine
    Min *float64
    Max *float64
}

2、在Render函数中做了一些参数检查,补全部分的参数, 并针对不兼容的情况做一些了一些判断。

lineSeriesList := seriesList.Filter(ChartTypeLine)
barSeriesList := seriesList.Filter(ChartTypeBar)
horizontalBarSeriesList := seriesList.Filter(ChartTypeHorizontalBar)
....

if len(horizontalBarSeriesList) != 0 && len(horizontalBarSeriesList) != seriesCount {
    return nil, errors.New("Horizontal bar can not mix other charts")
}
if len(pieSeriesList) != 0 && len(pieSeriesList) != seriesCount {
    return nil, errors.New("Pie can not mix other charts")
}
....

3、最后使用go-chart的框架进行渲染,LineRender返回的是一个*Painter,里面核心的一个字段是chart.Renderer, 已经是go-chart中的一个字段了,进步一追踪下去在保存的方法中,是调用了png的encode方法。

func (rr *rasterRenderer) Save(w io.Writer) error {
    if typed, isTyped := w.(RGBACollector); isTyped {
        typed.SetRGBA(rr.i)
        return nil
    }
    return png.Encode(w, rr.i)
}

在创建的时候也是通过官方库的image进行操作.

i := image.NewRGBA(image.Rect(0, 0, width, height))

总结: 当面试官问起前端图形化,或者用go实现图形化的时候,就可以把整个过程给说出来。
话术:

  1. 起因,因为有发送邮件的需求,在邮件中需要有个性化的图表。
  2. 探索解决方案,使用chart.css/无头浏览器/go生成图片等方案,分析优缺点。
  3. 最后使用了go-charts,它的工作原理是xxx的,最后使用img生成图片,而不是echarts那种直接生成html。

评论

暂无评论