搭建ChatGPT服务,并使用APISIX进行接口的限流保护

融资困难
• 阅读 192
在云端部署一个 ChatGPT API 服务,并用 APISIX 进行安全的保护,要求提供架构图和 demo 配置(无需提供所有实现代码,演示代码即可)


一. 搭建 chatgpt 服务


(1). 注册 openai 并获取 apikey。注册方式较简单,接收验证码这一步,需要使用国外的接码平台,预计花费 1-2 元。

获取 apikey

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

(2).其实只是调用 https://api.openai.com/v1/chat/completions

前端做一个输入框,用于输入问题,以及展示返回的内容

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

搭建ChatGPT服务,并使用APISIX进行接口的限流保护


这个服务暴露出去后,可能会被滥用,下面用 apisix 为该服务添加限流等安全防护




二. 安装并使用 apisix 进行 api 的保护


https://apisix.apache.org/zh/docs/apisix/installation-guide/

https://apisix.apache.org/zh/docs/apisix/tutorials/protect-api/

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

过程中如有报错,根据报错信息相应解决。

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

搭建ChatGPT服务,并使用APISIX进行接口的限流保护


apisix 提供了很多插件,如认证,限流,可观测性,以下以限流为例,通过 dashboard 进行可视化的操作(也可以通过接口)

和之前前司使用 Sentinel 在应用内做的限流相比,使用 apisix,可以在更前面统一做限流操作,不进入业务层。

但限流底层的几种算法大同小异,可参考[之前的文章]


http://127.0.0.1:9000/user/login?redirect=%2Fuser%2Flogin

默认账号/密码为 admin/admin

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

搭建ChatGPT服务,并使用APISIX进行接口的限流保护


搭建ChatGPT服务,并使用APISIX进行接口的限流保护

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

提交后执行 curl 127.0.0.1:9090/v1/schema > schema.json

此时 5s 内连续请求接口超过一次,会返回 503 错误码及配置的错误信息

搭建ChatGPT服务,并使用APISIX进行接口的限流保护



以上是较简单的 单机限流 demo,如果要做集群级别的限流,需要引入集中式的存储如 redis



参考

https://apisix.apache.org/articles/Speed-Limiting-With-Apache...

相比于 nginx,openresty 等 比较有意思的点:

apisix 支持可视化的插件编排,低代码化,让插件之间的关系更直观配置更简单

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

此过程中 apisix 相较 nginx 的优势:

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

请求会先经过一个 ip 限制插件,会判断流量是内网还是外网,如果是内网 ip 则使用内网专用的限流配置,实现精细化限流;借助 redis,实现集群级的限流

通过以下几种方式,实现动态无需 reload 即可生效的配置变更 (底层应该是借助 etcd)

搭建ChatGPT服务,并使用APISIX进行接口的限流保护

(这几张图片来自网络分享,源地址已不可考。。)

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
美凌格栋栋酱 美凌格栋栋酱
7个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
AWS国庆双重礼,仅限7天
自2021年10月1日00:00起至2021年10月7日24:00,新注册并激活(需全部完成账号注册的五个步骤,否则账号状态并未激活)AWS海外区域账户,填写页面下方表单,即可申领价值$200美元的AWS海外区域账户服务抵扣券直充到您的账户,用以抵扣服务消费,助您轻松体验多个云迁移应用场景。同时,您还可获赠AWS精美祥云纪念T恤一件。,仅限7天$20
Wesley13 Wesley13
3年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
PHP创建多级树型结构
<!lang:php<?php$areaarray(array('id'1,'pid'0,'name''中国'),array('id'5,'pid'0,'name''美国'),array('id'2,'pid'1,'name''吉林'),array('id'4,'pid'2,'n
Wesley13 Wesley13
3年前
Java日期时间API系列36
  十二时辰,古代劳动人民把一昼夜划分成十二个时段,每一个时段叫一个时辰。二十四小时和十二时辰对照表:时辰时间24时制子时深夜11:00凌晨01:0023:0001:00丑时上午01:00上午03:0001:0003:00寅时上午03:00上午0
AWS国庆双重礼,仅限7天
自2021年10月1日00:00起至2021年10月7日24:00,新注册并激活(需全部完成账号注册的五个步骤,否则账号状态并未激活)AWS海外区域账户,填写页面下方表单,即可申领价值$200美元的AWS海外区域账户服务抵扣券直充到您的账户,用以抵扣服务消费,助您轻松体验多个云迁移应用场景。同时,您还可获赠。国庆双重礼,仅限7天$200美元AWS服务抵