手写编程语言-如何为 GScript 编写标准库

云原生航海家
• 阅读 3957

版本更新

最近 GScript 更新了 v0.0.11 版本,重点更新了:

  • Docker 运行环境
  • 新增了 byte 原始类型
  • 新增了一些字符串标准库 Strings/StringBuilder
  • 数组切片语法:int[] b = a[1: len(a)];
具体更新内容请看下文。

前言

前段时间发布了 GScript 的在线 playground
手写编程语言-如何为 GScript 编写标准库

这是一个可以在线运行 GScript 脚本的网站,其本质原理是接收用户的输入源码从而在服务器上运行的服务;这简直就是后门大开的 XSS 攻击,为保住服务器我设置了运行 API 的后端服务的用户权限,这样可以避免执行一些恶意的请求。

但也避免不了一些用户执行了一些耗时操作,比如一个死循环、或者是我提供 demo 里的打印杨辉三角。
手写编程语言-如何为 GScript 编写标准库

这本质上是一个递归函数,当打印的三角层数过高时便会非常耗时,同时也非常消耗 CPU。

有几次我去检查服务器时发现了几个 CPU 过高的进程,基本上都是这样的耗时操作,不可避免的会影响到服务器的性能。

使用 Docker

为了解决这类问题,很自然的就能想到可以使用 Docker,所有的资源都和宿主机是隔离开的,无论怎么瞎折腾也不会影响到宿主机。

说干就干,最后修改了 API 执行脚本的地方:

    string fileName = d.unix("Asia/Shanghai") + "temp.gs" ;
    s.writeFile(fileName, body, 438);
    string pwd = s.getwd();
    // string res = s.command("gscript", fileName);
    string res = s.command("docker","run","--rm","-v", pwd+":/usr/src/gscript","-w","/usr/src/gscript", "crossoverjie/gscript","gscript", fileName);
    s.remove(fileName);
    r.body = res;
    r.ast = dumpAST(body);
    r.symbol=dumpSymbol(body);
    ctx.JSON(200, r);

主要修改的就是将直接执行的 GScript 命令修改为了调用 docker 执行。

但其实也还有改进空间,后续新增协程之后可以便可监控运行时间,超时后便会自动 kill 进程。

我也将该 Docker 上传到了 DockerHub,现在大家想在本地体验 GScriptREPL 时也只需要运行Docker 就能使用。

docker pull crossoverjie/gscript
docker run --rm -it  crossoverjie/gscript:latest gscript

手写编程语言-如何为 GScript 编写标准库

当然也可以执行用 Docker 执行 GScript 脚本:

docker run --rm -v $PWD:/usr/src/gscript -w /usr/src/gscript crossoverjie/gscript gscript {yourpath}/temp.gs

手写编程语言-如何为 GScript 编写标准库

编写 GScript 标准库

接下来重点聊聊 GScript 标准库的事情,其实编写标准库是一个费时费力的事情。
手写编程语言-如何为 GScript 编写标准库
现在编译器已经提供了一些可用的内置函数,借由这些内置函数写一些常见的工具类是完全没有问题的。

对写 GScript 标准库感谢的朋友可以当做一个参考,这里我打了一个样,先看下运行效果:

// 字符串工具类
StringBuilder b = StringBuilder();
b.writeString("10");
b.writeString("20");
int l = b.writeString("30");
string s = b.String();
printf("s:%s, len=%d ",s,l);
assertEqual(s,"102030");
byte[] b2 = toByteArray("40");
b.WriteBytes(b2);
s = b.String();
assertEqual(s,"10203040");
println(s);

// Strings 工具类
Strings s = Strings();
string[] elems = {"name=xxx","age=xx"};
string ret = s.join(elems, "&");
println(ret);
assertEqual(ret, "name=xxx&age=xx");

bool b = s.hasPrefix("http://www.xx.com", "http");
println(b);
assertEqual(b,true);
b = s.hasPrefix("http://www.xx.com", "https");
println(b);
assertEqual(b,false);

其中的实现源码基本上是借鉴了 Go 的标准库,先来看看 StringBuilder 的源码:

class StringBuilder{
    byte[] buf = [0]{};

    // append contents to buf, it returns the length of s
    int writeString(string s){
        byte[] temp = toByteArray(s);
        append(buf, temp);
        return len(temp);
    }
    
    // append b to buf, it returns the length of b.
    int WriteBytes(byte[] b){
        append(buf, b);
        return len(b);
    }

    // copies the buffer to a new.
    grow(int n){
        if (n > 0) {
            // when there is not enough space left.
            if (cap(buf) - len(buf) < n) {
                byte[] newBuf = [len(buf), 2*cap(buf)+n]{};
                copy(newBuf, buf);
                buf = newBuf;
            }
        }   
    }

    string String(){
        return toString(buf);
    }
}

主要就是借助了原始的数组类型以及 toByteArray/toString 字节数组和字符串的转换函数实现的。

class Strings{
    // concatenates the elements of its first argument to create a single string. The separator
    // string sep is placed between elements in the resulting string.
    string join(string[] elems, string sep){
        if (len(elems) == 0) {
            return "";
        }
        if (len(elems) == 1) {
            return elems[0];
        }
        
        byte[] bs = toByteArray(sep);
        int n = len(bs) * (len(elems) -1);
        for (int i=0; i < len(elems); i++) {
            string s = elems[i];
            byte[] bs = toByteArray(s);
            n = n + len(bs);
        }
        
        StringBuilder sb = StringBuilder();
        sb.grow(n);
        string first = elems[0];
        sb.writeString(first);

        string[] remain = elems[1:len(elems)];
        for(int i=0; i < len(remain); i++){
            sb.writeString(sep);
            string r = remain[i];
            sb.writeString(r);
        }
        return sb.String();

    }
    
    // tests whether the string s begins with prefix.
    bool hasPrefix(string s, string prefix){
        byte[] bs = toByteArray(s);
        byte[] bp = toByteArray(prefix);    
        return len(bs) >= len(bp) && toString(bs[0:len(bp)]) == prefix;
    }
}

Strings 工具类也是类似的,都是一些内置函数的组合运用;

在写标准库的过程中还会有额外收获,可以再次阅读一遍 Go 标准库的实现流程,换了一种语法实现出来,会加深对 Go 标准库的理解。

所以欢迎感兴趣的朋友向 GScript 贡献标准库,由于我个人精力有限,实现过程中可能会发现缺少某些内置函数或数据结构,这也没关系,反馈 issue 后我会尽快处理。

由于目前 GScript 还不支持包管理,所以新增的函数可以创建 Class 来实现,后续支持包或者是 namespace 之后直接将该 Class 迁移过去即可。

本文相关资源链接

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
Wesley13 Wesley13
4年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
4年前
Kerberos无约束委派的攻击和防御
 0x00前言简介当ActiveDirectory首次与Windows2000Server一起发布时,Microsoft就提供了一种简单的机制来支持用户通过Kerberos对Web服务器进行身份验证并需要授权用户更新后端数据库服务器上的记录的方案。这通常被称为Kerberosdoublehopissue(双跃点问题),
Wesley13 Wesley13
4年前
VBox 启动虚拟机失败
在Vbox(5.0.8版本)启动Ubuntu的虚拟机时,遇到错误信息:NtCreateFile(\\Device\\VBoxDrvStub)failed:0xc000000034STATUS\_OBJECT\_NAME\_NOT\_FOUND(0retries) (rc101)Makesurethekern
Easter79 Easter79
4年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
4年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Stella981 Stella981
4年前
AOSuite V3.0 发布,开源JavaEE快速开发平台
AOSuiteV3.0发布了,这个版本包含11 个新增/修复/优化。版本变更日志1、【修复】修复了Httpclient工具类设置连接超时时间和等待响应时间无效的bug。2、【新增】新引入了标准标签中的fn标签库和fmt标签库。3、【新增】在表格管理中加入了表格列分割线的范例。4、【优化】将代码生成器生成的\\Dao.xml中
Stella981 Stella981
4年前
Linux日志安全分析技巧
0x00前言我正在整理一个项目,收集和汇总了一些应急响应案例(不断更新中)。GitHub地址:https://github.com/Bypass007/EmergencyResponseNotes本文主要介绍Linux日志分析的技巧,更多详细信息请访问Github地址,欢迎Star。0x01日志简介Lin
Python进阶者 Python进阶者
2年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
云原生航海家
云原生航海家
Lv1
为了赞美而去修行,有如被践踏的香花美草。
文章
4
粉丝
0
获赞
0