数字紫霄渡的头像 ID: 34311055936

数字紫霄渡

HelloWorld 社区成员

3247989695

文章3
个人网站0
加入社区2025

使用ExLlamaV2量化并运行EXL2模型

量化大型语言模型(llm)是减少这些模型大小和加快推理速度的最流行的方法。在这些技术中,GPTQ在gpu上提供了惊人的性能。与非量化模型相比,该方法使用的VRAM几乎减少了3倍,同时提供了相似的精度水平和更快的生成速度。ExLlamaV2是一个旨在从GPTQ中挤出更多性能的库。由于新的内核,它还

JavaScript函数整理

JavaScript函数函数基本概念函数就是一段可以重复使用的代码块,用于完成特定的功能,能执行任意次。函数是一个Function类型的对象,他有自己的属性和方法。包括两个重要的内置属性。arguments函数的参数this调用上下文JavaScr

js中DOM事件探究

事件纲要理解事件流使用事件处理程序不同的事件类型javascript和html的交互是通过事件实现的。事件就是文档或浏览器窗口发生的一些特定交互瞬间。可以使用侦听器(事件处理程序)预定事件,以便事件发生时执行相应的代码。1事件流