llama2-webui是一个公共的GitHub代码库,用于在GPU或CPU上从任何地方运行具有gradio用户界面的Llama 2(一个用于自然语言处理的模型)。它支持Llama-2-7B/13B/70B模型,可以使用8位和4位精度。同时支持GPU推理(6GB VRAM)和CPU推理。
相关导航
暂无评论...
llama2-webui是一个公共的GitHub代码库,用于在GPU或CPU上从任何地方运行具有gradio用户界面的Llama 2(一个用于自然语言处理的模型)。它支持Llama-2-7B/13B/70B模型,可以使用8位和4位精度。同时支持GPU推理(6GB VRAM)和CPU推理。