update readme

This commit is contained in:
Hongji Zhu 2025-01-14 07:47:56 +00:00
parent 80e6e3fba3
commit 23376ffe9c

View File

@ -8,7 +8,7 @@ tasks:
<h1>端侧可用的 GPT-4o 级视觉、语音、多模态流式大模型</h1>
[GitHub](https://github.com/OpenBMB/MiniCPM-V) | Online Demo [CN](https://minicpm-omni-webdemo.modelbest.cn)/[US](https://minicpm-omni-webdemo-us.modelbest.cn) </a>
[GitHub](https://github.com/OpenBMB/MiniCPM-o) | Online Demo [CN](https://minicpm-omni-webdemo.modelbest.cn)/[US](https://minicpm-omni-webdemo-us.modelbest.cn) </a>
## MiniCPM-o 2.6
@ -32,7 +32,7 @@ MiniCPM-o 2.6 进一步优化了 MiniCPM-V 2.6 的众多视觉理解能力,其
- 💫 **易于使用。**
MiniCPM-o 2.6 可以通过多种方式轻松使用:(1) [llama.cpp](https://github.com/OpenBMB/llama.cpp/blob/minicpm-omni/examples/llava/README-minicpmo2.6.md) 支持在本地设备上进行高效的 CPU 推理,(2) [int4](https://huggingface.co/openbmb/MiniCPM-V-2_6-int4) 和 [GGUF](https://huggingface.co/openbmb/MiniCPM-V-2_6-gguf) 格式的量化模型,有 16 种尺寸,(3) [vLLM](#vllm-部署-) 支持高吞吐量和内存高效的推理,(4) 通过[LLaMA-Factory](./docs/llamafactory_train.md)框架针对新领域和任务进行微调,(5) 使用 [Gradio](#本地-webui-demo-) 快速设置本地 WebUI 演示,(6) 部署于[国内](https://minicpm-omni-webdemo.modelbest.cn/
MiniCPM-o 2.6 可以通过多种方式轻松使用:(1) [llama.cpp](https://github.com/OpenBMB/llama.cpp/blob/minicpm-omni/examples/llava/README-minicpmo2.6.md) 支持在本地设备上进行高效的 CPU 推理,(2) [int4](https://huggingface.co/openbmb/MiniCPM-o-2_6-int4) 和 [GGUF](https://huggingface.co/openbmb/MiniCPM-o-2_6-gguf) 格式的量化模型,有 16 种尺寸,(3) [vLLM](#vllm-部署-) 支持高吞吐量和内存高效的推理,(4) 通过[LLaMA-Factory](./docs/llamafactory_train.md)框架针对新领域和任务进行微调,(5) 使用 [Gradio](#本地-webui-demo-) 快速设置本地 WebUI 演示,(6) 部署于[国内](https://minicpm-omni-webdemo.modelbest.cn/
) 或 [国外](https://minicpm-omni-webdemo-us.modelbest.cn/)服务器的在线 demo。
@ -43,13 +43,13 @@ MiniCPM-o 2.6 可以通过多种方式轻松使用:(1) [llama.cpp](https://git
- **可配置的声音方案。** 我们设计了包含传统文本系统提示词和**用于指定模型声音的语音系统提示词**结构。从而,模型可在推理时灵活地通过文字或语音样例控制声音风格,支持声音克隆和声音生成等高级能力。
<div align="center">
<img src="https://github.com/openbmb/MiniCPM-V/blob/main/assets/minicpm-o-26-framework.png?raw=true" , width=80%>
<img src="https://github.com/openbmb/MiniCPM-o/raw/main/assets/minicpm-o-26-framework.png" , width=80%>
</div>
### 性能评估 <!-- omit in toc -->
<div align="center">
<img src="https://github.com/openbmb/MiniCPM-V/blob/main/assets/radar.png", width=70%>
<img src="https://github.com/openbmb/MiniCPM-o/raw/main/assets/radar.png", width=70%>
</div>
<details>
@ -907,9 +907,9 @@ MiniCPM-o 2.6 可以通过多种方式轻松使用:(1) [llama.cpp](https://git
<div style="display: flex; flex-direction: column; align-items: center;">
<img src="https://github.com/openbmb/MiniCPM-V/blob/main/assets/minicpmo2_6/minicpmo2_6_math_intersect.png" alt="math" style="margin-bottom: 5px;">
<img src="https://github.com/openbmb/MiniCPM-V/blob/main/assets/minicpmo2_6/minicpmo2_6_diagram_train_NN.png" alt="diagram" style="margin-bottom: 5px;">
<img src="https://github.com/openbmb/MiniCPM-V/blob/main/assets/minicpmo2_6/minicpmo2_6_multi-image_bike.png" alt="bike" style="margin-bottom: 5px;">
<img src="https://github.com/openbmb/MiniCPM-o/raw/main/assets/minicpmo2_6/minicpmo2_6_math_intersect.png" alt="math" style="margin-bottom: 5px;">
<img src="https://github.com/openbmb/MiniCPM-o/raw/main/assets/minicpmo2_6/minicpmo2_6_diagram_train_NN.png" alt="diagram" style="margin-bottom: 5px;">
<img src="https://github.com/openbmb/MiniCPM-o/raw/main/assets/minicpmo2_6/minicpmo2_6_multi-image_bike.png" alt="bike" style="margin-bottom: 5px;">
</div>
@ -1343,7 +1343,7 @@ print(answer)
```
</details>
Please look at [GitHub](https://github.com/OpenBMB/MiniCPM-V) for more detail about usage.
Please look at [GitHub](https://github.com/OpenBMB/MiniCPM-o) for more detail about usage.
## llama.cpp推理 <a id="llamacpp"></a>
敬请期待