MiniCPM5-1B 轻量 AI 小钢炮全解析 + 零基础本地部署教程

哈喽各位玩本地 AI、折腾大模型的朋友！是不是总觉得本地跑大模型门槛太高？显卡显存不够、模型文件几个 G 下半天、小模型智商拉胯，稍微复杂一点的问题就答不对？

今天给大家带来一款真正的平民神器 —— 面壁智能最新开源的 MiniCPM5-1B，仅仅 10 亿参数，性能直接越级吊打 2B 级别模型，普通笔记本、轻薄本甚至手机都能本地离线跑，全程不用联网，数据完全存在自己电脑里，隐私直接拉满！

本期我分两部分，先给大家讲清楚这款模型到底强在哪，后面手把手带大家完整走一遍本地部署流程，新手跟着敲命令就能成功，全程无难度。

下载自己电脑匹配的模型，然后下载llama.cpp安装包将其解压，将模型放入安装包目录下的models文件夹中，再将启动脚本复制到安装包根目录下，接下来双击打开启动脚本.bat

启动脚本.bat代码：

@echo off
setlocal EnableDelayedExpansion
title MiniCPM5-1B Professional Launcher

:: ==========================
:: Configuration
:: ==========================

set MODEL_DIR=models
set PORT=8080
set CONTEXT=131072

if not exist "llama-server.exe" (
    echo.
    echo ERROR:
    echo llama-server.exe not found.
    pause
    exit
)

:MODEL_MENU

cls
echo ================================================
echo            MiniCPM5-1B Launcher
echo ================================================
echo.
echo Select Model
echo.
echo 1. Q4_K_M  
echo 2. Q8_0
echo 3. F16 (Recommended)
echo.
echo 0. Exit
echo.

set /p MODEL=

if "%MODEL%"=="1" (
set MODEL_FILE=MiniCPM5-1B-Q4_K_M.gguf
goto CHECK_MODEL
)

if "%MODEL%"=="2" (
set MODEL_FILE=MiniCPM5-1B-Q8_0.gguf
goto CHECK_MODEL
)

if "%MODEL%"=="3" (
set MODEL_FILE=MiniCPM5-1B-F16.gguf
goto CHECK_MODEL
)

if "%MODEL%"=="0" exit

goto MODEL_MENU

:CHECK_MODEL

if not exist "%MODEL_DIR%\%MODEL_FILE%" (
echo.
echo Model not found:
echo.
echo %MODEL_DIR%\%MODEL_FILE%
echo.
pause
goto MODEL_MENU
)

:MODE_MENU

cls
echo ================================================
echo            Reasoning Mode
echo ================================================
echo.
echo 1. Think
echo 2. No Think
echo.
echo 0. Back
echo.

set /p MODE=

if "%MODE%"=="1" (
set THINK=1
goto START
)

if "%MODE%"=="2" (
set THINK=0
goto START
)

if "%MODE%"=="0" goto MODEL_MENU

goto MODE_MENU

:START

cls

if "%THINK%"=="1" (
set SYSTEM=You are a helpful AI assistant. Think carefully before answering.
set MODE_NAME=Think
)

if "%THINK%"=="0" (
set SYSTEM=You are a helpful AI assistant. Answer directly without exposing your reasoning.
set MODE_NAME=No Think
)

echo ================================================
echo              Starting Server
echo ================================================
echo.
echo Model   : %MODEL_FILE%
echo Mode    : %MODE_NAME%
echo Context : %CONTEXT%
echo Port    : %PORT%
echo.

echo Local Address:
ipconfig | findstr /R "IPv4"

echo.

start "" http://127.0.0.1:%PORT%

llama-server ^
-m "%MODEL_DIR%\%MODEL_FILE%" ^
-c %CONTEXT% ^
-ngl 999 ^
--flash-attn auto ^
--host 0.0.0.0 ^
--port %PORT% ^
--temp 0.6 ^
--top-p 0.95 ^
--min-p 0.05 ^
--repeat-penalty 1.05 ^
--seed -1

echo.
echo Server Stopped.
pause

接下来选择下载的模型类型（输入数字）：

接下来选择是否开启深度思考（输入数字）：

然后系统会自动打开浏览器，打开后需要等待一会才会加载完成模型：

然后就可以进行对话了。