部署价值190万的昇腾910B1 - 8卡64G服务器部署QWen3-235B

体验价值190万的昇腾910B1 - 8卡64G服务器部署QWen3-235B: 
内存: 1.5T 

cpu: 192核

显存: 8卡64G

价格: 180~190 W

用了几天时间, 基本部署好了, 32B 与 235B 的qwen模型 用起来还是很流畅的

写个脚本试用一下: 

from openai import OpenAI
client = OpenAI(
    api_key="测试",
    base_url="http://localhost:1025/v1/"
)

def send_message_to_bot(message):
    response = client.chat.completions.create(
        messages=[
            {'role': 'user', 'content': message},
        ],
        model='qwen3',  # 调用的模型
        stream=True  # True 是流式返回，False是非流式返回
    )

    for chunk in response:
        print(chunk.choices[0].delta.content, end="", flush=True)


print("开始与AI聊天 (输入'exit'退出)")
while True:
    user_input = input("你: ")
    if user_input.lower() == 'exit':
        break
    print("AI: ", send_message_to_bot(user_input))