LlamaIndex

LlamaIndex 提供了 OpenAILike，专门用来对接第三方 OpenAI 兼容服务。相比直接用 OpenAI 类，它不会因为模型 ID 不在 OpenAI 官方列表里而报错。

安装依赖

pip install llama-index-llms-openai-like

创建 LLM

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="MODEL_ID",
    api_base="https://console.astermesh.cn/v1",
    api_key=os.environ["ASTERMESH_API_KEY"],
    is_chat_model=True,
    is_function_calling_model=True,
)

response = llm.complete("用一句话介绍 AsterMesh。")
print(response)

把 MODEL_ID 换成控制台模型列表里的完整模型 ID。

两个开关的含义：

• is_chat_model=True：走 /chat/completions 而不是旧的 completion 接口，接 AsterMesh 时必须开。
• is_function_calling_model：模型是否支持工具调用。Claude、GPT 等主流模型填 True；如果模型不支持，改成 False，否则 Agent 场景会报错。

设为全局默认

如果整个应用（索引、查询引擎、Agent）都想用这个模型：

from llama_index.core import Settings

Settings.llm = llm

注意事项

• Embedding 模型需要单独配置，OpenAILike 只覆盖对话模型。
• 如果遇到 model not found，先确认 MODEL_ID 与控制台一致，再确认 api_base 只填到 /v1。