오픈 소스 모델

오픈 소스 게이트웨이는 OpenAI 호환 채팅 응답을 유지하면서 나열된 표준 모델 ID를 검증된 사용자 지정 추론 제공자에게 라우팅합니다.

#요청하기

curl https://api.agihalo.com/qwen/v1/chat/completions \
  -H "Authorization: Bearer $HALO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen/qwen3.6-35b-a3b",
    "messages": [{"role": "user", "content": "Reply with OK"}],
    "max_tokens": 16,
    "stream": false
  }'

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.HALO_API_KEY,
  baseURL: "https://api.agihalo.com/v1",
});

const response = await client.chat.completions.create({
  model: "qwen/qwen3.6-35b-a3b",
  messages: [{ role: "user", content: "Reply with OK" }],
});

This SDK base URL accepts configured OpenAI and official DeepSeek model IDs as well as listed open-model IDs. HALO selects exactly one runtime from the canonical model value.

#런타임 계약

• 텍스트 전용 메시지 및 표시되는 보조 출력.
• n 및 best_of(있는 경우)가 있어야 합니다. 1.
• 도구, 기능 선언, 도구 역할 메시지, 오디오, 이미지 및 다중 모드 콘텐츠는 공급자 파견 전에 거부됩니다.
• 런타임은 stream: false 로 정규화되고 출력은 32,768개 토큰으로 제한됩니다.

#모델 계열

생산 카탈로그 그룹은 Qwen, Llama, DeepSeek, Kimi, Mistral, Gemma, GLM, MiniMax, Nemotron, MiMo, GPT-OSS 및 AllenAI 제품군. 현재 프로젝트에 표시되는 ID를 보려면 대시보드의 모델 페이지를 사용하세요.

Family-bound base URLs are /qwen/v1,/llama/v1, /deepseek/v1,/kimi/v1, /mistral/v1,/gemma/v1, /glm/v1,/minimax/v1, /nemotron/v1,/mimo/v1, /gpt-oss/v1, and/allenai/v1. A family URL rejects a canonical model ID belonging to another family.

#추론 제공

OpenAI 호환 HTTPS 엔드포인트를 운영하는 경우 등록하기 전에 Keeper 계약을 읽어보세요. 모델 검색, 기준 확인, 제한된 상태 프로브, 결정적 측정 및 지불 규칙이 적용됩니다.