Serverless Inference

import openai

client = openai.OpenAI(
    # 맞춤형 기본 URL은 Serverless Inference를 가리킵니다
    base_url='https://api.inference.wandb.ai/v1',

    # https://forge.coreweave.com/settings 에서 API 키를 생성하세요
    api_key="[YOUR-API-KEY]",

    # 선택: 사용량 추적을 위한 팀 및 프로젝트
    project="[YOUR-TEAM]/[YOUR-PROJECT]",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)