接入ChatGPT API的实用技巧
最近帮几个客户做了ChatGPT的接入,总结了一些实用经验,分享给大家。
1. 控制Token用量
调用API按Token计费,控制用量很重要:
# 限制回复长度
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=messages,
max_tokens=500 # 限制最大token
)
2. 设置合理的超时时间
API有时候响应会比较慢,建议设置超时:
import openai
openai.api_request_timeout = 30 # 30秒超时
3. 做好错误处理
网络问题、限流等都可能导致调用失败:
try:
response = openai.ChatCompletion.create(...)
except openai.error.RateLimitError:
# 触发限流,稍后重试
time.sleep(60)
except openai.error.APIError:
# API错误,记录日志
logging.error("API调用失败")
4. 使用流式输出提升体验
用户等待时间长的话体验不好,可以用流式输出:
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=messages,
stream=True # 开启流式
)
for chunk in response:
print(chunk.choices[0].delta.content, end="")
5. 做好敏感词过滤
上线前一定要做好内容审核,避免不当内容。
以上是一些基础的经验,更多细节可以联系我们交流。