Skip to content

Commit

Permalink
build my chatgpt
Browse files Browse the repository at this point in the history
  • Loading branch information
RifeWang committed Oct 25, 2024
1 parent 31d924d commit 01c02b6
Showing 1 changed file with 1 addition and 1 deletion.
2 changes: 1 addition & 1 deletion content/posts/ai/build-my-chatgpt.md
Original file line number Diff line number Diff line change
Expand Up @@ -87,7 +87,7 @@ server 向 `inference runtime` 发送数据时使用统一的 `prompt` 格式,

在增加缓存时,还需考虑缓存的范围——是单个用户范围,还是全部用户范围。如果是单用户范围,缓存价值可能较小,因为同一个用户反反复复问同一个问题的概率很低;若是全用户范围,则可能涉及到信息泄露,我们不确定另一个用户的回复是否包含敏感信息。

综上所述,我个人更倾向于不优先考虑缓存,因为缓存的投资收益可能没有想象中的高。当然,这需要进一步数据验证
综上所述,我个人建议先做数据分析和验证,之后再考虑是否使用缓存

### 弹性伸缩

Expand Down

0 comments on commit 01c02b6

Please sign in to comment.