From 01c02b60475d94adba2d38662cc255a42ca3c525 Mon Sep 17 00:00:00 2001 From: RifeWang Date: Fri, 25 Oct 2024 22:16:56 +0800 Subject: [PATCH] build my chatgpt --- content/posts/ai/build-my-chatgpt.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/content/posts/ai/build-my-chatgpt.md b/content/posts/ai/build-my-chatgpt.md index 883b70e..cdc6702 100644 --- a/content/posts/ai/build-my-chatgpt.md +++ b/content/posts/ai/build-my-chatgpt.md @@ -87,7 +87,7 @@ server 向 `inference runtime` 发送数据时使用统一的 `prompt` 格式， 在增加缓存时，还需考虑缓存的范围——是单个用户范围，还是全部用户范围。如果是单用户范围，缓存价值可能较小，因为同一个用户反反复复问同一个问题的概率很低；若是全用户范围，则可能涉及到信息泄露，我们不确定另一个用户的回复是否包含敏感信息。 -综上所述，我个人更倾向于不优先考虑缓存，因为缓存的投资收益可能没有想象中的高。当然，这需要进一步数据验证。 +综上所述，我个人建议先做数据分析和验证，之后再考虑是否使用缓存。 ### 弹性伸缩