请教：请问gemini中GPT示例代码中的placement为cuda、cpu、auto、const分别代表什么意思啊 #4029
Unanswered
yangyang-win
asked this question in
Community | Q&A
Replies: 1 comment 1 reply
-
|
cuda是指运算都在GPU，cpu是会loadoff optimizer到cpu，auto是只根据内存使用自行判断是否loadoff, const限制cuda可使用的大小是512M |
Beta Was this translation helpful? Give feedback.
1 reply
-
|
谢谢您的回复，不过我还是有一些疑问。1、这个auto策略只是判断是否卸载到cpu吗，我的意思是它只负责判断卸载（即此时等于CPU策略）或者不卸载（此时等于GPU策略）2、我看对应的文档表示的是auto策略会在运行过程中动态调整GPU中的内存占用，但是我实际运行的时候发现auto和cpu两种策略的内存使用情况并无太大差别。这是什么原因呢 |
Beta Was this translation helpful? Give feedback.
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
请教：请问gemini中GPT示例代码中的placement为cuda、cpu、auto、const分别代表什么意思啊，是代表将激活卸载到对应的设备上吗，但是我通过运行cpu策略和auto策略发现两者的内存使用情况非常类似，几乎是一样的，有大佬解答一下疑惑吗，看源码感觉太复杂了
Beta Was this translation helpful? Give feedback.
All reactions