diff --git a/llama_cpp_chatbot.py b/llama_cpp_chatbot.py index 6bbf260..66e0980 100644 --- a/llama_cpp_chatbot.py +++ b/llama_cpp_chatbot.py @@ -5,7 +5,7 @@ import llama_cpp # Create a new Llama object -llama_obj = llama_cpp.Llama(model_path=file, verbose=False) +llama_obj = llama_cpp.Llama(model_path=file, verbose=False, n_ctx=2048) # REPL loop while True: @@ -19,7 +19,7 @@ try: # Evaluate the input using the llama_obj tokens = llama_obj.tokenize(user_input.encode()) - for token in llama_obj.generate(tokens, top_k=40, top_p=0.95, temp=1.0, repeat_penalty=1.1): + for token in llama_obj.generate(tokens, top_k=40, top_p=0.95, temp=0.7, repeat_penalty=1.1): print(llama_obj.detokenize([token]).decode(), end="", flush=True) print() except BaseException as e: