diff --git a/qwen3.5-397B-A17B-IQ4_KSS.sh b/qwen3.5-397B-A17B-IQ4_KSS.sh index dd809eb..19932aa 100755 --- a/qwen3.5-397B-A17B-IQ4_KSS.sh +++ b/qwen3.5-397B-A17B-IQ4_KSS.sh @@ -19,7 +19,7 @@ docker container create --name $CONT_NAME --network llms -p $PORT:$PORT -v $MODE --health-cmd "curl -f http://$CONT_NAME:$PORT/v1/models || exit 1" \ --health-interval 5s \ --health-timeout 5s \ - --health-start-period 20s \ + --health-start-period 50s \ $IMAGE \ /ik_llama.cpp/build/bin/llama-server \ --model /model/$MODEL \ @@ -28,7 +28,7 @@ docker container create --name $CONT_NAME --network llms -p $PORT:$PORT -v $MODE -ngl 999 \ --n-cpu-moe 38 \ --parallel 2 --threads 32 \ - -cram 32768 -cram-n-min 128 -crs .9 --ctx-checkpoints 512 \ + --cache-ram 0 \ --host $CONT_NAME \ --port $PORT --jinja --no-mmap