Skip to content

Commit

Permalink
Test update model.yaml
Browse files Browse the repository at this point in the history
  • Loading branch information
@nguyenhoangthuan99
nguyenhoangthuan99 committed Sep 16, 2024
1 parent de1d506 commit 0e30ebb
Showing 1 changed file with 10 additions and 10 deletions.
20 changes: 10 additions & 10 deletions .github/workflows/update-model-yml.yml
View file
Original file line number Diff line number Diff line change
Expand Up @@ -64,25 +64,25 @@ jobs:
- name: Quantize and Upload
run: |
mkdir -p /mnt/models/${{ env.MODEL_NAME }}/yaml/q2-k/
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q2-k/model.yml --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q2-k ${{ env.KEY_VALUE_PAIRS }}
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q2-k/ --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q2-k ${{ env.KEY_VALUE_PAIRS }}
mkdir -p /mnt/models/${{ env.MODEL_NAME }}/gguf/q3-ks/
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q3-ks/model.yml --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q3-ks ${{ env.KEY_VALUE_PAIRS }}
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q3-ks/ --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q3-ks ${{ env.KEY_VALUE_PAIRS }}
mkdir -p /mnt/models/${{ env.MODEL_NAME }}/gguf/q3-km/
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q3-km/model.yml --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q3-km ${{ env.KEY_VALUE_PAIRS }}
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q3-km/ --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q3-km ${{ env.KEY_VALUE_PAIRS }}
mkdir -p /mnt/models/${{ env.MODEL_NAME }}/gguf/q3-kl/
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q3-kl/model.yml --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q3-kl ${{ env.KEY_VALUE_PAIRS }}
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q3-kl/ --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q3-kl ${{ env.KEY_VALUE_PAIRS }}
mkdir -p /mnt/models/${{ env.MODEL_NAME }}/gguf/q4-ks/
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q4-ks/model.yml --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q4-ks ${{ env.KEY_VALUE_PAIRS }}
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q4-ks/ --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q4-ks ${{ env.KEY_VALUE_PAIRS }}
mkdir -p /mnt/models/${{ env.MODEL_NAME }}/gguf/q4-km/
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q4-km/model.yml --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q4-km ${{ env.KEY_VALUE_PAIRS }}
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q4-km/ --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q4-km ${{ env.KEY_VALUE_PAIRS }}
mkdir -p /mnt/models/${{ env.MODEL_NAME }}/gguf/q5-ks/
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q5-ks/model.yml --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q5-ks ${{ env.KEY_VALUE_PAIRS }}
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q5-ks/ --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q5-ks ${{ env.KEY_VALUE_PAIRS }}
mkdir -p /mnt/models/${{ env.MODEL_NAME }}/gguf/q5-km/
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q5-km/model.yml --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q5-km ${{ env.KEY_VALUE_PAIRS }}
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q5-km/ --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q5-km ${{ env.KEY_VALUE_PAIRS }}
mkdir -p /mnt/models/${{ env.MODEL_NAME }}/gguf/q6-k/
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q6-k/model.yml --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q6-k ${{ env.KEY_VALUE_PAIRS }}
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q6-k/ --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q6-k ${{ env.KEY_VALUE_PAIRS }}
mkdir -p /mnt/models/${{ env.MODEL_NAME }}/gguf/q8-0/
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q8-0/model.yml --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q8-0 ${{ env.KEY_VALUE_PAIRS }}
python3 scripts/update_model_yaml.py --repo_id "${{ env.USER_NAME }}/${{ env.TARGET_MODEL_ID }}" --filename model.yml --save_path /mnt/models/${{ env.MODEL_NAME }}/yaml/q8-0/ --key_value_pairs name=${{ env.TARGET_MODEL_ID }}:${{ env.SOURCE_MODEL_SIZE }}-gguf-q8-0 ${{ env.KEY_VALUE_PAIRS }}
- name: Upload to Hugging Face
run: |
Expand Down

0 comments on commit 0e30ebb

Please sign in to comment.