Commit 534dba3e authored by Jan Kiene's avatar Jan Kiene
Browse files

Merge branch 'experiment_tests' into 'main' 

Add first config files for experiments

See merge request !47
parents ece769a3 54539fb6

.gitlab-ci.yml

+26 −0
Original line number Diff line number Diff line
@@ -6,6 +6,16 @@ default: 
  interruptible: true





workflow:

  rules:

    # see https://docs.gitlab.com/ee/ci/yaml/workflow.html#switch-between-branch-pipelines-and-merge-request-pipelines

    - if: $CI_COMMIT_BRANCH && $CI_OPEN_MERGE_REQUESTS && $CI_PIPELINE_SOURCE == "push"

      when: never

    - if: $CI_PIPELINE_SOURCE == 'merge_request_event'

    - if: $CI_PIPELINE_SOURCE == 'push'

    - if: $CI_PIPELINE_SOURCE == 'web' # for testing





stages:

  - check

  - test
@@ -57,9 +67,23 @@ test_audiotools_convert: 
    - *print-common-info

    - python3 -m pytest -n auto tests/test_audiotools_convert.py



# run the test configs for the selection experiments

experiments:

  stage: test

  tags:

    - linux

  script:

    - *print-common-info

    - *get-codec-binaries

    - python3 -m pytest -n auto tests/test_experiments.py



# run some test configs for item creation

test_processing:

  stage: test

  rules:

    - if: $CI_PIPELINE_SOURCE == 'merge_request_event'

    - if: $CI_PIPELINE_SOURCE == 'push'

      when: never

  tags:

    - linux

  script:
@@ -73,6 +97,7 @@ test_processing: 


lint:

  stage: analyze

  needs: []

  tags:

    - linux

  allow_failure: true
@@ -81,6 +106,7 @@ lint: 


format:

  stage: analyze

  needs: []

  variables:

    ARTIFACT_BASE_NAME: "mr-$CI_MERGE_REQUEST_IID--sha-$CI_COMMIT_SHORT_SHA--formatting-fix"

    ARTIFACT_FOLDER: "formatting-patch"

experiments/selection/BS1534-1a/config/BS1534-1a.yml

0 → 100644
+96 −0
Original line number Diff line number Diff line 
---

################################################

# General configuration

################################################



name: BS1534-1a

master_seed: 5

prerun_seed: 2



input_path: "experiments/selection/BS1534-1a/proc_input"

output_path: "experiments/selection/BS1534-1a/proc_output"



################################################

### Input configuration

################################################

input:

    fmt: "STEREO"

    fs: 48000



################################################

### Pre-processing on individual items

################################################

preprocessing:

    mask: "20KBP"

    loudness: -26

    window: 100



################################################

### Pre-processing on whole signal(s)

################################################

preprocessing_2:

    concatenate_input: true

    # concatenation_order: []

    preamble: 10000

    preamble_noise: true



#################################################

### Bitstream processing

#################################################



################################################

### Configuration for conditions under test

################################################

conditions_to_generate:

    ### Reference and anchor conditions ##########################

    c01:

        type: ref

    c02:

        type: lp7k



    ### EVS condition ################################

    c03:

        type: evs

        bitrates:

            - 24400

        cod:

            opts: ["-max_band", "FB"]

        dec:

    c04:

        type: evs

        bitrates:

            - 32000

        cod:

            opts: ["-max_band", "FB"]

        dec:

    c05:

        type: evs

        bitrates:

            - 48000

        cod:

            opts: ["-max_band", "FB"]

        dec:



    ### IVAS condition ###############################

    c06:

        type: ivas

        bitrates:

            - 48000

        cod:

        dec:

            fmt: "STEREO"

    c7:

        type: ivas

        bitrates:

            - 64000

        cod:

        dec:

            fmt: "STEREO"



################################################

### Post-processing

################################################

postprocessing:

    fmt: "STEREO"

    fs: 48000

    loudness: -26

experiments/selection/BS1534-1b/config/BS1534-1b.yml

0 → 100644
+111 −0
Original line number Diff line number Diff line 
---

################################################

# General configuration

################################################



name: BS1534-1b

master_seed: 5

prerun_seed: 2



input_path: "experiments/selection/BS1534-1b/proc_input"

output_path: "experiments/selection/BS1534-1b/proc_output"



################################################

### Input configuration

################################################

input:

    fmt: "STEREO"

    fs: 48000



################################################

### Pre-processing on individual items

################################################

preprocessing:

    mask: "20KBP"

    loudness: -26

    window: 100



################################################

### Pre-processing on whole signal(s)

################################################

preprocessing_2:

    concatenate_input: true

    # concatenation_order: []

    preamble: 10000

    preamble_noise: true



#################################################

### Bitstream processing

#################################################



################################################

### Configuration for conditions under test

################################################

conditions_to_generate:

    ### Reference and anchor conditions ##########################

    c01:

        type: ref

    c02:

        type: lp7k



    ### EVS condition ################################

    c03:

        type: evs

        bitrates:

            - 48000

        cod:

            opts: ["-max_band", "FB"]

        dec:

        tx:

            type: "FER"

            error_rate: 5

    c04:

        type: evs

        bitrates:

            - 64000

        cod:

            opts: ["-max_band", "FB"]

        dec:

        tx:

            type: "FER"

            error_rate: 5

    c05:

        type: evs

        bitrates:

            - 96000

        cod:

            opts: ["-max_band", "FB"]

        dec:

        tx:

            type: "FER"

            error_rate: 5



    ### IVAS condition ###############################

    c06:

        type: ivas

        bitrates:

            - 96000

        cod:

        dec:

            fmt: "STEREO"

        tx:

            type: "FER"

            error_rate: 5

    c7:

        type: ivas

        bitrates:

            - 128000

        cod:

        dec:

            fmt: "STEREO"

        tx:

            type: "FER"

            error_rate: 5



################################################

### Post-processing

################################################

postprocessing:

    fmt: "STEREO"

    fs: 48000

    loudness: -26

experiments/selection/BS1534-2a/config/BS1534-2a.yml

0 → 100644
+99 −0
Original line number Diff line number Diff line 
---

################################################

# General configuration

################################################



name: BS1534-2a

master_seed: 5

prerun_seed: 2



input_path: "experiments/selection/BS1534-2a/proc_input"

output_path: "experiments/selection/BS1534-2a/proc_output"



################################################

### Input configuration

################################################

input:

    fmt: "5_1"

    fs: 48000



################################################

### Pre-processing on individual items

################################################

preprocessing:

    mask: "20KBP"

    loudness: -26

    window: 100



################################################

### Pre-processing on whole signal(s)

################################################

preprocessing_2:

    concatenate_input: true

    # concatenation_order: []

    preamble: 10000

    preamble_noise: true



#################################################

### Bitstream processing

#################################################



################################################

### Configuration for conditions under test

################################################

conditions_to_generate:

    ### Reference and anchor conditions ##########################

    c01:

        type: ref

    c02:

        type: lp7k



    ### EVS condition ################################

    c03:

        type: evs

        bitrates:

            - 13200

        cod:

            opts: ["-max_band", "FB"]

        dec:

        evs_lfe_9k6bps_nb: true

    c04:

        type: evs

        bitrates:

            - 16400

        cod:

            opts: ["-max_band", "FB"]

        dec:

        evs_lfe_9k6bps_nb: true

    c05:

        type: evs

        bitrates:

            - 24400

        cod:

            opts: ["-max_band", "FB"]

        dec:

        evs_lfe_9k6bps_nb: true



    ### IVAS condition ###############################

    c06:

        type: ivas

        bitrates:

            - 64000

        cod:

        dec:

            fmt: "5_1"

    c07:

        type: ivas

        bitrates:

            - 96000

        cod:

        dec:

            fmt: "5_1"



################################################

### Post-processing

################################################

postprocessing:

    fmt: "5_1"

    fs: 48000

    loudness: -26

experiments/selection/BS1534-2b/config/BS1534-2b.yml

0 → 100644
+99 −0
Original line number Diff line number Diff line 
---

################################################

# General configuration

################################################



name: BS1534-2b

master_seed: 5

prerun_seed: 2



input_path: "experiments/selection/BS1534-2b/proc_input"

output_path: "experiments/selection/BS1534-2b/proc_output"



################################################

### Input configuration

################################################

input:

    fmt: "5_1"

    fs: 48000



################################################

### Pre-processing on individual items

################################################

preprocessing:

    mask: "20KBP"

    loudness: -26

    window: 100



################################################

### Pre-processing on whole signal(s)

################################################

preprocessing_2:

    concatenate_input: true

    # concatenation_order: []

    preamble: 10000

    preamble_noise: true



#################################################

### Bitstream processing

#################################################



################################################

### Configuration for conditions under test

################################################

conditions_to_generate:

    ### Reference and anchor conditions ##########################

    c01:

        type: ref

    c02:

        type: lp7k



    ### EVS condition ################################

    c03:

        type: evs

        bitrates:

            - 24400

        cod:

            opts: ["-max_band", "FB"]

        dec:

        evs_lfe_9k6bps_nb: true

    c04:

        type: evs

        bitrates:

            - 32000

        cod:

            opts: ["-max_band", "FB"]

        dec:

        evs_lfe_9k6bps_nb: true

    c05:

        type: evs

        bitrates:

            - 48000

        cod:

            opts: ["-max_band", "FB"]

        dec:

        evs_lfe_9k6bps_nb: true



    ### IVAS condition ###############################

    c06:

        type: ivas

        bitrates:

            - 128000

        cod:

        dec:

            fmt: "5_1"

    c07:

        type: ivas

        bitrates:

            - 160000

        cod:

        dec:

            fmt: "5_1"



################################################

### Post-processing

################################################

postprocessing:

    fmt: "5_1"

    fs: 48000

    loudness: -26