[infra] change download functions to consume CKAN endpoint

[lucascr91]

#1129

• search
• list_datasets
• list_dataset_tables
• get_dataset_description
• get_table_description
• get_table_columns
• Test para _safe_fetch

Segue uma breve descrição das alterações feitas em cada uma das funções. Procurei manter funcionalidades e parâmetros da função original, quando possível.

search:

Ver: #1016

list_datasets e list_dataset_tables

Assim como as funções originais, as novas funções têm os parâmetros with_description e verbose, como os mesmos defaults. O retorno das funções também guarda semelhança com o retorno das funções originais. Por default, as funções retornam um output padronizada pela função _print_output. Alternativamente, as funções podem retornar o resultado em uma lista, usando verbose=False.

get_dataset_description, get_table_description, get_table_columns

Mantive as funcionalidades originais e poucas alterações foram feitas nos testes.

Tests

Para facilitar os testes das funções alteradas nesse PR, escrevi um bash:

functionsToTest=(test_list_datasets_simple_verbose test_list_datasets_simple_list test_list_datasets_complete_list test_list_datasets_complete_verbose test_list_dataset_tables_simple_verbose test_list_dataset_tables_simple_list test_list_dataset_tables_complete_list test_list_dataset_tables_complete_verbose test_get_dataset_description test_get_dataset_description_verbose_false test_get_table_description test_get_table_description_verbose_false test_get_table_columns test_get_table_columns_verbose_false test_search)

for function in "${functionsToTest[@]}"
do 
    pytest test_metadata.py -k $function -v
done

[lucascr91]

Esse PR foi transferido para #1129