[infra] Adiciona suporte a Avro e Parquet (cont.)

[isadorabugarin]

Esse PR é uma continuação do PR #1100

Replicação do texto do PR original

Motivação

• Formatos de arquivo com tamanho reduzido e tempos de leitura menores implicam:
  • Menor espaço necessário para armazenamento
  • Menor tempo de processamento
  • Consequentemente, menores custos

Modificações

• Corrige dependência inconsistente:
  • Para o extra "dev" era google-cloud-bigquery = "1.28.0"
  • Para o pacote em si, google-cloud-bigquery = "2.30.1"
  • Coloquei ambos como google-cloud-bigquery = "2.30.1"
• Adiciona dependência pandavro para lidar com a interface Pandas <-> Avro
• Adiciona suporte a Apache Avro e Apache Parquet para tabelas externas
  • O default continua sendo CSV para compatibilidade
• Corrige a falta do argumento source_format na chamada to Table.init

TODO @isadorabugarin

• Criar testes
• Revisar implementação

[lucascr91]

Os testes precisam ser pré-fixados com a palavra test. Ver página 287 na documentação do pytest (https://buildmedia.readthedocs.org/media/pdf/pytest/latest/pytest.pdf).

def table_create_all_implemented_source_format(table, path, source_format):
    table.delete(mode="all")

    table.create(
        path=path,
        if_storage_data_exists="pass",
        if_table_config_exists="pass",
        source_format=source_format,
    )
    assert table_exists(table, "staging")


def table_create_not_implemented_source_format(table):

    with pytest.raises(NotImplementedError):
        table.create(
            if_table_exists="replace",
            if_storage_data_exists="pass",
            if_table_config_exists="pass",
            source_format="json",
        )

python-package/tests/test_table.py (Lines 227-247)

[lucascr91]

Parabéns pelo trabalho. O único reparo mesmo foi a formatação dos testes. Se possível, adicione um snippet no PR apenas mostrando como você fez teste.