Spark modus - Parquet-kilde

Metadata

Metadata for parkettdatasett utledes fra skjemaet.

Slags

Trevas konverterer mellom parketttyper og typer som støttes av Trevas-motoren.

Roller

VTL-roller legges til av Trevas til Parkett-skjemaet, ved å legge til en vtlRole metadata til hver feltbeskrivelse.

Som standard vil kolonner uten rolle i Parkett-skjemaet ha rollen 'MEASURE' i Trevas.

VTL lar roller utvikle seg innenfor skript (se her)

Lesning

Dataset<Row> sparkDataset = spark.read().parquet("folder_path");
SparkDataset dataset = new SparkDataset(sparkDataset);

Skriving

// Trevas Spark Dataset
SparkDataset dataset = ...;

// Spark Dataset
Dataset<Row> sparkDataset = dataset.getSparkDataset();

sparkDataset.write()
            .mode(SaveMode.Overwrite)
            .parquet("folder_path");