Random Access9 charts

Random Access Performance

#1lance367.86 us1.00x
#2vortex-file-compressed2.99 ms8.12x
#3parquet8.67 s23564.95x
Random access time | Ratio to fastest (lower is better)
Y

feature-vectors/correlated

Show
Y

feature-vectors/uniform

Show
Y

nested-lists/correlated

Show
Y

nested-lists/uniform

Show
Y

nested-structs/correlated

Show
Y

nested-structs/uniform

Show
Y

taxi

Show
Y

taxi/correlated

Show
Y

taxi/uniform

Show
Y
Compression17 charts

Compression Throughput vs Parquet

Write Speed (Compression)2.44x
📤Scan Speed (Decompression)15.18x
Inverse geomean of Vortex/Parquet ratios (higher is better)
Y
Compression Size25 charts

Compression Size Summary

⬇️Min Size Ratio0.56x
📊Mean Size Ratio1.07x
⬆️Max Size Ratio1.38x
Geomean of Vortex/Parquet size ratios (lower is better)
Y

arade

Show
Y

bimbo

Show
Y

clickbench

Show
Y

cmsprovider

Show
Y

euro2016

Show
Y

fineweb

Show
Y

food

Show
Y

hashtags

Show
Y

polarsignals/1000000

Show
Y

statpopgen/100000

Show
Y

taxi

Show
Y

tpc-h l_comment canonical

Show
Y

tpc-h l_comment chunked

Show
Y

tpcds

Show
Y

tpch

Show
Y

tpch/10

Show
Y

tpch/100

Show
Y

wide table cols=10 chunks=1 rows=1000

Show
Y

wide table cols=10 chunks=50 rows=1000

Show
Y

wide table cols=100 chunks=1 rows=1000

Show
Y

wide table cols=100 chunks=50 rows=1000

Show
Y

wide table cols=1000 chunks=1 rows=1000

Show
Y

wide table cols=1000 chunks=50 rows=1000

Show
Y

wide table cols=10000 chunks=1 rows=1000

Show
Y

wide table cols=10000 chunks=50 rows=1000

Show
Y
Clickbench43 charts

Performance Summary

#1duckdb:vortex-file-compressed1.21x13.75 s
#2datafusion:vortex-file-compressed1.23x15.03 s
#3datafusion:parquet1.61x20.55 s
#4duckdb:parquet1.63x17.40 s
#5duckdb:duckdb1.64x16.56 s
#6datafusion:vortex-compact1.75x20.01 s
#7duckdb:vortex-compact1.82x18.45 s
#8datafusion:lance10.87x96.33 s
Geomean of query time ratio to fastest (lower is better)
Y

Q0

Show
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y

Q9

Show
Y

Q10

Show
Y

Q11

Show
Y

Q12

Show
Y

Q13

Show
Y

Q14

Show
Y

Q15

Show
Y

Q16

Show
Y

Q17

Show
Y

Q18

Show
Y

Q19

Show
Y

Q20

Show
Y

Q21

Show
Y

Q22

Show
Y

Q23

Show
Y

Q24

Show
Y

Q25

Show
Y

Q26

Show
Y

Q27

Show
Y

Q28

Show
Y

Q29

Show
Y

Q30

Show
Y

Q31

Show
Y

Q32

Show
Y

Q33

Show
Y

Q34

Show
Y

Q35

Show
Y

Q36

Show
Y

Q37

Show
Y

Q38

Show
Y

Q39

Show
Y

Q40

Show
Y

Q41

Show
Y

Q42

Show
Y
TPC-H (NVMe) (SF=1)22 charts

Performance Summary

#1duckdb:duckdb1.09x596.21 ms
#2duckdb:vortex-file-compressed1.37x752.55 ms
#3datafusion:vortex-file-compressed1.61x894.37 ms
#4datafusion:vortex-compact1.75x941.10 ms
#5duckdb:vortex-compact1.79x959.19 ms
#6datafusion:arrow1.98x1.21 s
#7duckdb:parquet3.13x1.78 s
#8datafusion:parquet3.77x1.98 s
#9datafusion:lance4.25x2.56 s
Geomean of query time ratio to fastest (lower is better)
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y

Q9

Show
Y

Q10

Show
Y

Q11

Show
Y

Q12

Show
Y

Q13

Show
Y

Q14

Show
Y

Q15

Show
Y

Q16

Show
Y

Q17

Show
Y

Q18

Show
Y

Q19

Show
Y

Q20

Show
Y

Q21

Show
Y

Q22

Show
Y
TPC-H (S3) (SF=1)22 charts

Performance Summary

#1datafusion:lance1.15x7.69 s
#2datafusion:vortex-compact1.37x8.65 s
#3datafusion:parquet1.39x8.80 s
#4datafusion:vortex-file-compressed1.47x9.32 s
#5duckdb:vortex-file-compressed2.27x14.88 s
#6duckdb:vortex-compact2.29x14.91 s
#7duckdb:parquet3.12x19.67 s
Geomean of query time ratio to fastest (lower is better)
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y

Q9

Show
Y

Q10

Show
Y

Q11

Show
Y

Q12

Show
Y

Q13

Show
Y

Q14

Show
Y

Q15

Show
Y

Q16

Show
Y

Q17

Show
Y

Q18

Show
Y

Q19

Show
Y

Q20

Show
Y

Q21

Show
Y

Q22

Show
Y
TPC-H (NVMe) (SF=10)22 charts

Performance Summary

#1duckdb:duckdb1.10x2.77 s
#2duckdb:vortex-file-compressed1.21x3.29 s
#3duckdb:vortex-compact1.58x4.29 s
#4datafusion:vortex-file-compressed1.90x5.78 s
#5duckdb:parquet2.19x5.52 s
#6datafusion:vortex-compact2.26x6.51 s
#7datafusion:parquet3.14x8.05 s
#8datafusion:arrow5.19x16.23 s
#9datafusion:lance9.83x28.23 s
Geomean of query time ratio to fastest (lower is better)
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y

Q9

Show
Y

Q10

Show
Y

Q11

Show
Y

Q12

Show
Y

Q13

Show
Y

Q14

Show
Y

Q15

Show
Y

Q16

Show
Y

Q17

Show
Y

Q18

Show
Y

Q19

Show
Y

Q20

Show
Y

Q21

Show
Y

Q22

Show
Y
TPC-H (S3) (SF=10)22 charts

Performance Summary

#1datafusion:vortex-file-compressed1.12x18.19 s
#2datafusion:vortex-compact1.15x18.82 s
#3duckdb:vortex-file-compressed1.41x23.61 s
#4duckdb:vortex-compact1.45x24.10 s
#5datafusion:parquet1.49x25.40 s
#6datafusion:lance2.18x43.02 s
#7duckdb:parquet2.25x36.88 s
Geomean of query time ratio to fastest (lower is better)
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y

Q9

Show
Y

Q10

Show
Y

Q11

Show
Y

Q12

Show
Y

Q13

Show
Y

Q14

Show
Y

Q15

Show
Y

Q16

Show
Y

Q17

Show
Y

Q18

Show
Y

Q19

Show
Y

Q20

Show
Y

Q21

Show
Y

Q22

Show
Y
TPC-H (NVMe) (SF=100)22 charts

Performance Summary

#1duckdb:vortex-file-compressed1.05x34.75 s
#2duckdb:parquet1.34x40.54 s
#3datafusion:vortex-file-compressed1.80x69.40 s
#4datafusion:parquet2.39x79.85 s
Geomean of query time ratio to fastest (lower is better)
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y

Q9

Show
Y

Q10

Show
Y

Q11

Show
Y

Q12

Show
Y

Q13

Show
Y

Q14

Show
Y

Q15

Show
Y

Q16

Show
Y

Q17

Show
Y

Q18

Show
Y

Q19

Show
Y

Q20

Show
Y

Q21

Show
Y

Q22

Show
Y
TPC-H (S3) (SF=100)22 charts

Performance Summary

#1datafusion:vortex-file-compressed1.10x115.20 s
#2duckdb:vortex-file-compressed1.15x119.48 s
#3duckdb:parquet1.84x193.12 s
#4datafusion:parquet2.07x216.86 s
Geomean of query time ratio to fastest (lower is better)
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y

Q9

Show
Y

Q10

Show
Y

Q11

Show
Y

Q12

Show
Y

Q13

Show
Y

Q14

Show
Y

Q15

Show
Y

Q16

Show
Y

Q17

Show
Y

Q18

Show
Y

Q19

Show
Y

Q20

Show
Y

Q21

Show
Y

Q22

Show
Y
TPC-DS (NVMe) (SF=1)99 charts

Performance Summary

#1duckdb:duckdb1.12x3.26 s
#2duckdb:vortex-file-compressed1.40x3.66 s
#3duckdb:parquet1.41x3.85 s
#4datafusion:vortex-file-compressed1.86x7.23 s
#5datafusion:parquet1.92x6.05 s
#6duckdb:vortex-compact2.10x5.39 s
#7datafusion:vortex-compact2.46x8.73 s
Geomean of query time ratio to fastest (lower is better)
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y

Q9

Show
Y

Q10

Show
Y

Q11

Show
Y

Q12

Show
Y

Q13

Show
Y

Q14

Show
Y

Q15

Show
Y

Q16

Show
Y

Q17

Show
Y

Q18

Show
Y

Q19

Show
Y

Q20

Show
Y

Q21

Show
Y

Q22

Show
Y

Q23

Show
Y

Q24

Show
Y

Q25

Show
Y

Q26

Show
Y

Q27

Show
Y

Q28

Show
Y

Q29

Show
Y

Q30

Show
Y

Q31

Show
Y

Q32

Show
Y

Q33

Show
Y

Q34

Show
Y

Q35

Show
Y

Q36

Show
Y

Q37

Show
Y

Q38

Show
Y

Q39

Show
Y

Q40

Show
Y

Q41

Show
Y

Q42

Show
Y

Q43

Show
Y

Q44

Show
Y

Q45

Show
Y

Q46

Show
Y

Q47

Show
Y

Q48

Show
Y

Q49

Show
Y

Q50

Show
Y

Q51

Show
Y

Q52

Show
Y

Q53

Show
Y

Q54

Show
Y

Q55

Show
Y

Q56

Show
Y

Q57

Show
Y

Q58

Show
Y

Q59

Show
Y

Q60

Show
Y

Q61

Show
Y

Q62

Show
Y

Q63

Show
Y

Q64

Show
Y

Q65

Show
Y

Q66

Show
Y

Q67

Show
Y

Q68

Show
Y

Q69

Show
Y

Q70

Show
Y

Q71

Show
Y

Q72

Show
Y

Q73

Show
Y

Q74

Show
Y

Q75

Show
Y

Q76

Show
Y

Q77

Show
Y

Q78

Show
Y

Q79

Show
Y

Q80

Show
Y

Q81

Show
Y

Q82

Show
Y

Q83

Show
Y

Q84

Show
Y

Q85

Show
Y

Q86

Show
Y

Q87

Show
Y

Q88

Show
Y

Q89

Show
Y

Q90

Show
Y

Q91

Show
Y

Q92

Show
Y

Q93

Show
Y

Q94

Show
Y

Q95

Show
Y

Q96

Show
Y

Q97

Show
Y

Q98

Show
Y

Q99

Show
Y
appian [nvme]8 charts
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y
clickbench-sorted [nvme]10 charts
Y

Q23

Show
Y

Q24

Show
Y

Q26

Show
Y

Q36

Show
Y

Q37

Show
Y

Q38

Show
Y

Q39

Show
Y

Q40

Show
Y

Q41

Show
Y

Q42

Show
Y
fineweb [nvme]9 charts
Y

Q0

Show
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y
fineweb [s3]9 charts
Y

Q0

Show
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y
polarsignals [nvme]10 charts

Performance Summary

#1datafusion:vortex-file-compressed1.00x1.27 s
Geomean of query time ratio to fastest (lower is better)
Y

Q0

Show
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y

Q9

Show
Y
statpopgen [nvme]11 charts

Performance Summary

#1duckdb:vortex-file-compressed1.02x8.39 s
#2duckdb:vortex-compact1.71x10.54 s
#3duckdb:parquet2.52x10.99 s
Geomean of query time ratio to fastest (lower is better)
Y

Q0

Show
Y

Q1

Show
Y

Q2

Show
Y

Q3

Show
Y

Q4

Show
Y

Q5

Show
Y

Q6

Show
Y

Q7

Show
Y

Q8

Show
Y

Q9

Show
Y

Q10

Show
Y