Clean up Parquet reader file headers (#7414)

Summary: Pull Request resolved: #7414 Test Plan: bypass-github-export-checks Reviewed By: Yuhta Differential Revision: D51040600 Pulled By: xiaoxmeng fbshipit-source-id: 2b8306427fde8086d5c4f12d038b1b8764a93acb
facebookincubator · Nov 7, 2023 · 33538dd · 33538dd
1 parent 9e8e6ae
commit 33538dd
Show file tree

Hide file tree

Showing 19 changed files with 65 additions and 41 deletions.
diff --git a/velox/dwio/parquet/reader/IntegerColumnReader.h b/velox/dwio/parquet/reader/IntegerColumnReader.h
@@ -17,7 +17,6 @@
 #pragma once
 
 #include "velox/dwio/common/SelectiveIntegerColumnReader.h"
-#include "velox/dwio/parquet/reader/ParquetColumnReader.h"
 
 namespace facebook::velox::parquet {
 

diff --git a/velox/dwio/parquet/reader/NestedStructureDecoder.cpp b/velox/dwio/parquet/reader/NestedStructureDecoder.cpp
@@ -16,7 +16,6 @@
 
 #include "velox/dwio/parquet/reader/NestedStructureDecoder.h"
 
-#include "velox/common/base/Exceptions.h"
 #include "velox/dwio/common/BufferUtil.h"
 
 namespace facebook::velox::parquet {

diff --git a/velox/dwio/parquet/reader/PageReader.cpp b/velox/dwio/parquet/reader/PageReader.cpp
@@ -15,18 +15,13 @@
  */
 
 #include "velox/dwio/parquet/reader/PageReader.h"
-#include "velox/common/compression/LzoDecompressor.h"
+
 #include "velox/dwio/common/BufferUtil.h"
 #include "velox/dwio/common/ColumnVisitors.h"
-#include "velox/dwio/parquet/reader/NestedStructureDecoder.h"
 #include "velox/dwio/parquet/thrift/ThriftTransport.h"
 #include "velox/vector/FlatVector.h"
 
-#include <lz4.h>
-#include <snappy.h>
-#include <thrift/protocol/TCompactProtocol.h> //@manual
-#include <zlib.h>
-#include <zstd.h>
+#include <thrift/protocol/TCompactProtocol.h> // @manual
 
 namespace facebook::velox::parquet {
 

diff --git a/velox/dwio/parquet/reader/PageReader.h b/velox/dwio/parquet/reader/PageReader.h
@@ -16,7 +16,6 @@
 
 #pragma once
 
-#include <arrow/util/rle_encoding.h>
 #include "velox/common/compression/Compression.h"
 #include "velox/dwio/common/BitConcatenation.h"
 #include "velox/dwio/common/DirectDecoder.h"
@@ -26,7 +25,8 @@
 #include "velox/dwio/parquet/reader/ParquetTypeWithId.h"
 #include "velox/dwio/parquet/reader/RleBpDataDecoder.h"
 #include "velox/dwio/parquet/reader/StringDecoder.h"
-#include "velox/vector/BaseVector.h"
+
+#include <arrow/util/rle_encoding.h>
 
 namespace facebook::velox::parquet {
 

diff --git a/velox/dwio/parquet/reader/ParquetColumnReader.cpp b/velox/dwio/parquet/reader/ParquetColumnReader.cpp
@@ -19,15 +19,15 @@
 //
 
 #include "velox/dwio/parquet/reader/ParquetColumnReader.h"
+
 #include "velox/dwio/common/SelectiveColumnReaderInternal.h"
 #include "velox/dwio/parquet/reader/BooleanColumnReader.h"
 #include "velox/dwio/parquet/reader/FloatingPointColumnReader.h"
 #include "velox/dwio/parquet/reader/IntegerColumnReader.h"
 #include "velox/dwio/parquet/reader/RepeatedColumnReader.h"
+#include "velox/dwio/parquet/reader/Statistics.h"
 #include "velox/dwio/parquet/reader/StringColumnReader.h"
 #include "velox/dwio/parquet/reader/StructColumnReader.h"
-
-#include "velox/dwio/parquet/reader/Statistics.h"
 #include "velox/dwio/parquet/thrift/ParquetThriftTypes.h"
 
 namespace facebook::velox::parquet {

diff --git a/velox/dwio/parquet/reader/ParquetData.cpp b/velox/dwio/parquet/reader/ParquetData.cpp
@@ -15,6 +15,8 @@
  */
 
 #include "velox/dwio/parquet/reader/ParquetData.h"
+
+#include "velox/dwio/common/BufferedInput.h"
 #include "velox/dwio/parquet/reader/Statistics.h"
 
 namespace facebook::velox::parquet {

diff --git a/velox/dwio/parquet/reader/ParquetData.h b/velox/dwio/parquet/reader/ParquetData.h
@@ -16,16 +16,20 @@
 
 #pragma once
 
-#include <thrift/protocol/TCompactProtocol.h> //@manual
-#include "velox/common/base/RawVector.h"
 #include "velox/dwio/common/BufferUtil.h"
-#include "velox/dwio/common/BufferedInput.h"
-#include "velox/dwio/common/ScanSpec.h"
 #include "velox/dwio/parquet/reader/PageReader.h"
 #include "velox/dwio/parquet/thrift/ParquetThriftTypes.h"
-#include "velox/dwio/parquet/thrift/ThriftTransport.h"
+
+namespace facebook::velox::common {
+class ScanSpec;
+} // namespace facebook::velox::common
+
+namespace facebook::velox::dwio::common {
+class BufferedInput;
+} // namespace facebook::velox::dwio::common
 
 namespace facebook::velox::parquet {
+
 class ParquetParams : public dwio::common::FormatParams {
  public:
   ParquetParams(

diff --git a/velox/dwio/parquet/reader/ParquetReader.cpp b/velox/dwio/parquet/reader/ParquetReader.cpp
@@ -15,12 +15,13 @@
  */
 
 #include "velox/dwio/parquet/reader/ParquetReader.h"
-#include <thrift/protocol/TCompactProtocol.h> //@manual
-#include "velox/dwio/common/MetricsLog.h"
-#include "velox/dwio/common/TypeUtils.h"
+
+#include "velox/dwio/parquet/reader/ParquetColumnReader.h"
 #include "velox/dwio/parquet/reader/StructColumnReader.h"
 #include "velox/dwio/parquet/thrift/ThriftTransport.h"
 
+#include <thrift/protocol/TCompactProtocol.h> //@manual
+
 namespace facebook::velox::parquet {
 
 using dwio::common::ColumnSelector;

diff --git a/velox/dwio/parquet/reader/ParquetReader.h b/velox/dwio/parquet/reader/ParquetReader.h
@@ -16,12 +16,16 @@
 
 #pragma once
 
-#include "velox/dwio/common/BufferedInput.h"
 #include "velox/dwio/common/Reader.h"
 #include "velox/dwio/common/ReaderFactory.h"
-#include "velox/dwio/common/SelectiveColumnReader.h"
 #include "velox/dwio/parquet/reader/ParquetTypeWithId.h"
-#include "velox/dwio/parquet/thrift/ParquetThriftTypes.h"
+
+namespace facebook::velox::dwio::common {
+
+class SelectiveColumnReader;
+class BufferedInput;
+
+} // namespace facebook::velox::dwio::common
 
 namespace facebook::velox::parquet {
 

diff --git a/velox/dwio/parquet/reader/RepeatedColumnReader.cpp b/velox/dwio/parquet/reader/RepeatedColumnReader.cpp
@@ -20,6 +20,8 @@
 
 namespace facebook::velox::parquet {
 
+class ParquetTypeWithId;
+
 namespace {
 PageReader* FOLLY_NULLABLE readLeafRepDefs(
     dwio::common::SelectiveColumnReader* FOLLY_NONNULL reader,

diff --git a/velox/dwio/parquet/reader/RleBpDecoder.cpp b/velox/dwio/parquet/reader/RleBpDecoder.cpp
@@ -16,7 +16,7 @@
 
 #include "velox/dwio/parquet/reader/RleBpDecoder.h"
 
-#include "velox/dwio/common/BitPackDecoder.h"
+#include <folly/Varint.h>
 
 namespace facebook::velox::parquet {
 

diff --git a/velox/dwio/parquet/reader/RleBpDecoder.h b/velox/dwio/parquet/reader/RleBpDecoder.h
@@ -19,10 +19,6 @@
 #include "velox/common/base/BitUtil.h"
 #include "velox/dwio/common/BitPackDecoder.h"
 #include "velox/dwio/common/DecoderUtil.h"
-#include "velox/type/Filter.h"
-#include "velox/vector/LazyVector.h"
-
-#include <folly/Varint.h>
 
 namespace facebook::velox::parquet {
 

diff --git a/velox/dwio/parquet/reader/Statistics.cpp b/velox/dwio/parquet/reader/Statistics.cpp
@@ -15,6 +15,8 @@
  */
 
 #include "velox/dwio/parquet/reader/Statistics.h"
+
+#include "velox/dwio/common/Statistics.h"
 #include "velox/type/Type.h"
 
 namespace facebook::velox::parquet {

diff --git a/velox/dwio/parquet/reader/Statistics.h b/velox/dwio/parquet/reader/Statistics.h
@@ -16,9 +16,18 @@
 
 #pragma once
 
-#include "velox/dwio/common/Statistics.h"
 #include "velox/dwio/parquet/thrift/ParquetThriftTypes.h"
-#include "velox/type/Type.h"
+
+#include <cstring>
+#include <optional>
+
+namespace facebook::velox {
+class Type;
+}
+
+namespace facebook::velox::dwio::common {
+class ColumnStatistics;
+}
 
 namespace facebook::velox::parquet {
 
@@ -27,7 +36,7 @@ namespace facebook::velox::parquet {
 template <typename T>
 inline const T load(const char* ptr) {
   T ret;
-  memcpy(&ret, ptr, sizeof(ret));
+  std::memcpy(&ret, ptr, sizeof(ret));
   return ret;
 }
 

diff --git a/velox/dwio/parquet/reader/StringColumnReader.cpp b/velox/dwio/parquet/reader/StringColumnReader.cpp
@@ -15,7 +15,8 @@
  */
 
 #include "velox/dwio/parquet/reader/StringColumnReader.h"
-#include "velox/dwio/common/BufferUtil.h"
+
+#include "velox/dwio/common/SelectiveColumnReaderInternal.h"
 
 namespace facebook::velox::parquet {
 

diff --git a/velox/dwio/parquet/reader/StringColumnReader.h b/velox/dwio/parquet/reader/StringColumnReader.h
@@ -16,7 +16,7 @@
 
 #pragma once
 
-#include "velox/dwio/common/SelectiveColumnReaderInternal.h"
+#include "velox/dwio/common/SelectiveColumnReader.h"
 #include "velox/dwio/parquet/reader/ParquetData.h"
 
 namespace facebook::velox::parquet {

diff --git a/velox/dwio/parquet/reader/StringDecoder.h b/velox/dwio/parquet/reader/StringDecoder.h
@@ -16,12 +16,6 @@
 
 #pragma once
 
-#include "velox/common/base/GTestMacros.h"
-#include "velox/common/base/Nulls.h"
-#include "velox/dwio/common/DecoderUtil.h"
-#include "velox/dwio/common/IntDecoder.h"
-#include "velox/dwio/common/TypeUtil.h"
-
 namespace facebook::velox::parquet {
 
 class StringDecoder {

diff --git a/velox/dwio/parquet/reader/StructColumnReader.cpp b/velox/dwio/parquet/reader/StructColumnReader.cpp
@@ -15,8 +15,15 @@
  */
 
 #include "velox/dwio/parquet/reader/StructColumnReader.h"
+
+#include "velox/dwio/common/BufferedInput.h"
+#include "velox/dwio/parquet/reader/ParquetColumnReader.h"
 #include "velox/dwio/parquet/reader/RepeatedColumnReader.h"
 
+namespace facebook::velox::common {
+class ScanSpec;
+}
+
 namespace facebook::velox::parquet {
 
 StructColumnReader::StructColumnReader(

diff --git a/velox/dwio/parquet/reader/StructColumnReader.h b/velox/dwio/parquet/reader/StructColumnReader.h
@@ -17,10 +17,19 @@
 #pragma once
 
 #include "velox/dwio/common/SelectiveStructColumnReader.h"
-#include "velox/dwio/parquet/reader/ParquetColumnReader.h"
+
+#include <parquet/level_conversion.h>
+
+namespace facebook::velox::dwio::common {
+class BufferedInput;
+}
 
 namespace facebook::velox::parquet {
 
+enum class LevelMode;
+class PageReader;
+class ParquetParams;
+
 class StructColumnReader : public dwio::common::SelectiveStructColumnReader {
  public:
   StructColumnReader(