> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-mintlify-1d264819.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
# Fabric OneLake
> В этом руководстве мы расскажем, как выполнять запросы к данным в Microsoft OneLake.
export const galaxyOnClick = eventName => () => {
try {
if (typeof window !== "undefined" && window.galaxy && eventName) {
window.galaxy.track(eventName, {
interaction: "click"
});
}
} catch (e) {}
};
export const BetaBadge = ({link, galaxyTrack, galaxyEvent}) => {
if (link) {
return
Beta
;
}
return ;
};
ClickHouse поддерживает интеграцию с несколькими каталогами (OneLake, Unity, Glue, Polaris и т. д.). В этом руководстве показано, как выполнять запросы к данным, хранящимся в Microsoft OneLake, с помощью ClickHouse и [OneLake](https://learn.microsoft.com/en-us/fabric/onelake/onelake-overview).
Microsoft OneLake поддерживает несколько табличных форматов для lakehouse. С ClickHouse вы можете выполнять запросы к таблицам Iceberg.
Поскольку эта возможность пока находится в статусе бета, ее необходимо включить:
`SET allow_database_iceberg = 1;`
## Сбор необходимых данных OneLake
Прежде чем выполнять запросы к таблице в Microsoft Fabric, вам потребуется собрать следующую информацию:
* ID арендатора OneLake (ваш Entra ID)
* ID приложения (клиента)
* секрет клиента
* ID хранилища и ID элемента данных
ID вашего хранилища — это ваш Workspace ID.
Для Data Item ID мы рекомендуем использовать ваш Lakehouse ID. В наших тестах с Warehouse ID это не работает.
См. [документацию Microsoft OneLake](http://learn.microsoft.com/en-us/fabric/onelake/table-apis/table-apis-overview#prerequisites), чтобы узнать, где найти эти значения.
## Создание соединения между OneLake и ClickHouse
Теперь, когда у вас есть вся необходимая информация, вы можете создать соединение между Microsoft OneLake и ClickHouse, но сначала нужно включить каталоги:
```sql theme={null}
SET allow_database_iceberg=1
```
### Подключение к OneLake
```sql theme={null}
CREATE DATABASE onelake_catalog
ENGINE = DataLakeCatalog('https://onelake.table.fabric.microsoft.com/iceberg')
SETTINGS
catalog_type = 'onelake',
warehouse = 'warehouse_id/data_item_id',
onelake_tenant_id = '',
oauth_server_uri = 'https://login.microsoftonline.com//oauth2/v2.0/token',
auth_scope = 'https://storage.azure.com/.default',
onelake_client_id = '',
onelake_client_secret = ''
```
## Выполнение запросов к OneLake с помощью ClickHouse
Теперь, когда соединение установлено, можно приступать к выполнению запросов к OneLake:
```sql theme={null}
SHOW TABLES FROM onelake_catalog
```
```response theme={null}
Query id: 8f6124c4-45c2-4351-b49a-89dc13e548a7
┌─name──────────────────────────┐
1. │ year_2017.green_tripdata_2017 │
2. │ year_2018.green_tripdata_2018 │
3. │ year_2019.green_tripdata_2019 │
4. │ year_2020.green_tripdata_2020 │
5. │ year_2022.green_tripdata_2022 │
└───────────────────────────────┘
```
Если вы используете клиент Iceberg, будут показаны только таблицы Delta с включенной функцией Uniform:
Чтобы выполнить запрос к таблице:
```sql theme={null}
SELECT *
FROM onelake_catalog.`year_2017.green_tripdata_2017`
LIMIT 1
```
```response theme={null}
Query id: db6b4bda-cc58-4ca1-8891-e0d14f02c890
Row 1:
──────
VendorID: 2
lpep_pickup_datetime: 2017-05-18 16:55:43.000000
lpep_dropoff_datetime: 2017-05-18 18:04:11.000000
store_and_fwd_flag: N
RatecodeID: 2
PULocationID: 130
DOLocationID: 48
passenger_count: 2
trip_distance: 12.43
fare_amount: 52
extra: 4.5
mta_tax: 0.5
tip_amount: 0
tolls_amount: 33
ehail_fee: ᴺᵁᴸᴸ
improvement_surcharge: 0.3
total_amount: 90.3
payment_type: 2
trip_type: 1
congestion_surcharge: ᴺᵁᴸᴸ
source_file: green_tripdata_2017-05.parquet
```
**Требуются обратные кавычки**
Обратные кавычки требуются, потому что ClickHouse не поддерживает более одного пространства имен.
Чтобы посмотреть DDL таблицы:
```sql theme={null}
SHOW CREATE TABLE onelake_catalog.`year_2017.green_tripdata_2017`
```
```response theme={null}
Query id: 8bd5bd8e-83be-453e-9a88-32de12ba7f24
┌─statement───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
1. │ CREATE TABLE onelake_catalog.`year_2017.green_tripdata_2017` ↴│
│↳( ↴│
│↳ `VendorID` Nullable(Int64), ↴│
│↳ `lpep_pickup_datetime` Nullable(DateTime64(6, 'UTC')), ↴│
│↳ `lpep_dropoff_datetime` Nullable(DateTime64(6, 'UTC')), ↴│
│↳ `store_and_fwd_flag` Nullable(String), ↴│
│↳ `RatecodeID` Nullable(Int64), ↴│
│↳ `PULocationID` Nullable(Int64), ↴│
│↳ `DOLocationID` Nullable(Int64), ↴│
│↳ `passenger_count` Nullable(Int64), ↴│
│↳ `trip_distance` Nullable(Float64), ↴│
│↳ `fare_amount` Nullable(Float64), ↴│
│↳ `extra` Nullable(Float64), ↴│
│↳ `mta_tax` Nullable(Float64), ↴│
│↳ `tip_amount` Nullable(Float64), ↴│
│↳ `tolls_amount` Nullable(Float64), ↴│
│↳ `ehail_fee` Nullable(Float64), ↴│
│↳ `improvement_surcharge` Nullable(Float64), ↴│
│↳ `total_amount` Nullable(Float64), ↴│
│↳ `payment_type` Nullable(Int64), ↴│
│↳ `trip_type` Nullable(Int64), ↴│
│↳ `congestion_surcharge` Nullable(Float64), ↴│
│↳ `source_file` Nullable(String) ↴│
│↳) ↴│
│↳ENGINE = Iceberg('abfss://@onelake.dfs.fabric.microsoft.com//Tables/year_2017/green_tripdata_2017') │
└─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
```
## Загрузка данных из вашего озера данных в ClickHouse
Если вам нужно загрузить данные из OneLake в ClickHouse:
```sql theme={null}
CREATE TABLE trips
ENGINE = MergeTree
ORDER BY coalesce(VendorID, 0)
AS SELECT *
FROM onelake_catalog.`year_2017.green_tripdata_2017`
```
```response theme={null}
Query id: d15983a6-ef6a-40fe-80d5-19274b9fe328
Ok.
0 rows in set. Elapsed: 32.570 sec. Processed 11.74 million rows, 275.37 MB (360.36 thousand rows/s., 8.45 MB/s.)
Peak memory usage: 1.31 GiB.
```