pandas からの移行

# 変更前 (pandas)
import pandas as pd

# 変更後 (DataStore)
from chdb import datastore as pd

# これらはすべて同じように動作する
df = pd.read_csv("data.csv")
df = pd.read_parquet("data.parquet")
df = pd.read_json("data.json")
df = pd.read_excel("data.xlsx")

# ブールインデックス
df[df['age'] > 25]
df[(df['age'] > 25) & (df['city'] == 'NYC')]

# query() メソッド
df.query('age > 25 and salary > 50000')

# カラムの選択
df['name']
df[['name', 'age']]

# 行の選択
df.head(10)
df.tail(10)
df.iloc[0:100]

# GroupBy
df.groupby('city')['salary'].mean()
df.groupby(['city', 'dept']).agg({'salary': ['sum', 'mean']})

df.sort_values('salary', ascending=False)
df.sort_values(['city', 'age'])

df['name'].str.upper()
df['name'].str.contains('John')
df['name'].str.len()

df['date'].dt.year
df['date'].dt.month
df['date'].dt.dayofweek

df.to_csv("output.csv")
df.to_parquet("output.parquet")
df.to_json("output.json")

# 即座に実行される
result = df[df['age'] > 25]
print(type(result))  # pandas.DataFrame

# クエリを構築するが、まだ実行しない
result = ds[ds['age'] > 25]
print(type(result))  # DataStore (遅延評価)

# データが必要になったときに実行される
print(result)        # 実行をトリガー
df = result.to_df()  # 実行をトリガー

df.drop(columns=['col'], inplace=True)

ds = ds.drop(columns=['col'])  # 結果を代入する

# これは期待通りに動作しない場合があります
df == ds  # pandasはDataStoreを認識しません

# 代わりにこちらを使用してください
df.equals(ds.to_pandas())

# pandasは順序を保持する
df = pd.read_csv("data.csv")

# DataStore - 順序を保証するにはソートを使用する
ds = pd.read_csv("data.csv")
ds = ds.sort('id')  # 明示的な順序付け

# pandas
import pandas as pd
df = pd.read_csv("data.csv")
result = df[df['amount'] > 100].groupby('category')['amount'].sum()
result.to_csv("output.csv")

# DataStore - 同じコードがそのまま動作します！
from chdb import datastore as pd
df = pd.read_csv("data.csv")
result = df[df['amount'] > 100].groupby('category')['amount'].sum()
result.to_csv("output.csv")

from chdb import datastore as pd

# 高速なDataStore操作
ds = pd.read_csv("large_data.csv")
ds = ds.filter(ds['date'] >= '2024-01-01')
ds = ds.filter(ds['amount'] > 100)

# 特定の機能のためにpandasに変換
df = ds.to_df()
df_pivoted = df.pivot_table(...)  # pandas固有

from chdb import datastore as pd
import pandas

# 高速フィルタリングのためにDataStoreから開始
ds = pd.read_csv("huge_file.csv")  # 1000万行
ds = ds.filter(ds['year'] == 2024)  # 高速SQLフィルター
ds = ds.select('col1', 'col2', 'col3')  # カラムプルーニング

# pandas固有の操作のために変換
df = ds.to_df()  # この時点で約10万行のみ
result = df.apply(complex_custom_function)  # pandas

from chdb.datastore.config import config
config.enable_debug()

# 生成されるSQLを確認する
ds.filter(ds['x'] > 10).explain()

# 悪い例: 小さな実行を複数回行う
for i in range(1000):
    result = ds.filter(ds['id'] == i).to_df()

# 良い例: 一度にまとめて実行する
result = ds.filter(ds['id'].isin(ids)).to_df()

# 型を確認する
print(ds.dtypes)

# 強制変換
ds['col'] = ds['col'].astype('int64')

# 両方のインポートを保持する
import pandas as pd
from chdb import datastore as ds

# 結果を比較する
pdf = pd.read_csv("data.csv")
dsf = ds.read_csv("data.csv")

# 一致することを確認する
assert pdf.equals(dsf.to_pandas())

from chdb import datastore as pd

# 重い処理は DataStore に任せる
ds = pd.read_csv("data.csv")
ds = ds.filter(ds['year'] == 2024)  # SQL

# カスタム処理のために変換する
df = ds.to_df()
result = df.apply(my_custom_function)

from chdb import datastore as ds
import pandas as pd

# DataStore から pandas へ
df = ds_result.to_pandas()

# pandas から DataStore へ  
ds = ds.DataFrame(pd_result)

def test_my_function():
    result = my_function()
    expected = pd.DataFrame(...)
    pd.testing.assert_frame_equal(result.to_pandas(), expected)

from chdb import datastore as pd

ds = pd.read_csv("data.csv")
ds.head()  # Jupyterで綺麗に表示される