Pythonでのデータ処理の基礎：CSVファイルの読み込み完全ガイド

import csv

# CSVファイルを開く
with open('data.csv', 'r', encoding='utf-8') as file:
    # CSVリーダーオブジェクトを作成
    csv_reader = csv.reader(file)
    
    # ヘッダー行を読み込む（必要な場合）
    header = next(csv_reader)
    print(f"ヘッダー: {header}")
    
    # 各行を処理
    for row in csv_reader:
        print(row)

import pandas as pd

# CSVファイルを読み込んでDataFrameとして保存
df = pd.read_csv('data.csv', encoding='utf-8')

# 最初の5行を表示
print(df.head())

# 基本的な情報を表示
print(df.info())

# よくあるエラー：UnicodeDecodeError
try:
    df = pd.read_csv('japanese_data.csv', encoding='utf-8')
except UnicodeDecodeError:
    print("エンコーディングが合っていません")

# 一般的な日本語エンコーディングを試す
encodings = ['utf-8', 'shift-jis', 'cp932', 'euc-jp']

for enc in encodings:
    try:
        df = pd.read_csv('japanese_data.csv', encoding=enc)
        print(f"成功: エンコーディングは {enc} です")
        break
    except UnicodeDecodeError:
        print(f"{enc} ではエラーが発生しました")

import chardet

# ファイルのエンコーディングを検出
with open('japanese_data.csv', 'rb') as file:
    result = chardet.detect(file.read())

print(f"検出されたエンコーディング: {result['encoding']} (信頼度: {result['confidence']})")

# 検出されたエンコーディングでファイルを読み込む
df = pd.read_csv('japanese_data.csv', encoding=result['encoding'])

# Excelから出力されたCSVファイルを読み込む
df = pd.read_csv('excel_exported.csv', encoding='cp932')

# タブ区切りのCSVファイルを読み込む
df = pd.read_csv('excel_exported.tsv', encoding='cp932', sep='\t')

import pandas as pd
import os
import glob

# 特定のディレクトリ内のすべてのCSVファイルのリストを取得
csv_files = glob.glob('data_directory/*.csv')

# すべてのファイルを読み込んで結合する
all_data = pd.DataFrame()

for file in csv_files:
    # ファイル名から情報を抽出（例：日付）
    file_name = os.path.basename(file)
    date_str = file_name.split('_')[0]  # ファイル名が「20230101_sales.csv」のような形式を想定
    
    # ファイルを読み込む
    temp_df = pd.read_csv(file, encoding='cp932')
    
    # ファイル情報を列として追加
    temp_df['file_date'] = date_str
    
    # メインのDataFrameに追加
    all_data = pd.concat([all_data, temp_df], ignore_index=True)

print(f"合計 {len(all_data)} 行のデータを読み込みました")

import pandas as pd

# ファイルを1000行ずつ読み込む
chunk_size = 1000
chunks = pd.read_csv('large_file.csv', encoding='utf-8', chunksize=chunk_size)

# 各チャンクを処理
total_rows = 0
for i, chunk in enumerate(chunks):
    # ここでチャンクを処理（例：特定の操作を行う）
    processed_rows = len(chunk)
    total_rows += processed_rows
    
    # 進捗状況を表示
    print(f"チャンク {i+1}: {processed_rows} 行処理 (合計: {total_rows} 行)")
    
    # 例：各チャンクの集計結果を保存
    if i == 0:
        # 最初のチャンクの結果を保存
        result = chunk.groupby('category').sum()
    else:
        # 結果を更新
        result = result.add(chunk.groupby('category').sum(), fill_value=0)

print("処理完了")
print(result)

import pandas as pd

# CSVファイルを読み込む
df = pd.read_csv('sales_data.csv', encoding='cp932')

# データをフィルタリング（例：特定の部門のデータのみを抽出）
filtered_df = df[df['department'] == '営業部']

# 複数条件でのフィルタリング
filtered_df = df[(df['department'] == '営業部') & (df['sales'] > 100000)]

# データをソート（例：売上高で降順にソート）
sorted_df = df.sort_values('sales', ascending=False)

# 複数のカラムでソート
sorted_df = df.sort_values(['department', 'sales'], ascending=[True, False])

import pandas as pd
import numpy as np

# CSVファイルを読み込む
df = pd.read_csv('messy_data.csv', encoding='utf-8')

# 欠損値の確認
print(df.isnull().sum())

# 欠損値の処理（例：欠損値を平均値で埋める）
df['sales'] = df['sales'].fillna(df['sales'].mean())

# または、欠損値のある行を削除
df_clean = df.dropna()

# 異常値の処理（例：売上が負の値の場合をNaNに置き換え）
df['sales'] = df['sales'].apply(lambda x: np.nan if x < 0 else x)

# データ型の変換（例：日付文字列を日付型に変換）
df['date'] = pd.to_datetime(df['date'], format='%Y/%m/%d')

# カテゴリデータの処理
df['department'] = df['department'].astype('category')

import pandas as pd
import matplotlib.pyplot as plt

# 顧客データを読み込む
df = pd.read_csv('customer_data.csv', encoding='cp932')

# 基本的な統計情報を確認
print(df.describe())

# 地域ごとの顧客数を集計
region_counts = df['region'].value_counts()
print("地域ごとの顧客数:")
print(region_counts)

# 年齢層ごとの購入金額の平均を計算
df['age_group'] = pd.cut(df['age'], bins=[0, 20, 30, 40, 50, 60, 100], 
                        labels=['〜20代', '20代', '30代', '40代', '50代', '60代〜'])
age_spending = df.groupby('age_group')['total_purchase'].mean().sort_values()
print("年齢層ごとの平均購入金額:")
print(age_spending)

# 結果をグラフ化
plt.figure(figsize=(10, 6))
age_spending.plot(kind='bar')
plt.title('年齢層ごとの平均購入金額')
plt.ylabel('平均購入金額 (円)')
plt.grid(axis='y')
plt.tight_layout()
plt.savefig('age_spending.png')
plt.close()

print("分析結果を age_spending.png として保存しました")

import pandas as pd
import glob
import os

# 各部門のCSVファイルを読み込む
department_files = glob.glob('departments/*.csv')
all_data = pd.DataFrame()

for file in department_files:
    dept_name = os.path.basename(file).split('.')[0]  # ファイル名から部門名を取得
    
    # ファイルを読み込む
    temp_df = pd.read_csv(file, encoding='cp932')
    temp_df['department'] = dept_name  # 部門名を列として追加
    
    # メインのDataFrameに追加
    all_data = pd.concat([all_data, temp_df], ignore_index=True)

# 結合したデータの基本情報
print(f"合計レコード数: {len(all_data)}")
print(f"部門数: {all_data['department'].nunique()}")

# 部門ごとの売上合計
dept_sales = all_data.groupby('department')['sales'].sum().sort_values(ascending=False)
print("\n部門ごとの売上合計:")
print(dept_sales)

# 月ごと、部門ごとの売上傾向
# 日付列を月単位に変換
all_data['date'] = pd.to_datetime(all_data['date'])
all_data['month'] = all_data['date'].dt.strftime('%Y-%m')

# ピボットテーブルを作成
monthly_dept_sales = all_data.pivot_table(
    index='month', 
    columns='department', 
    values='sales', 
    aggfunc='sum'
)

# 結果を保存
monthly_dept_sales.to_csv('monthly_department_sales.csv', encoding='cp932')
print("\n月次部門別売上を monthly_department_sales.csv として保存しました")

# エラー例
# UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 0: invalid start byte

# 解決策
try:
    df = pd.read_csv('problem_file.csv', encoding='utf-8')
except UnicodeDecodeError:
    # 一般的な日本語エンコーディングを試す
    for enc in ['cp932', 'shift-jis', 'euc-jp']:
        try:
            df = pd.read_csv('problem_file.csv', encoding=enc)
            print(f"成功: エンコーディングは {enc} です")
            break
        except UnicodeDecodeError:
            continue
    else:
        print("すべてのエンコーディングで失敗しました")

# エラー例: カラム数が予想と異なる

# 解決策: ファイルの先頭数行を確認して区切り文字を判断
with open('file.csv', 'rb') as f:
    sample = f.read(1024).decode('cp932', errors='ignore')
    
print(sample)

# 区切り文字を指定して読み込む
if '\t' in sample:
    df = pd.read_csv('file.csv', encoding='cp932', sep='\t')
elif ';' in sample:
    df = pd.read_csv('file.csv', encoding='cp932', sep=';')
else:
    df = pd.read_csv('file.csv', encoding='cp932')

# エラー例
# MemoryError: Unable to allocate array with shape (1000000, 50)

# 解決策1: データ型を最適化
dtypes = {
    'id': 'int32',
    'name': 'str',
    'sales': 'float32',
    # 他の列も必要に応じて指定
}
df = pd.read_csv('large_file.csv', encoding='cp932', dtype=dtypes)

# 解決策2: 必要な列だけを読み込む
needed_columns = ['id', 'date', 'sales']
df = pd.read_csv('large_file.csv', encoding='cp932', usecols=needed_columns)

# 解決策3: チャンクで処理
chunks = pd.read_csv('large_file.csv', encoding='cp932', chunksize=10000)
result = pd.DataFrame()
for chunk in chunks:
    # 必要な処理だけを行う
    processed = chunk[chunk['sales'] > 1000]
    result = pd.concat([result, processed])