Merge pull request #25 from ca-srg/feature/csv-s3-source-support

feat: add CSV, S3, and Spreadsheet source support for vectorization

Author: rluisr

CLAUDE.md AGENTS.mdCLAUDE.md renamed to AGENTS.md

@@ -35,11 +35,15 @@ RAGent は Markdownドキュメントからハイブリッド検索（BM25 + ベ
   - 環境変数からの設定読み込み
   - 設定検証とデフォルト値
 - **internal/scanner/**: ファイルスキャナー
-  - markdownファイルの再帰的発見
+  - ソースファイル（markdown/CSV）の再帰的発見
   - ファイルフィルタリング機能
 - **internal/metadata/**: メタデータ抽出
   - FrontMatter解析
   - ファイル情報抽出
+- **internal/csv/**: CSVファイル処理
+  - `config.go`: CSV設定構造体（YAMLベース）
+  - `reader.go`: CSVファイル読み込み・行展開
+  - `column_detector.go`: 自動カラム検出
 - **internal/filter/**: フィルタ機能
   - RAG検索時の除外フィルタロジック
   - S3 Vector対応フィルタ構築
@@ -70,7 +74,7 @@ RAGent は Markdownドキュメントからハイブリッド検索（BM25 + ベ
   - ハイブリッド検索ツール提供
 
 ### Directories
-- **markdown/**: RAGシステムで使用するMarkdownドキュメントを配置（使用前に準備が必要）
+- **source/**: RAGシステムで使用するソースドキュメント（MarkdownおよびCSV）を配置（使用前に準備が必要）
 - **export/**: Kibelaノートエクスポート用の別ツール（独立したツール）
 - **doc/**: プロジェクト文書（S3 Vector設定推奨など）
 - **reference/**: 参考実装とサンプルコード
@@ -146,6 +150,7 @@ go vet ./...
 # 各コマンドの実行例
 go run main.go vectorize --dry-run       # ベクトル化（ドライラン）
 go run main.go vectorize                 # ベクトル化実行
+go run main.go vectorize --csv-config csv-config.yaml  # CSV設定を指定してベクトル化
 go run main.go vectorize --follow        # フォローモード（30分間隔）
 go run main.go vectorize --follow --interval 15m # カスタム間隔のフォローモード
 go run main.go query -q "検索クエリ"      # セマンティック検索
@@ -165,18 +170,28 @@ go run main.go mcp-server                # MCP Server起動 [NEW]
 
 ## Prerequisites
 
-Markdownドキュメントを`markdown/`ディレクトリに準備する必要があります。Kibelaからのエクスポートには`export/`ディレクトリの別ツールを使用してください。
+ソースドキュメント（MarkdownまたはCSV）を`source/`ディレクトリに準備する必要があります。
+
+**対応ファイル形式:**
+- Markdown (.md, .markdown): 各ファイルが1つのドキュメントになります
+- CSV (.csv): 各行が1つのドキュメントになります（ヘッダー行が必須）
+
+CSVファイルのカラムマッピングは `--csv-config` オプションで設定できます。
+Kibelaからのエクスポートには`export/`ディレクトリの別ツールを使用してください。
 
 ## Usage Examples
 
 ```bash
 # 1. ベクトル化とS3保存
-./RAGent vectorize --directory ./markdown --concurrency 10
+./RAGent vectorize --directory ./source --concurrency 10
+
+# 1a. CSV設定を指定してベクトル化
+./RAGent vectorize --csv-config csv-config.yaml
 
-# 1a. フォローモードで継続的にベクトル化（30分間隔）
+# 1b. フォローモードで継続的にベクトル化（30分間隔）
 ./RAGent vectorize --follow
 
-# 1b. フォローモードで15分間隔に設定
+# 1c. フォローモードで15分間隔に設定
 ./RAGent vectorize --follow --interval 15m
 # ※ `--follow` は `--dry-run` および `--clear` と併用不可
 

README.md

@@ -33,7 +33,7 @@ RAGent is a CLI tool for building a RAG (Retrieval-Augmented Generation) system
 
 ## Features
 
-- **Vectorization**: Convert markdown files to embeddings using Amazon Bedrock
+- **Vectorization**: Convert source files (markdown and CSV) to embeddings using Amazon Bedrock
 - **S3 Vector Integration**: Store generated vectors in Amazon S3 Vectors
 - **Hybrid Search**: Combined BM25 + vector search using OpenSearch
 - **Slack Search Integration**: Blend document results with Slack conversations via an iterative enrichment pipeline
@@ -313,18 +313,57 @@ flowchart TD
 
 ## Prerequisites
 
-### Prepare Markdown Documents
+### Prepare Source Documents
 
-Before using RAGent, you need to prepare markdown documents in a `markdown/` directory. These documents should contain the content you want to make searchable through the RAG system.
+Before using RAGent, you need to prepare source documents in a `source/` directory. These documents should contain the content you want to make searchable through the RAG system.
 
+**Supported file types:**
+- **Markdown (.md, .markdown)**: Each file becomes one document
+- **CSV (.csv)**: Each row becomes one document (header row required)
+
+```bash
+# Create source directory
+mkdir source
+
+# Place your files in this directory
+cp /path/to/your/documents/*.md source/
+cp /path/to/your/data/*.csv source/
+```
+
+For CSV files, you can optionally provide a configuration file to specify column mappings:
 ```bash
-# Create markdown directory
-mkdir markdown
+# Copy example configuration
+cp csv-config.yaml.example csv-config.yaml
+
+# Run with CSV configuration
+RAGent vectorize --csv-config csv-config.yaml
+```
+
+#### CSV Configuration Options
+
+The `csv-config.yaml` supports the following options:
+
+**header_row (Header Row Position):**
+
+Use this option when your CSV file has metadata or summary rows before the actual header row.
+When `header_row` is specified, that row is used as the column headers, and all preceding rows are skipped.
 
-# Place your markdown files in this directory
-cp /path/to/your/documents/*.md markdown/
+```yaml
+csv:
+  files:
+    - pattern: "sample.csv"
+      header_row: 7  # Row 7 is the header (1-indexed)
+                     # Rows 1-6 are skipped, data starts from row 8
+      content:
+        columns: ["task", "category"]
+      metadata:
+        title: "task"
+        category: "category"
 ```
 
+- If `header_row` is not specified, the default is `1` (first row is the header)
+- Row numbers are 1-indexed
+
 For exporting notes from Kibela, use the separate export tool available in the `export/` directory.
 
 ## Required Environment Variables
@@ -607,20 +646,41 @@ All entries should report `OK`. If a mismatch occurs, re-download the artifact.
 
 ### 1. vectorize - Vectorization and S3 Storage
 
-Read markdown files, extract metadata, generate embeddings using Amazon Bedrock, and store them in Amazon S3 Vectors.
+Read source files (markdown and CSV), extract metadata, generate embeddings using Amazon Bedrock, and store them in Amazon S3 Vectors.
 
 ```bash
 RAGent vectorize
 ```
 
 **Options:**
-- `-d, --directory`: Directory containing markdown files to process (default: `./markdown`)
+- `-d, --directory`: Directory containing source files to process (default: `./source`)
 - `--dry-run`: Display processing details without making actual API calls
 - `-c, --concurrency`: Number of concurrent processes (0 = use default value from config file)
+- `--csv-config`: Path to CSV configuration YAML file (for column mapping)
+- `--enable-s3`: Enable S3 source file fetching
+- `--s3-bucket`: S3 bucket name for source files (required when `--enable-s3` is set)
+- `--s3-prefix`: S3 prefix (directory) to scan (optional, defaults to bucket root)
+
+**S3 Source Examples:**
+```bash
+# S3 only (with prefix)
+RAGent vectorize --enable-s3 --s3-bucket my-docs-bucket --s3-prefix source/
+
+# S3 only (flat structure)
+RAGent vectorize --enable-s3 --s3-bucket my-docs-bucket
+
+# Local + S3 combined
+RAGent vectorize --directory ./local-docs --enable-s3 --s3-bucket my-docs-bucket --s3-prefix remote/
+
+# Dry run with S3 source
+RAGent vectorize --enable-s3 --s3-bucket my-docs-bucket --dry-run
+```
 
 **Features:**
-- Recursive scanning of markdown files
+- Recursive scanning of markdown and CSV files
 - Automatic metadata extraction
+- CSV row expansion (each row becomes a document)
+- Automatic column detection for CSV files (or explicit configuration)
 - Embedding generation using Amazon Titan Text Embedding v2
 - Safe storage to S3 Vectors
 - High-speed processing through concurrency
@@ -879,13 +939,14 @@ RAGent/
 │   └── vectorize.go       # vectorize command
 ├── internal/              # Internal libraries
 │   ├── config/           # Configuration management
+│   ├── csv/              # CSV file processing
 │   ├── embedding/        # Embedding generation
 │   ├── s3vector/         # S3 Vector integration
 │   ├── opensearch/       # OpenSearch integration
 │   ├── vectorizer/       # Vectorization service
 │   ├── slackbot/         # Slack Bot integration
 │   └── mcpserver/        # MCP Server integration (new)
-├── markdown/             # Markdown documents (prepare before use)
+├── source/               # Source documents (markdown and CSV, prepare before use)
 ├── export/               # Separate export tool for Kibela
 ├── doc/                  # Project documentation
 │   ├── mcp-server.md     # MCP Server setup guide
@@ -933,12 +994,19 @@ RAGent/
    # Edit .env file
    ```
 
-2. **Prepare Markdown Documents**
+2. **Prepare Source Documents**
    ```bash
-   # Create markdown directory if not exists
-   mkdir -p markdown
+   # Create source directory if not exists
+   mkdir -p source
+   
+   # Place your files in the directory (markdown and/or CSV)
+   cp /path/to/docs/*.md source/
+   cp /path/to/data/*.csv source/
+   
+   # For CSV files, optionally configure column mapping:
+   cp csv-config.yaml.example csv-config.yaml
+   # Edit csv-config.yaml to specify columns
 
-   # Place your markdown files in the directory
    # Or use the export tool for Kibela notes:
    cd export
    go build -o RAGent-export
@@ -954,6 +1022,9 @@ RAGent/
    # Execute actual vectorization
    RAGent vectorize
 
+   # Vectorize with CSV configuration
+   RAGent vectorize --csv-config csv-config.yaml
+
    # Continuously vectorize using follow mode (default 30m interval)
    RAGent vectorize --follow