テクニカルホワイトペーパーとユーザーガイド
大容量テキスト チャンク分割器 技術ガイド
数十万字に及ぶPDF文書、議事録、ソースコードをLLMに入力する際、コンテキスト上限の超過や「迷子（Lost in the Middle）」問題が発生します。SafeAIは意味の切れ目を維持しながら指定トークンサイズごとに綺麗にテキストを分割します。
1. 境界認識型の再帰的テキスト分割アルゴリズム
単純な文字数区切りでは文の途中で単語が切れてしまいます。SafeAIは改行（段落）、句点（文）、読点、空白の優先順位で自然な区切りを探し、指定したトークン上限（例: 4,000トークン）内に収まるチャンクを生成します。
2. モデル別推奨チャンクサイズとオーバーラップ設定
| 対象モデル / システム | 推奨チャンクサイズ | オーバーラップ率 |
|---|---|---|
| 標準LLM API (GPT-6 / Claude) | 3,000 〜 4,000 トークン | 10% (約300トークン) の文脈重複を推奨 |
| RAG (検索拡張生成) システム | 500 〜 1,000 トークン | 15% (セマンティック検索精度の最大化) |
| 要約パイプライン (Map-Reduce) | 6,000 〜 8,000 トークン | 5% (全体の流れを維持しながら高速要約) |
| コード解析・リファクタリング | 関数・モジュール単位 (2,000トークン) | 依存関係の前後文脈を維持 |
3. チャンク分割時の実務トラブルシューティング
-
✓
文脈重複（Overlap）の重要性: チャンク間のつなぎ目に10%程度の重複を持たせることで、文脈の断絶を防ぎます。
-
✓
段落構造の保護: 表やコードブロックの途中で分割されないよう、マークダウンの見出しやブロック記号を優先的に考慮します。
-
✓
一括コピーと管理: 分割された各チャンクはワンクリックで個別コピーまたは一括ダウンロードが可能です。