テキスト分割戦略を可視化・最適化してLLMのパフォーマンスを向上
特定のセパレータに基づいてテキストを分割します。簡単なテキスト分割のニーズに適しており、分割点を精確に制御することができます
複数のセパレータを階層的に使用します。意味的な整合性をより良く保持し、ネストされた構造をうまく処理します
トークン（単語や句読点など）に基づいてテキストを分割します。文法的構造と意味的な整合性を保持する必要があるアプリケーションに適しています
マークダウン形式に基づいてテキストを分割します。マークダウン形式のテキストを処理し、その構造とフォーマットを保持するのに最適です
HTML形式に基づいてテキストを分割します。HTMLテキストを処理し、その構造とフォーマットを保持するのに適しています
Pythonコードの構文に基づいてテキストを分割します。Pythonコードを処理し、その構造とフォーマットを保持するのに最適です
JavaScriptコードの構文に基づいてテキストを分割します。JavaScriptコードを処理し、その構造とフォーマットを保持するのに適しています