スマートな分割、より良い意味の保持
再帰的文字テキスト分割器は、意味的な整合性を保つためにセパレータを賢く識別します
大きなセパレータ(段落など)を優先し、チャンクが大きすぎる場合は小さなセパレータ(文など)を再帰的に使用します
総文字数: 0
チャンクの数: 0
平均チャンクサイズ: 0
特定のセパレータに基づいてテキストを分割します。簡単なテキスト分割のニーズに適しており、分割点を精確に制御することができます
複数のセパレータを階層的に使用します。意味的な整合性をより良く保持し、ネストされた構造をうまく処理します
トークン(単語や句読点など)に基づいてテキストを分割します。文法的構造と意味的な整合性を保持する必要があるアプリケーションに適しています
マークダウン形式に基づいてテキストを分割します。マークダウン形式のテキストを処理し、その構造とフォーマットを保持するのに最適です
HTML形式に基づいてテキストを分割します。HTMLテキストを処理し、その構造とフォーマットを保持するのに適しています
Pythonコードの構文に基づいてテキストを分割します。Pythonコードを処理し、その構造とフォーマットを保持するのに最適です
JavaScriptコードの構文に基づいてテキストを分割します。JavaScriptコードを処理し、その構造とフォーマットを保持するのに適しています