递归字符文本分片器

智能分割,更好的语义保持

递归字符文本分片器通过智能识别分隔符,自动保持语义完整性。

它会优先使用更大的分隔符(如段落),当块太大时再递归使用更小的分隔符(如句子)。

总字符数: 0

块数量: 0

平均块大小: 0

关于文本分片器

字符分片器

基于特定的分隔符来分割文本。对于需要精确控制分割点的简单文本分割需求来说,这是理想的选择。

递归分片器

以分层的方式使用多个分隔符。更好地保留了语义意义,并能很好地处理嵌套结构。

Token分片器

基于词汇或标点符号等令牌分割文本。适合需要保留文本的语法结构和语义意义的应用。

Markdown分片器

根据Markdown的格式分割文本。理想的处理Markdown格式文本并保留其结构和格式的工具。

HTML分片器

根据HTML的格式分割文本。适用于处理HTML格式的文本并保留其结构和格式。

Python代码分片器

根据Python代码的语法分割文本。理想的处理Python代码并保留其结构和格式的工具。

JavaScript分片器

根据JavaScript代码的语法分割文本。适用于处理JavaScript代码并保留其结构和格式。