Умное разделение, лучшее сохранение семантики
Рекурсивный разделитель текста интеллектуально определяет разделители для сохранения семантической целостности.
Он приоритизирует более крупные разделители (например, абзацы) и рекурсивно использует более мелкие (например, предложения), когда чанки слишком велики.
Общее количество символов: 0
Количество чанков: 0
Средний размер чанка: 0
Разделяет текст на основе определенного разделителя. Идеально подходит для простых потребностей в разделении текста с точным контролем над точками разделения.
Использует несколько разделителей иерархически. Лучше сохраняет семантическое значение и хорошо обрабатывает вложенные структуры.
Разделяет текст на основе токенов, таких как слова или знаки препинания. Подходит для приложений, которые требуют сохранения грамматической структуры и семантического значения текста.
Разделяет текст на основе форматирования Markdown. Идеально подходит для обработки текста, отформатированного в Markdown, и сохранения его структуры и форматирования.
Разделяет текст на основе форматирования HTML. Подходит для обработки текста, отформатированного в HTML, и сохранения его структуры и форматирования.
Разделяет текст на основе синтаксиса кода Python. Идеально подходит для обработки кода Python и сохранения его структуры и форматирования.
Разделяет текст на основе синтаксиса кода JavaScript. Подходит для обработки кода JavaScript и сохранения его структуры и форматирования.