Визуализируйте и оптимизируйте стратегии разделения текста для повышения производительности LLM
Разделяет текст на основе определенного разделителя. Идеально подходит для простых потребностей в разделении текста с точным контролем над точками разделения.
Использует несколько разделителей иерархически. Лучше сохраняет семантическое значение и хорошо обрабатывает вложенные структуры.
Разделяет текст на основе токенов, таких как слова или знаки препинания. Подходит для приложений, которые требуют сохранения грамматической структуры и семантического значения текста.
Разделяет текст на основе форматирования Markdown. Идеально подходит для обработки текста, отформатированного в Markdown, и сохранения его структуры и форматирования.
Разделяет текст на основе форматирования HTML. Подходит для обработки текста, отформатированного в HTML, и сохранения его структуры и форматирования.
Разделяет текст на основе синтаксиса кода Python. Идеально подходит для обработки кода Python и сохранения его структуры и форматирования.
Разделяет текст на основе синтаксиса кода JavaScript. Подходит для обработки кода JavaScript и сохранения его структуры и форматирования.