token

package

v0.42.0 Latest Latest Go to latest Published: Jan 24, 2026 License: MIT Imports: 1 Imported by: 0

Details

This section is empty.

This section is empty.

func EstimateTokenCount(text string) int

EstimateTokenCount はテキストのトークン数を推定英語: 約4文字 = 1トークン日本語: 約1-2文字 = 1トークン混在を考慮して約2.5文字 = 1トークン

func GetModelTokenLimit(model string) int

GetModelTokenLimit はモデルのトークン上限を取得

func IsTokenLimitError(err error) bool

IsTokenLimitError はエラーがトークン上限エラーかどうかを判定

func TruncateToLastLines(text string, lastN int) (string, bool)

TruncateToLastLines はテキストを最後のN行に切り詰める切り詰めた場合は (切り詰め後テキスト, true) を返す

This section is empty.