Ollamaのnum_ctx超過時に中央部が削除される仕様を理解する：実測と実装から見る対策

import tiktoken

def check_context_size(text, model_context_size=4096, safety_margin=0.8):
    # トークナイザーを初期化（Ollamaのモデルに応じて選択）
    encoder = tiktoken.get_encoding("cl100k_base")
    token_count = len(encoder.encode(text))
    
    threshold = model_context_size * safety_margin
    
    if token_count > threshold:
        print(f"警告: トークン数 {token_count} が閾値 {threshold} を超えています")
        return False, token_count
    return True, token_count

# 使用例
text = "長い文字起こしテキスト..."
is_safe, count = check_context_size(text)
if not is_safe:
    # チャンク分割処理へ
    pass

def process_long_text_with_ollama(text, chunk_size=3000):
    chunks = [text[i:i+chunk_size] for i in range(0, len(text), chunk_size)]
    results = []
    
    for i, chunk in enumerate(chunks):
        prompt = f"以下は文書の第{i+1}部分です。要約してください：\n\n{chunk}"
        # Ollama APIコール
        response = ollama.generate(model="llama2", prompt=prompt)
        results.append(response['response'])
    
    # 最終統合
    final_prompt = f"以下の部分要約を統合してください：\n\n{' '.join(results)}"
    return ollama.generate(model="llama2", prompt=final_prompt)

def validate_response(original_text, response, expected_coverage=0.7):
    # 元テキストの重要キーワードを抽出
    from collections import Counter
    import re
    
    words_original = re.findall(r'\w+', original_text.lower())
    words_response = re.findall(r'\w+', response.lower())
    
    # 頻出語の上位20%をキーワードとする
    important_words = [w for w, c in Counter(words_original).most_common(len(set(words_original))//5)]
    
    # レスポンスにキーワードがどれだけ含まれるか
    coverage = sum(1 for w in important_words if w in words_response) / len(important_words)
    
    if coverage < expected_coverage:
        print(f"警告: カバレッジ {coverage:.2%} が期待値を下回っています")
        return False
    return True