LangchainでChunk分割とChainTypeをチャンとやって精度と安定性を高める 基本

openai.error.InvalidRequestError: This model's maximum context length is 4097 tokens.

text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0, separator="\n")

text_splitter = CharacterTextSplitter(chunk_size=400, chunk_overlap=10, separator="\n")
docs = text_splitter.split_documents(documents)

from pprint import pprint
pprint(docs)

Created a chunk of size 526, which is longer than the specified 400
[Document(page_content='A 社は、サツマイモ、レタス、トマト、 苺、トウモロコシなどを栽培・販売する農業法人（株式会社）である。資本金は 1,000 万円（現経営者とその弟が折半出資）、従業員数は 40 名（パート従業員 10 名を含む）である。A 社 の所在地は、水稲農家や転作農家が多い地域である。', lookup_str='', metadata={'source': 'reiwa4-1.txt'}, lookup_index=0),
 Document(page_content='A 社は、戦前より代々、家族経営で水稲農家を営んできた。69 歳になる現経営者は、幼い頃から農作業に触れてきた体験を通じて農業の面白さを自覚し、父親からは農業のイロハを叩き込まれた。当初、現経営者は水稲農業を引き継いだが、普通の農家と違うことがしたいと決心し、先代経営者から資金面のサポートを受け、1970 年代初頭に施設園芸用ハウスを建設して苺の栽培と販売を始める。同社の苺は、糖度が高いことに加え、大粒で形状や色合いが良く人気を博した。県外からの需要に対応するため、1970 年代後半にはハウス 1 棟、1980 年代初頭にはハウス 2 棟を増設した。\nその頃から贈答用果物として地元の百貨店を中心に販売され始めた。1980 年代後半にかけて、順調に売上高を拡大することができた。', lookup_str='', metadata={'source': 'reiwa4-1.txt'}, lookup_index=0),
 Document(page_content='他方、バブル経済崩壊後、贈答用の高級苺の売上高は陰りを見せ始める。現経営者は、次の一手として 1990 年代後半に作り方にこだわった野菜の栽培を始めた。当時限られた人員であったが、現経営者を含め農業経験が豊富な従業 員が互いにうまく連携し、サツマイモを皮切りに、レタス、トマト、トウモロコシなど栽培する品種を徐々に広げていった。この頃から業務量の増加に伴い、パート従業員を雇用するようになった。', lookup_str='', metadata={'source': 'reiwa4-1.txt'}, lookup_index=0),
 Document(page_content='A 社は、バブル経済崩壊後の収益の減少を乗り越え、順調に事業を展開していたが、1990 年代後半以降、価格競争の影響を受けるようになった。その頃、首都圏の大手流通業に勤めていた現経営者の弟が入社した。現経営者が生産を担い、弟は常務取締役として販売やその他の経営管理を担い、二人三脚で経営を行うようになる。現経営者と常務は、新しい収益の柱を模索する。そこで、打ち出したのが、「人にやさしく、環境にやさしい農業」というコンセプトであった。常務は、販売先 の開拓に苦労したが、有機野菜の販売業者を見つけることができた。A 社は、この販売業者のアドバイスを受けながら、最終消費者が求める野菜作りを行い、2000 年代前半に有機 JAS と JGAP（農業生産工程管理）の認証を受けた。', lookup_str='', metadata={'source': 'reiwa4-1.txt'}, lookup_index=0),

import time # 各chain_type の実行時間比較

print('--map_reduce--')
# load_qa_chainを準備
chain = load_qa_chain(ChatOpenAI(temperature=0), chain_type="map_reduce")
# 質問応答の実行
s = time.time()
print(chain({"input_documents": docs, "question": query}, return_only_outputs=True))
end = time.time() - s
print(f'map_reduce: {end}')

print('--refine--')
# load_qa_chainを準備
chain = load_qa_chain(ChatOpenAI(temperature=0), chain_type="refine")
# 質問応答の実行
s = time.time()
print(chain({"input_documents": docs, "question": query, "existing_answer": ""}, return_only_outputs=True))
# サンプルだとexisting_answer は指定しなくても動作していたが、実際にはインタープリタには怒られたので空文字列
# langchain 0.0.116 では修正されているので、"existing_answer": "" は不要
end = time.time() - s
print(f'refine: {end}')

print('--map_rerank--')
# load_qa_chainを準備
chain = load_qa_chain(ChatOpenAI(temperature=0), chain_type="map_rerank")
# 質問応答の実行
s = time.time()
print(chain({"input_documents": docs, "question": query}, return_only_outputs=True))
end = time.time() - s
print(f'map_rerank: {end}')

--map_reduce--
{'output_text': '文中には明確な最大の経営課題についての言及はありません。'}
map_reduce: 34.84847950935364
--refine--
{'output_text': 'Based on the context provided, the biggest management challenge for A company would be to adapt to changing market trends and consumer preferences. The company has already faced a decline in sales for their high-end strawberries and had to shift their focus to vegetable cultivation. As the market continues to evolve, the company will need to stay ahead of the curve and be willing to make changes to their products and strategies to remain competitive. Additionally, managing the increasing workload and hiring and training new employees will also be a challenge for the company.'}
refine: 24.453298568725586
--map_rerank--
{'output_text': 'The biggest management challenge was the complexity of the business, including unclear role assignments among employees and issues with supply and demand. Additionally, there was pressure from major clients to maintain stable quality and shipping. '}
map_rerank: 14.920390129089355