下処理の続き
前回のスクリプトをまとめる
以下のスクリプトを一括で処理するようにし、最終出力はExcelファイルにしてください。
スクリプト1.
import pandas as pd
import glob
# 同じフォルダ内の全てのCSVファイルを取得
csv_files = glob.glob(‘./*.csv’)
# 各CSVファイルを読み込み、データフレームのリストを作成
dfs = [pd.read_csv(f, dtype=str) for f in csv_files]
# 全てのデータフレームを縦に結合
merged_df = pd.concat(dfs, ignore_index=True)
# 結合したデータフレームを新しいCSVファイルとして保存
merged_df.to_csv(‘merged.csv’, index=False)
スクリプト2.
import pandas as pd
import hashlib
# データを読み込む
df = pd.read_csv(‘merged.csv’, dtype=str)
###########[中略]############
# Drop the ‘postal_code’ column
df = df.drop([‘postal_code’], axis=1)
# Write the DataFrame to a new CSV file
df.to_csv(‘prefecture.csv’, index=False)
このように、作成されたスクリプトをコピー＆ペーストしてまとめるように指示することで、一個ずつスクリプトを実行する必要がなくなります。
また、CSVを何度も取り扱う内にデータが壊れた（ユーザーからの自由入力部分でデータが破損した）ので、出力をExcelファイルにさせています。
データ分析にCode Interpreterを利用する
ファイルをアップロードするときのプロンプトのコツ
特にExcel, CSVなどのデータベースの場合、ついついヘッダー行があれば説明不要と考えてしまいがちですが、意外にちゃんとアップロードしたファイルについて指示をしないと、しっかり解釈してくれません。
複数の事業部の過去の売上データが含まれるExcelファイルです。
– 事業部の区別は、「事業部」列で行います。
– 「伝票番号」が同一の行は同一の注文で、商品の明細を区別するために複数行にまたがっています。
– 顧客はunique_idで区別します。
ありがとうございます。提供いただいたExcelファイルを開き、どのようなデータが含まれているか確認します。この操作を行いますか？
このように、内容について説明した上でも、ファイルを開くかどうかも明示的に指示する必要があります。この場合、「続けて」などとプロンプトの入力を行えば問題なく処理は実行されますが、3時間25回制限があることを考えると、さすがにちょっと無駄が多いです。
とりあえず読み込ませて見たい場合でも、以下のように修正するといいでしょう。
複数の事業部の過去の売上データが含まれるExcelファイルです。
– 事業部の区別は、「事業部」列で行います。
– 「伝票番号」が同一の行は同一の注文で、商品の明細を区別するために複数行にまたがっています。
– 顧客はunique_idで区別します。
その他、売上に関するデータが含まれているため、ファイルを開いてデータの構造と内容を確認してください。
もちろん、CSVファイルをテキストエディタで開いてヘッダー行だけコピー＆ペーストして最初から構造を厳密に説明するのも一つの手段であると思います。
RFM分析をステップバイステップで実行する
前回、あまり上手く行かなかった RFM 分析を改めて実行してみるとします。上手く行かなかった原因は、一足飛びにデシル分析まで行わせてしまったことです。今回は、まずは分布を把握してどのようなランクわけが適切かを把握したいと思います。
R, F, M 各要素の分布を把握する
事業部Aについて、RFM分析をしたいと考えています。
顧客毎に、Recency(受注日の最新から計算), Frequency(受注日から計算), Monetary(合計金額から計算)を求め、その分布をグラフ化してください。
各指標について、同一の伝票番号を複数回使用しないように気をつけてください。
了解しました。RFM分析を行うためには以下の手順を行います。
- Recency: 顧客の最後の購入日からの経過日数を計算します。ここでは、データセットの最新の受注日から各顧客の最新の受注日を引くことで計算します。
- Frequency: 顧客が何回購入を行ったかを計算します。ここでは、同一の伝票番号は1回の購入とみなし、各顧客の購入回数をカウントします。
- Monetary: 顧客が購入した合計金額を計算します。ここでは、同一の伝票番号に対する合計金額を1回の購入とみなし、顧客の購入合計金額を計算します。
これらの指標を計算した後、各顧客のRecency, Frequency, Monetaryの分布をグラフ化します。この手順で進めて良いでしょうか？
Frequency, Monetary については注釈が機能しているため、そのまま進めそうになりますが、Recencyの行が少しおかしいです。
Recencyの計算では事業部ごとに基準となる日付を統一（または区別）したい場合があるので日付を明示して算出させます。
Recencyについては、2023/07/15からデータセットの最新の受注日を引いて求めてください。その他は示された手順で実行してください。
一気にヒストグラムを作ってほしかったのですが、計算→改めてグラフ作成の許可を求める、という流れになってしまいました。相変わらず25t/hの制限があるので、プロンプトによってできるだけ明確に、グラフの作成まで指示するといいように思います。
Recency、Frequency、Monetaryの分布をグラフ化しました。
- Recencyの分布: 最終購入日からの経過日数の分布を示しています。このグラフから、多くの顧客が最近購入を行っていることがわかります。
- Frequencyの分布: 購入回数の分布を示しています。大多数の顧客が少数の購入を行っており、高頻度で購入する顧客は少ないことが確認できます。
- Monetaryの分布: 購入合計金額の分布を示しています。購入合計金額は幅広い範囲にわたりますが、大多数の顧客は小額の購入を行っていることが見て取れます。
これらの情報をもとに、顧客セグメンテーションやマーケティング戦略の策定など、様々な分析が可能です。何か他に分析を行いたいことはありますか？
LTVを高める観点からすると、購入回数の大半が1回となっている点に課題があることが読み取れます。試験だったら簡単にここを課題として改善施策を提案できるところでしょう。とはいえ、この場合は算出したUnique_IDを利用しているため、同一顧客であるにも関わらず別の顧客であると判定されている可能性がそこそこある点も考慮に入れる必要がありそうです。Frequent Shopper Programの導入などでFrequencyを高めつつ、そもそも顧客情報を登録してもらうことからスタートするのがいいかもしれません。
売れ筋の価格帯
マーケティングの4Pのうち、悩むが尽きないのがprice(価格)です。上位の売れ筋の商品は分析するまでもなく把握できている場合がほとんどですが、価格帯となると、「安い方が売れる」というのがなんとなく一般的な常識になっています。しかし一方で、高価格路線で成功しているブランドも存在していることから、常に価格が安いものが多く売れている事業・ブランドばかりでないことが分かります（データを見たことはありませんが、IT系の技術書は、低価格帯より3,000円以上の方が売れているイメージはあります）。
ということで、ロングテールをEC事業では特に面倒くさい集計をさせてみます。
事業部Aについて、商品単価と、合計受注数の合計について散布図を描画してください。
また相関関係を計算してください。
商品単価と合計受注数の散布図を作成しました。また、これらの間の相関係数を計算したところ、-0.007となりました。これは商品単価と合計受注数の間にはほとんど相関がないことを示しています。
これは、高価な商品と安価な商品のどちらも同様に販売されている可能性を示しています。また、この情報は価格設定戦略を考える際にも参考になるかもしれません。
他に何か質問がありますか？
外れ値が余りに大きいので、意味を為していませんね。これを修正してもらおうと思います。
横軸のProduct Price を見ながら指示すると、0.5以上はいらないかな……と思うのですが、ChatGPT自体はこのグラフを「見て」はいないため、実数での0.5以上を除外（つまりサービス品以外全て除外）になってしまいます。
0.5*1e6 = 500,000以上の数値と、オプションや明細での但し書きに使われている0円の商品を除外して作図を指示します。
相関係数 -0.029
外れ値を除外したことである程度見やすくなりましたが、まだまだ低価格品に売上個数は集中しているようです。これだけを見ると、ほぼ完璧な無相関という結果が分かりづらいので、価格帯でグループ化を行って直感的に分かりやすい形にしてみます。
商品単価を、1000未満、1001～3000, 3001～5000, 5001～10000,10001～15000, 15001～25000, 25001以上に分類し、それぞれの価格帯の販売個数をグラフ化してください。
全体としては価格と販売個数には負の相関があるといえそうですが、5001～10,000の価格帯が突出して売り上げているため計算上は無相関となります。ソフトウェアや書籍などの慣習価格が強いジャンルではよく見かける形ではないでしょうか。
それ以外では、プライスライニング戦略やロスリーダー戦略が功を奏しているのかもしれません。
季節性を考慮した分析
日本では古くから「かき入れ時」といった言葉があるくらい、ビジネスには一年を通じた繁閑が存在しています。これも分析するまでもなく、その企業・領域では定性的に「～月くらいが忙しい」と理解されています。また、業界が違っても、一般的な小売店はボーナスの時期は売上が高くなるだろうことなどは理解されます。
ただ、そういった季節性があるため、どうしても「前年同期比・同月比」といった分割された指標での評価ばかりで、全体的なトレンド（傾向）の把握ができていない企業は（大企業以外では）多いと思われます。
もちろん、統計的な手法を Excel 上で適用して分析を行うこともできますが、割と面倒くさいです（だから、Excelだけでできるにも関わらず、「やれていない」場合が多いのです）。ただ、Code Interpreterであればこれも容易です。
事業部Aについて、季節成分を除去してみてください。
季節成分の除去には、いくつかの方法がありますが、ここではPythonのStatsmodelsライブラリを使用して、季節分解（Seasonal Decomposition of Time Series）を行います。これは、時間系列データを以下の3つの成分に分解する方法です：
- トレンド成分（Trend component）：データの長期的な上昇または下降パターンを表します。
- 季節成分（Seasonal component）：定期的なパターンを表し、一般的に1年周期を持ちます（例：毎年12月の売上が高いなど）。
- 残差成分（Residual component）：トレンドと季節成分で説明できない部分を表します。
これらの成分を分解した後、季節成分を除去したデータ（トレンド成分 + 残差成分）を計算します。
では、この操作を行いますか？
季節成分を除去した売上データをグラフ化しました。具体的には、以下の3つのグラフを描画しました：
- Original Sales and Trend：元の売上とトレンド（赤線）を表示しています。トレンドはデータの長期的な上昇または下降パターンを示しています。
- Seasonal Component：季節成分（緑線）を表示しています。これは定期的なパターンを表しており、一般的に1年周期を持っています。
- Sales with Seasonal Component Removed：季節成分を除去した売上（紫線）を表示しています。これはトレンド成分と残差成分の合計に相当します。
これにより、売上データから季節的な変動を除去し、他の要素（例えば、長期的なトレンド）による売上の動きをより明確に理解することができます。
長期的なトレンドでは上昇傾向（一番上のグラフ）、季節性では1月と4月に売上が集中している（真ん中のグラフ）ことが分かります。冬季のボーナスや年度末の影響を受けていることが想定されます。
また、トレンド成分よりも大きく、2022年の9月以降に大きく売上が上昇している（残差成分が多い）ことが分かりますが、これはコロナ禍が終息するという気運が影響した結果と言えます（つまりこのグラフを用いれば、単純な前年比などで成長していない、と上層部に怒られたときに説明しやすいですね）。
人口を考慮したジオグラフィック分析
事業部AはEC事業を営んでいますが、地域的な傾向を把握したいとします。もちろん、単純に売上を合計することも可能です。
事業部Aについて、都道府県別に売上合計金額を集計して順位付けしてください。 不明については、異常値であるため順位付けからは除外してください。
都道府県別の売上合計金額を集計し、順位付けしました。以下がトップ5の都道府県です：
- 東京都：5**,***,239円
- 愛知県：1**,***,909円
- 大阪府：4*,***,588円
- 神奈川県：3*,***,572円
- 千葉県：2*,***,109円
これらの情報は、地域別のマーケティング戦略を策定する際に役立つかもしれません。たとえば、売上が高い都道府県に対するマーケティング活動を強化したり、逆に売上が低い都道府県の売上向上策を考えたりすることができます。
東京などの都市部に売上が集中することは、距離的制約のないECであっても通常の傾向と言えます。それにしても集中しすぎているように見えます。そこで、人口当たりの売上を計算したいとします。
人口については、総務省統計局がデータを公開しているのでこれを利用します。
ただ、お役所のExcelらしく、このままではデータベースとして使いづらいのでダウンロードしたデータから不要な行・列を削除します。頑張ってChatGPTに除去させる方法もありますが……無駄な労力なのでここでは自分でやります。CodeInterpreterにやらせたい面倒な作業はまだ残るので、大丈夫です（？）
これは、日本の都道府県別の人口のデータが格納されているExcelファイルです(数値は1000人単)。人口一人当たり
間違って途中で送信していますが、このくらいであればChatGPTはきちんと推論を働かせます（非常に高性能に見えますが、むしろこういった「続きを補完する」方法の応用がChatGPTなのでこのくらい動いてくれないと困るとも言います）。
都道府県別の人口データを読み込みました。ただし、都道府県名が数字と都道府県名を含んでいるため、これを修正します。
次に、人口一人当たりの売上を計算します。これは、都道府県ごとの総売上をその都道府県の人口で割ることで計算できます。
01 北海道などのように、不要なセルがあるくせに何故か番号は都道府県名と同じセルに入力するという、理解に苦しむデータ構造のため、この余計な部分は削除させます。
都道府県別の人口データと売上データをマージし、人口一人当たりの売上を計算しました。しかし、マージ結果から、北海道のデータしか取得できていません。
これは、人口データと売上データの都道府県名が完全に一致していないためと思われます。具体的には、一部の都道府県名が異なる表記（例えば、「東京都」対「東京」など）である可能性があります。
都道府県名を正規化するための追加の処理が必要です。どのように進めてよいですか？
しかし、これだけでは動作しません。動作しない理由は ChatGPT が示唆している通り、「都道府県」について、北海道以外は地方公共団体名のみが格納されているという、全く統一感のないデータになっていることが原因です。Code Interpreter 融通の利かない（正確な）プログラムで動作しますので、これでは一致しないためにデータを結合できません。
ここでは、売上データから該当文字を削除することで対応しています。逆に、都道府県の人口データ側の都道府県名が「一部または全部含まれる」データを検索する手法でも動作するでしょう。
都道府県名の末尾にある「都」「府」「県」を削除した後、売上データと人口データをマージし、人口一人当たりの売上を計算しました。以下が人口一人当たりの売上が高いトップ5の都道府県です：
- 東京：3*,*75円
- 愛知：1*,*24円
- 大阪：5,**0円
- 和歌山：4,**3円
- 千葉：4,**4円
データを人口で正規化すると、東京が突出して売上が大きいという傾向は変わりませんが、続く愛知との差はむしろ縮まっていることがわかります。3位以下になると差が一気に縮まるため、東京・愛知が特異な傾向を示していることが明確になりました。
もちろん、これをグラフ化すると更に傾向が明白になります。
終わりに
CodeInterpreter経由で、Python のデータ/数値解析の機能を利用すると以下のような利点が得られます。
- RFM分析のような複数指標の分析をしたいときに、まとめて俯瞰できるグラフを一括で出力できる
- 価格と売上個数の相関関係のような基本的な情報について出力を見て考察しながら、データの切り口を変えて分析していける
- 季節性分析や人口を考慮したジオグラフィック分析のような専門性か、手間が必要な処理を簡単に実行できる
これは、
- 省力化
- 考察の邪魔になるノイズの排除（ツールの使い方などに意識をとられないで済む）
- 専門性の代替
といったメリットを得られると言えます。
一方で、
- 適切な分析手法を選択できるか
- 適切なデータを用意できるか
- ChatGPTが知り得ない定性的な情報（コロナ禍や日本の商習慣）を考慮できるか
といった点についてはまだ使用者に依存します。
また、ChatGPT, Code Interpreter に限りませんが、ツールによって専門性が代替され高度な分析ができるようになっても、そのデータの意味を適切に評価することはもちろん、適切に他者に伝える能力が重要であることは間違いありません。
KPI そのものであることはほぼありませんから、KPIやKGIとどう関連していてどう重要であるかを納得させられなければ、ChatGPTによる「解の捏造」「幻視」と差はありません（自身が最終決定者であれば別ですが）。
そういった意味で、ChatGPTを使える・正しい知見を有していることに加えて、生きた人間とコミュニケーションを図り納得してもらうスキルがより重要になります。いずれも重要ですが、ただ作業を行える、運用出来る程度正しい知識を得る程度であれば、これまでよりずっとハードルが低くなるからです。
