線形回帰を求める(2)

前回は散布図で、都道府県別人口と平均年収をプロットしました。 後は線形回帰分析するだけです。 線形回帰はsklearnライブラリを使用することで簡単に分析できます。

view plainprint?

1. from sklearn.linear_model import LinearRegression  
2.   
3. X = df3[['人口']]  
4. y = df3['平均年収']  
5.   
6. # モデルの作成  
7. model = LinearRegression()  
8.   
9. model.fit(X, y)  
10.   
11.   
12. print("傾き: %f" % model.coef_)  
13. print("切片: %f" % model.intercept_)  
14. print()  
15. print("決定係数: %f" % model.score(X, y))  

from sklearn.linear_model import LinearRegression

X = df3[['人口']]
y = df3['平均年収']

# モデルの作成
model = LinearRegression()

model.fit(X, y)


print("傾き: %f" % model.coef_)
print("切片: %f" % model.intercept_)
print()
print("決定係数: %f" % model.score(X, y))

y = ax + b 

傾き: 0.124986 

切片: 4101341.031155 

決定係数: 0.605080

sklearnを使うだけで、簡単に単回帰分析出来ます。

predictを使い回帰直線を引きます。

人口と平均年収の関係はありそうですね。

view plainprint?

1. predict = model.predict(X)  
2.   
3. plt.plot(x, predict, color="coral")  

predict = model.predict(X)

plt.plot(x, predict, color="coral")

全コード

view plainprint?

1. #! /usr/bin/env python  
2.   
3. # -*- coding:utf-8 -*-  
4.   
5. #  
6. import pandas as pd  
7. import numpy as np  
8. import matplotlib.pyplot as plt  
9. import japanize_matplotlib  
10. from sklearn.linear_model import LinearRegression  
11.   
12. #日本円表示を数値に  
13. def currencyToNumber(val):  
14.     # 万と千以下に分ける  
15.     man, sen = val.split("万")  
16.   
17.     #円を取り除き,千以下を0埋め  
18.     sen = sen.replace("円", "")  
19.     sen = sen.zfill(4)  
20.   
21.     man += sen  
22.     return int(man)  
23.       
24.   
25. # 数値のカンマを取り除く  
26. def dropComma(val):  
27.     val = val.replace(",", "")  
28.   
29.     return float(val)  
30.   
31. data1 = "../data/prefecture1.csv"  
32. data2 = "../data/income_pref.csv"  
33.   
34. df1 = pd.read_csv(data1)  
35. df2 = pd.read_csv(data2)  
36.   
37. print(df1.head())  
38. print()  
39. print(df2.head())  
40. print()  
41.   
42. df3 = pd.merge(df1, df2)  
43.   
44. print(df3.head())  
45. print()  
46.   
47. df3['平均年収'] = df3['平均年収'].apply(currencyToNumber)  
48. df3['人口'] = df3['人口'].apply(dropComma)  
49.   
50. x = df3['人口']  
51. X = df3[['人口']]  
52. y = df3['平均年収']  
53.   
54.   
55. # モデルの作成  
56. model = LinearRegression()  
57.   
58. model.fit(X, y)  
59.   
60.   
61. print("傾き: %f" % model.coef_)  
62. print("切片: %f" % model.intercept_)  
63. print()  
64. print("決定係数: %f" % model.score(X, y))  
65.   
66. pref_name = df3['都道府県']  
67.   
68. plt.figure(figsize=(16, 10))  
69.   
70. predict = model.predict(X)  
71.   
72.   
73. plt.title("人口と平均年収のグラフ", fontsize=24)  
74. plt.scatter(x, y)  
75. plt.grid()  
76.   
77. plt.xlabel("人口(人)", fontsize=18)  
78. plt.ylabel("平均年収(円)", fontsize=18)  
79.   
80. plt.plot(x, predict, color="coral")  
81.   
82. for i, pref in enumerate(pref_name):  
83.     plt.annotate(pref, (x[i], y[i]))  
84.   
85. nums = plt.gca().get_yticks()  
86. plt.gca().set_yticklabels(['{:,.0f}'.format(i) for i in nums])  
87. nums = plt.gca().get_xticks()  
88. plt.gca().set_xticklabels(['{:,.0f}'.format(i) for i in nums])  
89.   
90. out = "img/prefecture_data1.png"  
91. plt.savefig(out)  
92. plt.show()  

#! /usr/bin/env python

# -*- coding:utf-8 -*-

#
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import japanize_matplotlib
from sklearn.linear_model import LinearRegression

#日本円表示を数値に
def currencyToNumber(val):
    # 万と千以下に分ける
    man, sen = val.split("万")

    #円を取り除き,千以下を0埋め
    sen = sen.replace("円", "")
    sen = sen.zfill(4)

    man += sen
    return int(man)
    

# 数値のカンマを取り除く
def dropComma(val):
    val = val.replace(",", "")

    return float(val)

data1 = "../data/prefecture1.csv"
data2 = "../data/income_pref.csv"

df1 = pd.read_csv(data1)
df2 = pd.read_csv(data2)

print(df1.head())
print()
print(df2.head())
print()

df3 = pd.merge(df1, df2)

print(df3.head())
print()

df3['平均年収'] = df3['平均年収'].apply(currencyToNumber)
df3['人口'] = df3['人口'].apply(dropComma)

x = df3['人口']
X = df3[['人口']]
y = df3['平均年収']


# モデルの作成
model = LinearRegression()

model.fit(X, y)


print("傾き: %f" % model.coef_)
print("切片: %f" % model.intercept_)
print()
print("決定係数: %f" % model.score(X, y))

pref_name = df3['都道府県']

plt.figure(figsize=(16, 10))

predict = model.predict(X)


plt.title("人口と平均年収のグラフ", fontsize=24)
plt.scatter(x, y)
plt.grid()

plt.xlabel("人口(人)", fontsize=18)
plt.ylabel("平均年収(円)", fontsize=18)

plt.plot(x, predict, color="coral")

for i, pref in enumerate(pref_name):
    plt.annotate(pref, (x[i], y[i]))

nums = plt.gca().get_yticks()
plt.gca().set_yticklabels(['{:,.0f}'.format(i) for i in nums])
nums = plt.gca().get_xticks()
plt.gca().set_xticklabels(['{:,.0f}'.format(i) for i in nums])

out = "img/prefecture_data1.png"
plt.savefig(out)
plt.show()

線形回帰を求める(1)

 色々なデータに触れると、相関関係があるのか確かめたくなります。

最も簡単な分析が線形回帰でよく使われています。

今回は、こちらのデータを使い都道府県と平均年収の関係を使って簡単なテストをしてみます。

view plainprint?

1. import pandas as pd  
2.   
3. data1 = "prefecture1.csv"  
4. data2 = "income_pref.csv"  
5.   
6. df1 = pd.read_csv(data1)  
7. df2 = pd.read_csv(data2)  
8.   
9. print(df1.head())  
10. print(df2.head())  

import pandas as pd

data1 = "prefecture1.csv"
data2 = "income_pref.csv"

df1 = pd.read_csv(data1)
df2 = pd.read_csv(data2)

print(df1.head())
print(df2.head())

  都道府県 県庁所在地          人口          面積     人口密度

0  北海道   札幌市  5,181,776   83,424.41    66.08 

1  青森県   青森市  1,221,288    9,645.62   126.62 

2  岩手県   盛岡市  1,196,277   15,275.01    78.32 

3  宮城県   仙台市  2,290,036    7,282.29   314.47 

4  秋田県   秋田市    944,902   11,637.52    81.19 

   順位  都道府県       平均年収

0  1位   東京都  584万9300円

1  2位  神奈川県  541万5500円

2  3位   愛知県   524万400円

3  4位   大阪府  511万8600円

4  5位   兵庫県  495万2100円

データフレームをマージし、数値で処理出来るようにコンマなど取り払います。

説明変数xは人口、目的変数yは平均年収の関係を調べましょう。

view plainprint?

1. # データのマージ  
2. df3 = pd.merge(df1, df2)  
3.   
4.   
5.   
6. #日本円表示を数値に  
7. def currencyToNumber(val):  
8.     # 万と千以下に分ける  
9.     man, sen = val.split("万")  
10.   
11.     #円を取り除き,千以下を0埋め  
12.     sen = sen.replace("円", "")  
13.     sen = sen.zfill(4)  
14.   
15.     man += sen  
16.     return int(man)  
17.       
18.   
19. # 数値のカンマを取り除く  
20. def dropComma(val):  
21.     val = val.replace(",", "")  
22.   
23.     return float(val)  
24.       
25.       
26.       
27. #　関数を適用して数値にする  
28. df3['平均年収'] = df3['平均年収'].apply(currencyToNumber)  
29. df3['人口'] = df3['人口'].apply(dropComma)  
30.   
31. # プロットする場合はSeriesで小文字のx  
32. x = df3['人口']  
33. # 線形回帰する場合はDataFrameで大文字のX  
34. X = df3[['人口']]  
35.   
36. # 目的変数y  
37. y = df3['平均年収']  

# データのマージ
df3 = pd.merge(df1, df2)



#日本円表示を数値に
def currencyToNumber(val):
    # 万と千以下に分ける
    man, sen = val.split("万")

    #円を取り除き,千以下を0埋め
    sen = sen.replace("円", "")
    sen = sen.zfill(4)

    man += sen
    return int(man)
    

# 数値のカンマを取り除く
def dropComma(val):
    val = val.replace(",", "")

    return float(val)
    
    
    
#　関数を適用して数値にする
df3['平均年収'] = df3['平均年収'].apply(currencyToNumber)
df3['人口'] = df3['人口'].apply(dropComma)

# プロットする場合はSeriesで小文字のx
x = df3['人口']
# 線形回帰する場合はDataFrameで大文字のX
X = df3[['人口']]

# 目的変数y
y = df3['平均年収']

出来上がったデータを散布図としてプロットします。

view plainprint?

1. import matplotlib.pyplot as plt  
2. import japanize_matplotlib  
3.   
4.   
5. # 県名が見やすいように大きめのグラフに  
6. plt.figure(figsize=(16, 10))  
7.   
8.   
9. plt.title("人口と平均年収のグラフ", fontsize=24)  
10.   
11. #散布図  
12. plt.scatter(x, y)  
13. plt.grid()  
14.   
15. plt.xlabel("人口(人)", fontsize=18)  
16. plt.ylabel("平均年収(円)", fontsize=18)  
17.   
18. # 点それぞれに中訳を入れる annotate  
19. pref_name = df3['都道府県']  
20.   
21. for i, pref in enumerate(pref_name):  
22.     plt.annotate(pref, (x[i], y[i]))  
23.   
24. # 数値が大きいと指数表示になるので、分かりやすく整数表示にする  
25. nums = plt.gca().get_yticks()  
26. plt.gca().set_yticklabels(['{:,.0f}'.format(i) for i in nums])  
27. nums = plt.gca().get_xticks()  
28. plt.gca().set_xticklabels(['{:,.0f}'.format(i) for i in nums])  
29.   
30.   
31. plt.show()  

import matplotlib.pyplot as plt
import japanize_matplotlib


# 県名が見やすいように大きめのグラフに
plt.figure(figsize=(16, 10))


plt.title("人口と平均年収のグラフ", fontsize=24)

#散布図
plt.scatter(x, y)
plt.grid()

plt.xlabel("人口(人)", fontsize=18)
plt.ylabel("平均年収(円)", fontsize=18)

# 点それぞれに中訳を入れる annotate
pref_name = df3['都道府県']

for i, pref in enumerate(pref_name):
    plt.annotate(pref, (x[i], y[i]))

# 数値が大きいと指数表示になるので、分かりやすく整数表示にする
nums = plt.gca().get_yticks()
plt.gca().set_yticklabels(['{:,.0f}'.format(i) for i in nums])
nums = plt.gca().get_xticks()
plt.gca().set_xticklabels(['{:,.0f}'.format(i) for i in nums])


plt.show()