Pybrain號(hào)稱(chēng)最好用的Python神經(jīng)網(wǎng)絡(luò)庫(kù)。其實(shí)Scikit-Learn號(hào)稱(chēng)Python上最好用的機(jī)器學(xué)習(xí)庫(kù)，但是它偏偏就沒(méi)有神經(jīng)網(wǎng)絡(luò)這塊，所以就與我無(wú)緣了。

之前也看過(guò)一些提到Neurolab這個(gè)庫(kù)的，打算之后嘗試一下（好像支持的神經(jīng)網(wǎng)絡(luò)不太一樣）。

Pybrain的文檔傳說(shuō)中寫(xiě)得不錯(cuò)，但是我需要的例子它并沒(méi)有。官方文檔給的例子是用于分類(lèi)的，而不是數(shù)據(jù)擬合（預(yù)測(cè)，或者叫做回歸問(wèn)題）。

另外，官方文檔的函數(shù)（方法）說(shuō)明并不全，有一些需要自己通過(guò)help函數(shù)在python shell里調(diào)用，或者直接閱讀源代碼。

好了言歸正傳。大概分為以下這幾步。
. 構(gòu)造神經(jīng)網(wǎng)絡(luò)
. 構(gòu)造數(shù)據(jù)集
. 訓(xùn)練神經(jīng)網(wǎng)絡(luò)
. 結(jié)果可視化
. 驗(yàn)證與分析

可以采用快速建立神經(jīng)網(wǎng)絡(luò)的模式，也可以自己設(shè)定神經(jīng)網(wǎng)絡(luò)。這里采用第二種做法，建立的是前饋神經(jīng)網(wǎng)絡(luò)。
from pybrain.structure import *
# 建立神經(jīng)網(wǎng)絡(luò)fnn
fnn = FeedForwardNetwork()

# 設(shè)立三層，一層輸入層（3個(gè)神經(jīng)元，別名為inLayer），一層隱藏層，一層輸出層
inLayer = LinearLayer(3,)
hiddenLayer = SigmoidLayer(7,)
outLayer = LinearLayer(1,)

# 將三層都加入神經(jīng)網(wǎng)絡(luò)（即加入神經(jīng)元）
fnn.addInputModule(inLayer)
fnn.addModule(hiddenLayer)
fnn.addOutputModule(outLayer)

# 建立三層之間的連接
in_to_hidden = FullConnecTIon(inLayer, hiddenLayer)
hidden_to_out = FullConnecTIon(hiddenLayer, outLayer)

# 將連接加入神經(jīng)網(wǎng)絡(luò)
fnn.addConnecTIon(in_to_hidden)
fnn.addConnecTIon(hidden_to_out)

# 讓神經(jīng)網(wǎng)絡(luò)可用
fnn.sortModules()

在構(gòu)造數(shù)據(jù)集的時(shí)候，我用的是SupervisedDataset，即監(jiān)督數(shù)據(jù)集。也可以試一試別的。
from pybrain.supervised.trainers import BackpropTrainer

# 定義數(shù)據(jù)集的格式是三維輸入，一維輸出
DS = SupervisedDataSet(3,1)

# 往數(shù)據(jù)集內(nèi)加樣本點(diǎn)
# 假設(shè)x1，x2，x3是輸入的三個(gè)維度向量，y是輸出向量，并且它們的長(zhǎng)度相同
for i in len(y):
DS.addSample([x1[i], x2[i], x3[i]], [y[i]])

# 如果要獲得里面的輸入／輸出時(shí)，可以用
X = DS['input']
Y = DS['target']

# 如果要把數(shù)據(jù)集切分成訓(xùn)練集和測(cè)試集，可以用下面的語(yǔ)句，訓(xùn)練集：測(cè)試集＝8:2
# 為了方便之后的調(diào)用，可以把輸入和輸出拎出來(lái)
dataTrain, dataTest = DS.splitWithProportion(0.8)
xTrain, yTrain = dataTrain['input'], dataTrain['target']
xTest, yTest = dataTest['input'], dataTest['target']

構(gòu)造數(shù)據(jù)集部分就這樣告一段落了。

俗話(huà)說(shuō)得好，80%的工作往往是20%的部分完成的。嗯哼，其實(shí)最重要的代碼就是如下這幾行啦。
不過(guò)調(diào)用的是別人的東西，也不知道內(nèi)部的實(shí)現(xiàn)比例，就是開(kāi)個(gè)玩笑。
from pybrain.supervised.trainers import BackpropTrainer

# 訓(xùn)練器采用BP算法
# verbose = True即訓(xùn)練時(shí)會(huì)把Total error打印出來(lái)，庫(kù)里默認(rèn)訓(xùn)練集和驗(yàn)證集的比例為4:1，可以在括號(hào)里更改
trainer = BackpropTrainer(fnn, dataTrain, verbose = True, learningrate=0.01)

# maxEpochs即你需要的最大收斂迭代次數(shù)，這里采用的方法是訓(xùn)練至收斂，我一般設(shè)為1000
trainer.trainUntilConvergence(maxEpochs=1000)

數(shù)據(jù)可視化就不提了，基本上用的是Pylab來(lái)進(jìn)行數(shù)據(jù)可視化，具體可見(jiàn)這篇博文：
Python的一些畫(huà)圖函數(shù) 。

首先，我們可以挑一個(gè)隨機(jī)數(shù)據(jù)來(lái)看看結(jié)果。
import random

# c為從0到xTest的長(zhǎng)度（包括0，不包括長(zhǎng)度）之間的隨機(jī)值
c = random.randint(0, xTest.shape[0])

# X2為xTest的一個(gè)隨機(jī)樣本點(diǎn)
X2 = xTest[c,:]

# activate函數(shù)即神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，預(yù)測(cè)的X2的輸出值
prediction = fnn.activate(X2)

# 可以將其打印出來(lái)
print('true number is: ' + str(yTest[c]),
'prediction number is:' + str(prediction),
'error:' + str((prediction-yTest[c])/yTest[c]))

我們可以把神經(jīng)網(wǎng)絡(luò)打印出來(lái)，此處的代碼是在stackoverflow里找到的，出處忘了，感謝那個(gè)哥們的輪子。
這樣就可以看各條連接的權(quán)重了。

for mod in fnn.modules:
print "Module:", mod.name
if mod.paramdim > 0:
print "--parameters:", mod.params
for conn in fnn.connections[mod]:
print "-connection to", conn.outmod.name
if conn.paramdim > 0:
print "- parameters", conn.params
if hasattr(fnn, "recurrentConns"):
print "Recurrent connections"
for conn in fnn.recurrentConns:
print "-", conn.inmod.name, " to", conn.outmod.name
if conn.paramdim > 0:
print "- parameters", conn.params

我們可以調(diào)用一個(gè)計(jì)時(shí)器來(lái)看程序的運(yùn)行時(shí)間，判斷性能

import time

# 在需要計(jì)時(shí)的代碼前調(diào)用這個(gè)
start = time.clock()

# 在需要計(jì)時(shí)的代碼后再調(diào)用一次clock函數(shù)
elapsed = (time.clock()-start)
print("Time used:" + str(elapsed))

如果需要一些統(tǒng)計(jì)數(shù)據(jù)的話(huà)，可以自己寫(xiě)一些統(tǒng)計(jì)類(lèi)的函數(shù)，或者找包里的tools模塊，有一些統(tǒng)計(jì)函數(shù)，比如均方誤差（MSE）等。