❶ 怎樣用tensorflow從文件中讀取數據建立batch
用pickle來load字典結構的數據
代碼如下：
import pickle as p#記得導入pickle,用它來載入數據
import os
import tensorflow as tf
filename = os.path.join("data","contact")#我把數據文本放在項目下的data文件夾下
X = None
Y = None
with open(filename, 'rb')as f:
#從字典結構的數據文本載入數據，載入出來的數據保留了字典結構
datadict = p.load(f)
❷ TensorFlow製作TFRecord文件方式的數據集的完整程序，最好標明怎麼輸入輸出地址
# 將圖片轉換為TFrecord 格式並讀取
import os
import tensorflow as tf
from PIL import Image
# 源數據地址
cwd = 'C:\\Users\\xiaodeng\\Desktop\\UCMerced_LandUse\\Images'
# 生成record路徑及文件名
train_record_path = r"C:\\Users\\xiaodeng\\Desktop\\train.tfrecords"
test_record_path = r"C:\\Users\\xiaodeng\\Desktop\\test.tfrecords"
# 分類
classes = {'agricultural','airplane','baseballdiamond',
'beach','buildings','chaparral','denseresidential',
'forest','freeway','golfcourse','harbor',
'intersection','mediumresidential','mobilehomepark','overpass',
'parkinglot','river','runway','sparseresidential','storagetanks','tenniscourt'}
def _byteslist(value):
"""二進制屬性"""
return tf.train.Feature(bytes_list = tf.train.BytesList(value = [value]))
def _int64list(value):
"""整數屬性"""
return tf.train.Feature(int64_list = tf.train.Int64List(value = [value]))
#def create_train_record(cwd,classes):
"""創建訓練集tfrecord"""
writer = tf.python_io.TFRecordWriter(train_record_path) # 創建一個writer
NUM = 1 # 顯示創建過程（計數）
for index, name in enumerate(classes):
class_path = cwd + "/" + name + '/'
l = int(len(os.listdir(class_path)) * 0.7) # 取前70%創建訓練集
for img_name in os.listdir(class_path)[:l]:
img_path = class_path + img_name
img = Image.open(img_path)
img = img.resize((256, 256)) # resize圖片大小
img_raw = img.tobytes() # 將圖片轉化為原生bytes
example = tf.train.Example( # 封裝到Example中
features=tf.train.Features(feature={
"label":_int64list(index), # label必須為整數類型屬性
'img_raw':_byteslist(img_raw) # 圖片必須為二進制屬性
}))
writer.write(example.SerializeToString())
print('Creating train record in ',NUM)
NUM += 1
writer.close() # 關閉writer
print("Create train_record successful!")
#def create_test_record(cwd,classes):
"""創建測試tfrecord"""
writer = tf.python_io.TFRecordWriter(test_record_path)
NUM = 1
for index, name in enumerate(classes):
class_path = cwd + '/' + name + '/'
l = int(len(os.listdir(class_path)) * 0.7)
for img_name in os.listdir(class_path)[l:]: # 剩餘30%作為測試集
img_path = class_path + img_name
img = Image.open(img_path)
img = img.resize((256, 256))
img_raw = img.tobytes() # 將圖片轉化為原生bytes
# print(index,img_raw)
example = tf.train.Example(
features=tf.train.Features(feature={
"label":_int64list(index),
'img_raw':_byteslist(img_raw)
}))
writer.write(example.SerializeToString())
print('Creating test record in ',NUM)
NUM += 1
writer.close()
❸ tensorflow會產生什麼文件
每個特徵映射都是對圖像內容的一種抽象，所以一般來說特徵映射的種類越多，對內容的抽象就越豐富，但是訓練也越慢，越容易 overfitting。這里 32 和 64，應該就是一個經驗值。
❹ 如何製作tensorflow庫里的mnist那種格式的數據集
MNIST 數據集 混合的國家標准和技術 (簡稱 MNIST) 由紅外研究員，作為基準來比較不同的紅外演算法創建數據集。 其基本思想是如果你有你想要測試紅外的演算法或軟體的系統，可以運行您的演算法或系統針對 MNIST 的數據集和比較您的結果與其他系統以前發布成果。 數據集包含的共 70,000 圖像 ； 60,000 訓練圖像 （用於創建紅外模型） 和 10,000 測試圖像 （用於評估模型的精度）。 每個 MNIST 圖像是一個單一的手寫的數字字元的數字化的圖片。 每個圖像是 28 x 28 像素大小。 每個像素值是 0，表示白色，至 255，表示黑。 中間像素值表示的灰度級。 圖 2 顯示了訓練集的前八位的圖像。 對應於每個圖像的實際數字是顯然對人，但確定數字是非常困難的挑戰的計算機。 圖 2 首八 MNIST 訓練圖像 奇怪的是，訓練數據和測試數據均存儲在兩個文件中，而不是在單個文件中。 其中一個文件包含圖像的像素值和，另一個包含圖像的標簽信息 （0 到 9）。 每個的四個文件還包含標頭信息，和所有的四個文件都存儲在已經使用 gzip 格式壓縮的二進制格式。 注意在圖 1，該演示程序使用僅 60,000 項目訓練集。 測試集的格式是相同的訓練集。 MNIST 文件的主存儲庫是目前位於 yann/exdb/mnist。 培訓的像素數據存儲在文件火車-圖像-idx3-ubyte.gz 和培訓標簽數據存儲在文件火車-標簽-idx1-ubyte.gz。 若要運行該演示程序，您需要轉到 MNIST 的存儲庫站點，下載並解壓的兩個培訓數據文件。 將文件解壓縮，我用的免費的開源 7-Zip 實用程序。 創建 MNIST 查看器 若要創建 MNIST 演示程序，我發起了 Visual Studio，創建一個名為 MnistViewer 的新 C# Windows 窗體項目。 演示有沒有重大的.NET 版本依賴關系，因此，任何版本的 Visual Studio 應該工作。 模板代碼載入到 Visual Studio 編輯器後，我設置的 UI 控制項。 我添加了兩個 TextBox 控制項 (textBox1，textBox2) 要堅持兩個解壓後的培訓文件的路徑。 我添加一個按鈕控制項 (button1)，並給了它一個標簽載入圖像。 我添加了兩個多個 TextBox 控制項 （textBox3，textBox4） 以保存當前圖像索引和下一個圖像索引的值。 我使用 Visual Studio 設計器，分別設置"NA"和"0，"這些控制項的初始值。 我添加了一個 ComboBox 控制項 (comboBox1) 的圖像放大倍數值。 使用設計器，我去到該控制項的項集合，添加字元串"1"到"10"。我添加了第二個按鈕控制項 (button2)，並給了它一個標簽的顯示下一次。 我添加了 PictureBox 控制項 (pictureBox1)，將其背景色屬性設置為 ControlDark，以便看到控制項的輪廓。 我將圖片框大小設置為 280 x 280 允許最多 10 倍的放大倍率 （回顧 MNIST 圖像是 28 x 28 像素為單位）。 我添加了第五個 （textBox5） 文本框以顯示十六進制值的圖像，然後將其多行屬性設置為 True 和其字體屬性設置為 8.25 磅 Courier New 和擴大其大小到 606 x 412。 而且，最後，我添加了一個列表框控制項 （listBox1) 的日誌記錄消息。 後放置 UI 控制項拖到 Windows 窗體，添加三個類范圍欄位： public partial class Form1 : Form { private string pixelFile = @"C:\MnistViewer\train-images.idx3-ubyte"; private string labelFile = @"C:\MnistViewer\train-labels.idx1-ubyte"; private DigitImage[] trainImages = null; ... 第一次兩個字元串指向解壓後的培訓數據文件的位置。 你會需要編輯這些要運行演示的兩個字元串。 第三個欄位是一個程序定義 DigitImage 對象的數組。 我編輯窗體的構造函數略成 textBox1 和 textBox2 地點的文件路徑，並給予放大倍數初始值 6： public Form1() { InitializeComponent(); textBox1.Text = pixelFile; textBox2.Text = labelFile; comboBox1.SelectedItem = "6"; this.ActiveControl = button1; } 我用的 ActiveControl 屬性來設置初始焦點到 button1 控制項，只是為了方便。
❺ tensorflow怎麼從資料庫讀取數據
# -*- coding:utf-8 -*-import tensorflow as tf filename_queue = tf.train.string_input_procer(["file01.csv", "file02.csv"])reader = tf.TextLineReader()key, value = reader.read(filename_queue) # Default values, in case of empty columns. Also specifies the type of the# decoded result.record_defaults = [[1], [1], [1]]col1, col2, col3 = tf.decode_csv(value, record_defaults = record_defaults)features = tf.stack([col1, col2]) init_op = tf.global_variables_initializer()local_init_op = tf.local_variables_initializer() # local variables like epoch_num, batch_size 可以不初始化localwith tf.Session() as sess: sess.run(init_op) sess.run(local_init_op) # Start populating the filename queue. coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(coord=coord) for i in range(5): # Retrieve a single instance: example, label = sess.run([features, col3]) print(example) print(label) coord.request_stop() coord.join(threads)
❻ tensorflow中一個tensor怎麼轉化成tf.get_variable格式
基本使用
使用 TensorFlow, 你必須明白 TensorFlow:
使用圖 (graph) 來表示計算任務.
在被稱之為 會話 (Session) 的上下文 (context) 中執行圖.
使用 tensor 表示數據.
通過 變數 (Variable) 維護狀態.
使用 feed 和 fetch 可以為任意的操作(arbitrary operation) 賦值或者從其中獲取數據.
綜述
TensorFlow 是一個編程系統, 使用圖來表示計算任務. 圖中的節點被稱之為 op
(operation 的縮寫). 一個 op 獲得 0 個或多個 Tensor, 執行計算,
產生 0 個或多個 Tensor. 每個 Tensor 是一個類型化的多維數組.
例如, 你可以將一小組圖像集表示為一個四維浮點數數組,
這四個維度分別是 [batch, height, width, channels].
一個 TensorFlow 圖描述了計算的過程. 為了進行計算, 圖必須在 會話 里被啟動.
會話 將圖的 op 分發到諸如 CPU 或 GPU 之類的 設備 上, 同時提供執行 op 的方法.
這些方法執行後, 將產生的 tensor 返回. 在 Python 語言中, 返回的 tensor 是
numpy ndarray 對象; 在 C 和 C++ 語言中, 返回的 tensor 是
tensorflow::Tensor 實例.
計算圖
TensorFlow 程序通常被組織成一個構建階段和一個執行階段. 在構建階段, op 的執行步驟
被描述成一個圖. 在執行階段, 使用會話執行執行圖中的 op.
例如, 通常在構建階段創建一個圖來表示和訓練神經網路, 然後在執行階段反復執行圖中的訓練 op.
TensorFlow 支持 C, C++, Python 編程語言. 目前, TensorFlow 的 Python 庫更加易用,
它提供了大量的輔助函數來簡化構建圖的工作, 這些函數尚未被 C 和 C++ 庫支持.
三種語言的會話庫 (session libraries) 是一致的.
構建圖
構建圖的第一步, 是創建源 op (source op). 源 op 不需要任何輸入, 例如 常量 (Constant). 源 op 的輸出被傳遞給其它 op 做運算.
Python 庫中, op 構造器的返回值代表被構造出的 op 的輸出, 這些返回值可以傳遞給其它
op 構造器作為輸入.
TensorFlow Python 庫有一個默認圖 (default graph), op 構造器可以為其增加節點. 這個默認圖對
許多程序來說已經足夠用了. 閱讀 Graph 類 文檔
來了解如何管理多個圖.
import tensorflow as tf
# 創建一個常量 op, 產生一個 1x2 矩陣. 這個 op 被作為一個節點
# 加到默認圖中.
#
# 構造器的返回值代表該常量 op 的返回值.
matrix1 = tf.constant([[3., 3.]])
# 創建另外一個常量 op, 產生一個 2x1 矩陣.
matrix2 = tf.constant([[2.],[2.]])
# 創建一個矩陣乘法 matmul op , 把 'matrix1' 和 'matrix2' 作為輸入.
# 返回值 'proct' 代表矩陣乘法的結果.
proct = tf.matmul(matrix1, matrix2)
默認圖現在有三個節點, 兩個 constant() op, 和一個matmul() op. 為了真正進行矩陣相乘運算, 並得到矩陣乘法的
結果, 你必須在會話里啟動這個圖.
在一個會話中啟動圖
構造階段完成後, 才能啟動圖. 啟動圖的第一步是創建一個 Session 對象, 如果無任何創建參數,
會話構造器將啟動默認圖.
欲了解完整的會話 API, 請閱讀Session 類.
# 啟動默認圖.
sess = tf.Session()
# 調用 sess 的 'run()' 方法來執行矩陣乘法 op, 傳入 'proct' 作為該方法的參數.
# 上面提到, 'proct' 代表了矩陣乘法 op 的輸出, 傳入它是向方法表明, 我們希望取回
# 矩陣乘法 op 的輸出.
#
# 整個執行過程是自動化的, 會話負責傳遞 op 所需的全部輸入. op 通常是並發執行的.
#
# 函數調用 'run(proct)' 觸發了圖中三個 op (兩個常量 op 和一個矩陣乘法 op) 的執行.
#
# 返回值 'result' 是一個 numpy `ndarray` 對象.
result = sess.run(proct)
print result
# ==> [[ 12.]]
# 任務完成, 關閉會話.
sess.close()
Session 對象在使用完後需要關閉以釋放資源. 除了顯式調用 close 外, 也可以使用 "with" 代碼塊
來自動完成關閉動作.
with tf.Session() as sess:
result = sess.run([proct])
print result
在實現上, TensorFlow 將圖形定義轉換成分布式執行的操作, 以充分利用可用的計算資源(如 CPU
或 GPU). 一般你不需要顯式指定使用 CPU 還是 GPU, TensorFlow 能自動檢測. 如果檢測到 GPU, TensorFlow
會盡可能地利用找到的第一個 GPU 來執行操作.
如果機器上有超過一個可用的 GPU, 除第一個外的其它 GPU 默認是不參與計算的. 為了讓 TensorFlow
使用這些 GPU, 你必須將 op 明確指派給它們執行. with...Device 語句用來指派特定的 CPU 或 GPU
執行操作:
with tf.Session() as sess:
with tf.device("/gpu:1"):
matrix1 = tf.constant([[3., 3.]])
matrix2 = tf.constant([[2.],[2.]])
proct = tf.matmul(matrix1, matrix2)
...
設備用字元串進行標識. 目前支持的設備包括:
"/cpu:0": 機器的 CPU.
"/gpu:0": 機器的第一個 GPU, 如果有的話.
"/gpu:1": 機器的第二個 GPU, 以此類推.
閱讀使用GPU章節, 了解 TensorFlow GPU 使用的更多信息.
互動式使用
文檔中的 Python 示例使用一個會話 Session 來
啟動圖, 並調用 Session.run() 方法執行操作.
為了便於使用諸如 IPython 之類的 Python 交互環境, 可以使用
InteractiveSession 代替
Session 類, 使用 Tensor.eval()
和 Operation.run() 方法代替
Session.run(). 這樣可以避免使用一個變數來持有會話.
# 進入一個互動式 TensorFlow 會話.
import tensorflow as tf
sess = tf.InteractiveSession()
x = tf.Variable([1.0, 2.0])
a = tf.constant([3.0, 3.0])
# 使用初始化器 initializer op 的 run() 方法初始化 'x'
x.initializer.run()
# 增加一個減法 sub op, 從 'x' 減去 'a'. 運行減法 op, 輸出結果
sub = tf.sub(x, a)
print sub.eval()
# ==> [-2. -1.]
Tensor
TensorFlow 程序使用 tensor 數據結構來代表所有的數據, 計算圖中, 操作間傳遞的數據都是 tensor.
你可以把 TensorFlow tensor 看作是一個 n 維的數組或列表. 一個 tensor 包含一個靜態類型 rank, 和
一個 shape. 想了解 TensorFlow 是如何處理這些概念的, 參見
Rank, Shape, 和 Type.
變數
Variables for more details.
變數維護圖執行過程中的狀態信息. 下面的例子演示了如何使用變數實現一個簡單的計數器. 參見
變數 章節了解更多細節.
# 創建一個變數, 初始化為標量 0.
state = tf.Variable(0, name="counter")
# 創建一個 op, 其作用是使 state 增加 1
one = tf.constant(1)
new_value = tf.add(state, one)
update = tf.assign(state, new_value)
# 啟動圖後, 變數必須先經過`初始化` (init) op 初始化,
# 首先必須增加一個`初始化` op 到圖中.
init_op = tf.initialize_all_variables()
# 啟動圖, 運行 op
with tf.Session() as sess:
# 運行 'init' op
sess.run(init_op)
# 列印 'state' 的初始值
print sess.run(state)
# 運行 op, 更新 'state', 並列印 'state'
for _ in range(3):
sess.run(update)
print sess.run(state)
# 輸出:
# 0
# 1
# 2
# 3
代碼中 assign() 操作是圖所描繪的表達式的一部分, 正如 add() 操作一樣. 所以在調用 run()
執行表達式之前, 它並不會真正執行賦值操作.
通常會將一個統計模型中的參數表示為一組變數. 例如, 你可以將一個神經網路的權重作為某個變數存儲在一個 tensor 中.
在訓練過程中, 通過重復運行訓練圖, 更新這個 tensor.
Fetch
為了取回操作的輸出內容, 可以在使用 Session 對象的 run() 調用 執行圖時, 傳入一些 tensor,
這些 tensor 會幫助你取回結果. 在之前的例子里, 我們只取回了單個節點 state, 但是你也可以取回多個
tensor:
input1 = tf.constant(3.0)
input2 = tf.constant(2.0)
input3 = tf.constant(5.0)
intermed = tf.add(input2, input3)
mul = tf.mul(input1, intermed)
with tf.Session() as sess:
result = sess.run([mul, intermed])
print result
# 輸出:
# [array([ 21.], dtype=float32), array([ 7.], dtype=float32)]
需要獲取的多個 tensor 值，在 op 的一次運行中一起獲得（而不是逐個去獲取 tensor）。
Feed
上述示例在計算圖中引入了 tensor, 以常量或變數的形式存儲. TensorFlow 還提供了 feed 機制, 該機制
可以臨時替代圖中的任意操作中的 tensor 可以對圖中任何操作提交補丁, 直接插入一個 tensor.
feed 使用一個 tensor 值臨時替換一個操作的輸出結果. 你可以提供 feed 數據作為 run() 調用的參數.
feed 只在調用它的方法內有效, 方法結束, feed 就會消失. 最常見的用例是將某些特殊的操作指定為 "feed" 操作,
標記的方法是使用 tf.placeholder() 為這些操作創建佔位符.
input1 = tf.placeholder(tf.float32)
input2 = tf.placeholder(tf.float32)
output = tf.mul(input1, input2)
with tf.Session() as sess:
print sess.run([output], feed_dict={input1:[7.], input2:[2.]})
# 輸出:
# [array([ 14.], dtype=float32)]
for a larger-scale example of feeds.
如果沒有正確提供 feed, placeholder() 操作將會產生錯誤.
MNIST 全連通 feed 教程
(source code)
給出了一個更大規模的使用 feed 的例子.
❼ tensorflow 如何處理pgm格式的圖片，decode只有png，gif，bmp，jpg四種嗎
Tensorflow 1.6圖片編解碼只有下面這些，建議使用其他python庫在預處理階段先轉碼。
tf.image.decode_bmp
tf.image.decode_gif
tf.image.decode_jpeg
tf.image.encode_jpeg
tf.image.decode_png
tf.image.encode_png
tf.image.decode_image
❽ tensorflow中如何將文本文檔劃分為訓練集文件和測試集文件
沒用過tensorflow，我從數據的角度想想
1、導入後隨機看幾個節點的權重參數，看看網路是不是正常保存了
2、是不是在數據歸一化的時候第一次你歸一化用的是test+train數據而第二次只用了test數據
3、網路裡面可以用了一些有隨機性的方法在比如隨機采樣之類的
4、用到了在線更新