TensorFlow2.0教程-Keras 快速入门：用于构建和训练深度学习模型的高阶 API
2021-03-09 01:29
标签：pat metrics turn 设置 python 子类 一个 共享 表示 Keras 是一个用于构建和训练深度学习模型的高阶 API。它可用于快速设计原型、高级研究和生产。 keras的3个优点： 方便用户使用、模块化和可组合、易于扩展 tensorflow2推荐使用keras构建网络，常见的神经网络都包含在keras.layer中(最新的tf.keras的版本可能和keras不同) 最常见的模型类型是层的堆叠：tf.keras.Sequential 模型 tf.keras.layers中网络配置： activation：设置层的激活函数。此参数由内置函数的名称指定，或指定为可调用对象。默认情况下，系统不会应用任何激活函数。 kernel_initializer 和 bias_initializer：创建层权重（核和偏差）的初始化方案。此参数是一个名称或可调用对象，默认为 "Glorot uniform" 初始化器。 kernel_regularizer 和 bias_regularizer：应用层权重（核和偏差）的正则化方案，例如 L1 或 L2 正则化。默认情况下，系统不会应用正则化函数。 构建好模型后，通过调用 compile 方法配置该模型的学习流程： tf.keras.Sequential 模型是层的简单堆叠，无法表示任意模型。使用 Keras 函数式 API 可以构建复杂的模型拓扑，例如： 多输入模型， 多输出模型， 具有共享层的模型（同一层被调用多次）， 具有非序列数据流的模型（例如，残差连接）。 使用函数式 API 构建的模型具有以下特征： 层实例可调用并返回张量。 输入张量和输出张量用于定义 tf.keras.Model 实例。 此模型的训练方式和 Sequential 模型一样。 通过对 tf.keras.Model 进行子类化并定义您自己的前向传播来构建完全可自定义的模型。在 init 方法中创建层并将它们设置为类实例的属性。在 call 方法中定义前向传播 通过对 tf.keras.layers.Layer 进行子类化并实现以下方法来创建自定义层： build：创建层的权重。使用 add_weight 方法添加权重。 call：定义前向传播。 compute_output_shape：指定在给定输入形状的情况下如何计算层的输出形状。 或者，可以通过实现 get_config 方法和 from_config 类方法序列化层。 Estimator API 用于针对分布式环境训练模型。它适用于一些行业使用场景，例如用大型数据集进行分布式训练并导出模型以用于生产 TensorFlow2.0教程-Keras 快速入门：用于构建和训练深度学习模型的高阶 API 标签：pat metrics turn 设置 python 子类 一个 共享 表示 原文地址：https://www.cnblogs.com/peijz/p/12765635.html1.导入tf.keras
import tensorflow as tf
from tensorflow.keras import layers
print(tf.__version__)
print(tf.keras.__version__)2.构建简单模型
2.1模型堆叠
model = tf.keras.Sequential()
model.add(layers.Dense(32, activation=‘relu‘))
model.add(layers.Dense(32, activation=‘relu‘))
model.add(layers.Dense(10, activation=‘softmax‘))2.2网络配置
layers.Dense(32, activation=‘sigmoid‘)
layers.Dense(32, activation=tf.sigmoid)
layers.Dense(32, kernel_initializer=‘orthogonal‘)
layers.Dense(32, kernel_initializer=tf.keras.initializers.glorot_normal)
layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l2(0.01))
layers.Dense(32, kernel_regularizer=tf.keras.regularizers.l1(0.01))3.训练和评估
3.1设置训练流程
model = tf.keras.Sequential()
model.add(layers.Dense(32, activation=‘relu‘))
model.add(layers.Dense(32, activation=‘relu‘))
model.add(layers.Dense(10, activation=‘softmax‘))
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
loss=tf.keras.losses.categorical_crossentropy,
metrics=[tf.keras.metrics.categorical_accuracy])3.2输入Numpy数据
import numpy as np
train_x = np.random.random((1000, 72))
train_y = np.random.random((1000, 10))
val_x = np.random.random((200, 72))
val_y = np.random.random((200, 10))
model.fit(train_x, train_y, epochs=10, batch_size=100,
validation_data=(val_x, val_y))3.3tf.data输入数据
dataset = tf.data.Dataset.from_tensor_slices((train_x, train_y))
dataset = dataset.batch(32)
dataset = dataset.repeat()
val_dataset = tf.data.Dataset.from_tensor_slices((val_x, val_y))
val_dataset = val_dataset.batch(32)
val_dataset = val_dataset.repeat()
model.fit(dataset, epochs=10, steps_per_epoch=30,
validation_data=val_dataset, validation_steps=3)3.4评估与预测
test_x = np.random.random((1000, 72))
test_y = np.random.random((1000, 10))
model.evaluate(test_x, test_y, batch_size=32)
test_data = tf.data.Dataset.from_tensor_slices((test_x, test_y))
test_data = test_data.batch(32).repeat()
model.evaluate(test_data, steps=30)
# predict
result = model.predict(test_x, batch_size=32)
print(result)4.构建高级模型
4.1函数式api
input_x = tf.keras.Input(shape=(72,))
hidden1 = layers.Dense(32, activation=‘relu‘)(input_x)
hidden2 = layers.Dense(16, activation=‘relu‘)(hidden1)
pred = layers.Dense(10, activation=‘softmax‘)(hidden2)
model = tf.keras.Model(inputs=input_x, outputs=pred)
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
loss=tf.keras.losses.categorical_crossentropy,
metrics=[‘accuracy‘])
model.fit(train_x, train_y, batch_size=32, epochs=5)4.2模型子类化
class MyModel(tf.keras.Model):
def __init__(self, num_classes=10):
super(MyModel, self).__init__(name=‘my_model‘)
self.num_classes = num_classes
self.layer1 = layers.Dense(32, activation=‘relu‘)
self.layer2 = layers.Dense(num_classes, activation=‘softmax‘)
def call(self, inputs):
h1 = self.layer1(inputs)
out = self.layer2(h1)
return out
def compute_output_shape(self, input_shape):
shape = tf.TensorShape(input_shape).as_list()
shape[-1] = self.num_classes
return tf.TensorShape(shape)
model = MyModel(num_classes=10)
model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
loss=tf.keras.losses.categorical_crossentropy,
metrics=[‘accuracy‘])
model.fit(train_x, train_y, batch_size=16, epochs=5)4.3自定义层
class MyLayer(layers.Layer):
def __init__(self, output_dim, **kwargs):
self.output_dim = output_dim
super(MyLayer, self).__init__(**kwargs)
def build(self, input_shape):
shape = tf.TensorShape((input_shape[1], self.output_dim))
self.kernel = self.add_weight(name=‘kernel1‘, shape=shape,
initializer=‘uniform‘, trainable=True)
super(MyLayer, self).build(input_shape)
def call(self, inputs):
return tf.matmul(inputs, self.kernel)
def compute_output_shape(self, input_shape):
shape = tf.TensorShape(input_shape).as_list()
shape[-1] = self.output_dim
return tf.TensorShape(shape)
def get_config(self):
base_config = super(MyLayer, self).get_config()
base_config[‘output_dim‘] = self.output_dim
return base_config
@classmethod
def from_config(cls, config):
return cls(**config)
model = tf.keras.Sequential(
[
MyLayer(10),
layers.Activation(‘softmax‘)
])
model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
loss=tf.keras.losses.categorical_crossentropy,
metrics=[‘accuracy‘])
model.fit(train_x, train_y, batch_size=16, epochs=5)4.3回调
callbacks = [
tf.keras.callbacks.EarlyStopping(patience=2, monitor=‘val_loss‘),
tf.keras.callbacks.TensorBoard(log_dir=‘./logs‘)
]
model.fit(train_x, train_y, batch_size=16, epochs=5,
callbacks=callbacks, validation_data=(val_x, val_y))5保持和恢复
5.1权重保存
model = tf.keras.Sequential([
layers.Dense(64, activation=‘relu‘),
layers.Dense(10, activation=‘softmax‘)])
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
loss=‘categorical_crossentropy‘,
metrics=[‘accuracy‘])
model.save_weights(‘./weights/model‘)
model.load_weights(‘./weights/model‘)
model.save_weights(‘./model.h5‘)
model.load_weights(‘./model.h5‘)5.2保存网络结构
# 序列化成json
import json
import pprint
json_str = model.to_json()
pprint.pprint(json.loads(json_str))
fresh_model = tf.keras.models.model_from_json(json_str)
# 保持为yaml格式 #需要提前安装pyyaml
yaml_str = model.to_yaml()
print(yaml_str)
fresh_model = tf.keras.models.model_from_yaml(yaml_str)5.3保存整个模型
model = tf.keras.Sequential([
layers.Dense(10, activation=‘softmax‘, input_shape=(72,)),
layers.Dense(10, activation=‘softmax‘)
])
model.compile(optimizer=‘rmsprop‘,
loss=‘categorical_crossentropy‘,
metrics=[‘accuracy‘])
model.fit(train_x, train_y, batch_size=32, epochs=5)
model.save(‘all_model.h5‘)
model = tf.keras.models.load_model(‘all_model.h5‘)6.将keras用于Estimator
model = tf.keras.Sequential([layers.Dense(10,activation=‘softmax‘),
layers.Dense(10,activation=‘softmax‘)])
model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
loss=‘categorical_crossentropy‘,
metrics=[‘accuracy‘])
estimator = tf.keras.estimator.model_to_estimator(model)
文章标题：TensorFlow2.0教程-Keras 快速入门：用于构建和训练深度学习模型的高阶 API
文章链接：http://soscw.com/index.php/essay/62069.html