TFRecorder將數(shù)據(jù)轉(zhuǎn)換為 TFRecord 格式

TFRecorder 用于將 Pandas DataFrame 或 CSV 文件轉(zhuǎn)換為 TFRecord。TFRecord 是一種簡單的二進制文件格式。

目前，TFRecorder 支持以“圖像 csv 格式”存儲的數(shù)據(jù)，類似于 GCP AutoML Vision。

用法示例

From Pandas DataFrame

本地運行

import pandas as pd
import tfrecorder

df = pd.read_csv(...)
df.tensorflow.to_tfr(output_dir='gs://my/bucket')

在 Cloud Dataflow 運行

import pandas as pd
import tfrecorder

df = pd.read_csv(...)
df.tensorflow.to_tfr(
    output_dir='gs://my/bucket',
    runner='DataFlowRunner',
    project='my-project',
    region='us-central1')

From CSV

使用 Python 解釋器

import tfrecorder

tfrecorder.create_tfrecords(
    input_data='/path/to/data.csv',
    output_dir='gs://my/bucket')

使用命令行

tfrecorder create-tfrecords \
    --input_data=/path/to/data.csv \
    --output_dir=gs://my/bucket