BigQuery /气流-不能创建分区表开发者社区

link管理

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

善良的稀饭 · 2022年德国慕尼黑工业大学交流项目选拔通知 ...· 6 月前 ·

帅气的蚂蚁 · 《青春旅社》王源景甜深情合唱 ...· 8 月前 ·

眉毛粗的木瓜 · 陵水三所新建学校今年9月开学缓解主城区学位紧张· 1 年前 ·

热情的皮带 · gitlab取消登录和注册，只允许shibb ...· 1 年前 ·

跑龙套的牙膏 · python 3.x - ...· 1 年前 ·

google.api_core.exceptions.BadRequest: 400 POST https://bigquery.googleapis.com/bigquery/v2/projects/MY_PROJECT/datasets/MY_DATASET/tables?prettyPrint=false: Invalid JSON payload received. Unknown name "timePartitioning" at 'table': Proto field is not repeating, cannot start list

create = BigQueryCreateEmptyTableOperator(
   task_id="create",
   bigquery_conn_id='google_cloud',
   project_id="MY_PROJECT",
   dataset_id="MY_DATASET",
   table_id=table_name,
   schema_fields=self.get_schema(),
   time_partitioning={'field': 'ds', 'type' : 'DAY'},
)

import os
import time
import datetime
from datetime import datetime, date, time, timedelta
from airflow import models
from airflow.providers.google.cloud.operators.bigquery import (
    BigQueryCreateEmptyDatasetOperator,
    BigQueryCreateEmptyTableOperator,
from airflow.utils.dates import days_ago
PROJECT_ID = os.environ.get("GCP_PROJECT_ID", "your-project-id")
DATASET_NAME = os.environ.get("GCP_BIGQUERY_DATASET_NAME", "testdataset")
TABLE_NAME = "partitioned_table"
SCHEMA = [
    {"name": "value", "type": "INTEGER", "mode": "REQUIRED"},
    {"name": "ds", "type": "DATE", "mode": "NULLABLE"},
dag_id = "example_bigquery"
with models.DAG(
    dag_id,
    schedule_interval="@hourly",  # Override to match your needs
    start_date=days_ago(1),
    tags=["example"],
    user_defined_macros={"DATASET": DATASET_NAME, "TABLE": TABLE_NAME},
    default_args={"project_id": PROJECT_ID},
) as dag_with_locations:
    create_dataset = BigQueryCreateEmptyDatasetOperator(
        task_id="create-dataset", dataset_id=DATASET_NAME, project_id=PROJECT_ID
    create_table = BigQueryCreateEmptyTableOperator(
        task_id="create_table",
        dataset_id=DATASET_NAME,
        table_id=TABLE_NAME,
        schema_fields=SCHEMA,
        time_partitioning={

推荐文章

善良的稀饭 · 2022年德国慕尼黑工业大学交流项目选拔通知-西南交通大学国际合作与交流处（国际教育学院）、港澳台事务办公室

6 月前

帅气的蚂蚁 · 《青春旅社》王源景甜深情合唱何穗王嘉尔走心 - 中国日报网

8 月前

眉毛粗的木瓜 · 陵水三所新建学校今年9月开学缓解主城区学位紧张

1 年前

热情的皮带 · gitlab取消登录和注册，只允许shibboleth登录_gitlab只允许ad注册-CSDN博客

1 年前

跑龙套的牙膏 · python 3.x - np.fft.fft not working properly - Stack Overflow

1 年前

回答 1

Stack Overflow用户