Airflow mysql til gcp Dag fejl

Ifølge din sporing går din kode i stykker på dette punkt . Som du kan se, behandler den koden:

json.dump(row_dict, tmp_file_handle)

tmp_file_handle er en NamedTemporaryFile initialiseret med standard input args, det vil sige, det simulerer en fil åbnet med w+b mode (og accepterer derfor kun bytes-lignende data som input).

Problemet er, at i Python 2 er alle strenge bytes, mens strenge i Python 3 er tekster (kodet som standard som utf-8 ).

Hvis du åbner en Python 2 og kører denne kode:

In [1]: from tempfile import NamedTemporaryFile
In [2]: tmp_f = NamedTemporaryFile(delete=True)
In [3]: import json
In [4]: json.dump({'1': 1}, tmp_f)

Det fungerer fint.

Men hvis du åbner en Python 3 og kører den samme kode:

In [54]: from tempfile import NamedTemporaryFile
In [55]: tmp_f = NamedTemporaryFile(delete=True)
In [56]: import json
In [57]: json.dump({'1': 1}, tmp_f)
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-57-81743b9013c4> in <module>()
----> 1 json.dump({'1': 1}, tmp_f)

/usr/local/lib/python3.6/json/__init__.py in dump(obj, fp, skipkeys, ensure_ascii, check_circular, allow_nan, cls, indent, separators, default, sort_keys, **kw)
    178     # a debuggability cost
    179     for chunk in iterable:
--> 180         fp.write(chunk)
    181 
    182 

/usr/local/lib/python3.6/tempfile.py in func_wrapper(*args, **kwargs)
    481             @_functools.wraps(func)
    482             def func_wrapper(*args, **kwargs):
--> 483                 return func(*args, **kwargs)
    484             # Avoid closing the file as long as the wrapper is alive,
    485             # see issue #18879.

TypeError: a bytes-like object is required, not 'str'

Vi får samme fejl som din.

Dette betyder, at Airflow stadig ikke er fuldt understøttet for Python 3 (som du kan se i testdækning , modulet airflow/contrib/operators/mysql_to_gcs.py er endnu ikke testet i python 2 eller 3). En måde at bekræfte dette på ville være at køre din kode ved hjælp af python 2 og se, om den virker.

Jeg vil anbefale at oprette et problem på deres JIRA anmoder om portabilitet for begge versioner af Python.