Andrew Doherty
05/15/2023, 2:27 PM"neptune_run"
as an input to a pipeline node I get the following error:
ValueError: Pipeline input(s) {'NAMESPACE.neptune_run'} not found in the DataCatalog
Where "NAMESPACE"
is my namespace pipeline name.
Is there a way to use Neptune along with namespace pipelines?
Thanks again.Nok Lam Chan
05/15/2023, 2:47 PMAndrew Doherty
05/15/2023, 2:54 PMenable: false
in neptune.yml
I do not get this error.enable: true
and track the run with Neptune. However, in one of my final nodes I want to upload error metrics. So I pass "neptune_run"
as an input to this node. Within the function called at this node I run: neptune_run["evaluation/metrics"] = error_metrics
to track the error metrics.
This is the point at which I get the ValueError
above. Should I implement this in a different way?Nok Lam Chan
05/15/2023, 3:06 PMkedro-neptune
issue,. maybe worth asking it in #plugins-integrations. I would also suggest asking in their repository https://github.com/neptune-ai/kedro-neptune since this is a community maintained plugin.Andrew Doherty
05/15/2023, 3:08 PMJuan Luis
05/15/2023, 7:41 PMAndrew Doherty
05/15/2023, 8:43 PMINFO Loading data from 'parameters' (MemoryDataSet)... data_catalog.py:343
โญโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ Traceback (most recent call last) โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฎ
โ /Users/andrew/code โ
โ 8 in <module> โ
โ โ
โ /Users/andrew/codeโ
โ 3.9/site-packages/kedro/framework/cli/cli.py:211 in main โ
โ โ
โ 208 โ """ โ
โ 209 โ _init_plugins() โ
โ 210 โ cli_collection = KedroCLI(project_path=Path.cwd()) โ
โ โฑ 211 โ cli_collection() โ
โ 212 โ
โ โ
โ /Users/andrew/codeโ
โ 3.9/site-packages/click/core.py:1130 in __call__ โ
โ โ
โ /Users/andrew/codeโ
โ 3.9/site-packages/kedro/framework/cli/cli.py:139 in main โ
โ โ
โ 136 โ โ ) โ
โ 137 โ โ โ
โ 138 โ โ try: โ
โ โฑ 139 โ โ โ super().main( โ
โ 140 โ โ โ โ args=args, โ
โ 141 โ โ โ โ prog_name=prog_name, โ
โ 142 โ โ โ โ complete_var=complete_var, โ
โ โ
โ /Users/andrew/code โ
โ 3.9/site-packages/click/core.py:1055 in main โ
โ โ
โ /Users/andrewโ
โ 3.9/site-packages/click/core.py:1657 in invoke โ
โ โ
โ /Users/andrew/code โ
โ 3.9/site-packages/click/core.py:1404 in invoke โ
โ โ
โ /Users/andrew/code โ
โ 3.9/site-packages/click/core.py:760 in invoke โ
โ โ
โ /Users/andrew/code โ
โ 3.9/site-packages/kedro/framework/cli/project.py:472 in run โ
โ โ
โ 469 โ with KedroSession.create( โ
โ 470 โ โ env=env, conf_source=conf_source, extra_params=params โ
โ 471 โ ) as session: โ
โ โฑ 472 โ โ session.run( โ
โ 473 โ โ โ tags=tag, โ
โ 474 โ โ โ runner=runner(is_async=is_async), โ
โ 475 โ โ โ node_names=node_names, โ
โ โ
โ /Users/andrew/codeโ
โ 3.9/site-packages/kedro/framework/session/session.py:426 in run โ
โ โ
โ 423 โ โ ) โ
โ 424 โ โ โ
โ 425 โ โ try: โ
โ โฑ 426 โ โ โ run_result = runner.run( โ
โ 427 โ โ โ โ filtered_pipeline, catalog, hook_manager, session_id โ
โ 428 โ โ โ ) โ
โ 429 โ โ โ self._run_called = True โ
โ โ
โ /Users/andrew/codeโ
โ 3.9/site-packages/kedro/runner/runner.py:78 in run โ
โ โ
โ 75 โ โ โ
โ 76 โ โ unsatisfied = pipeline.inputs() - set(catalog.list()) โ
โ 77 โ โ if unsatisfied: โ
โ โฑ 78 โ โ โ raise ValueError( โ
โ 79 โ โ โ โ f"Pipeline input(s) {unsatisfied} not found in the DataCatalog" โ
โ 80 โ โ โ ) โ
โ 81 โ
โฐโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฏ
ValueError: Pipeline input(s) {'dah_market.neptune_run'} not found in the DataCatalog
neptune_run
object. I wonder if I could pass the neptune_run
as a literal to the function using partial. I'll try tomorrow as I need to dig into how this works.Juan Luis
05/16/2023, 11:59 AMAndrew Doherty
05/16/2023, 12:45 PMkedro-neptune
Github?Juan Luis
05/16/2023, 12:47 PMAndrew Doherty
05/16/2023, 1:37 PMJuan Luis
05/19/2023, 1:54 PMgit clone spaceflights-modular && cd spaceflights-modular && kedro run
)Andrew Doherty
05/19/2023, 2:17 PMJuan Luis
05/24/2023, 4:02 PMAndrew Doherty
05/25/2023, 8:40 AMSiddhant Sadangi
05/26/2023, 4:14 PMJuan Luis
05/26/2023, 4:16 PMNok Lam Chan
05/26/2023, 10:56 PMAndrew Doherty
06/06/2023, 10:53 AMJuan Luis
06/06/2023, 11:06 AM