「ETL趋势」FDL定时任务区分开发/生产模式、API输入输出支持自定义响应解析

FineDataLink作为一款市场上的顶尖ETL工具,集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,进行了新的维护迭代。本文把FDL4.1.7最新功能作了介绍方便大家对比:(产品更新详情:4.1.7最新功能体验)

模块更新
定时同步
区分开发模式和生产模式
运行记录存储到1ogdb&支持清理
JSON生成\SparkSQL+导入导出视觉优化
编辑界面优化
数据同步API输入、输出支持自定义响应解析的编码方式
数据管道同步标记时间戳优化

定时任务区分开发模式和生产模式

对于定时任务,支持开发模式和生产模式,实现代码的隔离。

开发模式的任务可一键发布上线,将任务发布为生产模式。

💠详情:开发模式与生产模式

定时任务运行记录存储到logdb&支持清理 

fine_dp_work_exec_record表迁移到LogDB中,表名不变,后续数据均写入迁移后数据表。升级后会将历史运行记录迁移到LogDB中。详情参见:LogDB 表结构

定时任务运行记录可直接使用日志清理功能进行手动/自动清理,如下图所示:

💠详情:日志简介

记录读写过程日志\异常和错误日志使用过程中产生的过程日志,支持将运行记录导出为文件,以供查看和使用

💠详情:定时任务运维—运行记录

定时任务JSON生成\SparkSQL+导入导出视觉优化

💠详情:JSON生成、SparkSQL、定时任务导入导出

定时任务编辑界面优化

  • 支持界面搜索:可对节点/算子进行搜索,并快速定位选中节点/算子

  • 支持导航器功能:显示画布内容的缩略图;支持拖拽移动视图;支持点击导航器其它区域,可快速定位画布内容

  • 对搜索和视图导航功能提供新手引导

  • 每次打开定时任务,画布内容居中

  • 拖拽画布时,不关闭节点面板

💠详情:数据开发页面介绍

API输入、输出支持自定义响应解析的编码方式

「高级配置」中支持指定响应数据字符编码方式

💠详情:数据同步-API

数据管道同步标记时间戳优化

  • 2.1 之后版本的 StarRocks,在管道任务中,支持「同步时标记时间戳」功能。

  • 2.0 版本之后的 Doris,在管道任务中,支持「同步时标记时间戳」功能。

  • 来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted、_fdl_update_timestamp 字段,实时同步时会屏蔽这些字段

  • 目标表选择已存在表且已存在表包含「_fdl_marked_deleted」字段时,支持使用源端逻辑删除功能,支持「同步时标记时间戳」功能

同步时标记时间戳、源端删除数据💠详情:同步时标记时间戳、源端删除数据

升级版本支持上传更新

支持「上传更新」,即前端手动上传 JAR 包进行更新升级,解决每个月发布的中间版本不能提供一键升级的问题,如下图所示:

💠详情:FineDataLink一键升级

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,可在Windows或Linux环境上单机/集群部署,全程基于B/S浏览器端进行任务开发和任务运维,更多精彩功能,邀您体验,希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题,让流动的数据更有价值。

更新详情:4.1.7更新日志-FineDataLink帮助文档(fanruan.com)

功能体验链接

技术文档参考:FineDataLink文档

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/773827.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

spark shuffle——shuffle管理

ShuffleManager shuffle系统的入口。ShuffleManager在driver和executor中的sparkEnv中创建。在driver中注册shuffle,在executor中读取和写入数据。 registerShuffle:注册shuffle,返回shuffleHandle unregisterShuffle:移除shuff…

LED显示屏跟COB显示屏有哪些不同?

COB显示屏跟LED显示屏的主要区别在于产品的显示效果、封装技术、耐用性、防护力、维护以及制造成本方面的不同,这里所说的LED显示屏主要指的是使用SMD封装的LED显示屏,今天跟随COB显示屏厂家中品瑞科技一起来详细看看具体分析: 一、封装技术 …

视图库对接系列(GA-T 1400)九、视图库对接系列(本级)机动车数据推送

背景 在上几章中,我们已经可以将视图库的平台写到我们的数据库中了。 换句话说就已经接入我们的平台了,这几期的话,我们就对接设备, 将设备的数据接入到我们平台来。 机动车数据推送 接入机动车数据推送相对比较简单,我们只需要实现对应的接口就ok了。 具体如图: 有增…

77. UE5 RPG 创建角色的技能栏

在前面的文章里,我们实现了角色属性技能和场景。接下来,我们要优化角色显示UI,在屏幕底部显示角色血量,蓝量,技能和经验值。 创建新的用户控件 选择创建新的控件蓝图 父类为我们自定义的RPGUserWidget,这…

这样拼板帮你省近万元,堪称PCB工程师成本终结者!

别再被骗了,打PCB板价格高不是单价高!而是你的拼板导致利用率太低了! 今天给大家讲个小故事,教大家如何省钱...... 一个爽朗的晴天,我听闻同事说有客户对他吐槽打板子价格太高,说着说着就开始吹起了牛逼...…

【论文阅读】VASA-1: Lifelike Audio-Driven Talking FacesGenerated in Real Time

整体框架。不直接生成视频帧,而是在潜在空间中生成整体面部动态和头部运动,条件是音频和其他信号。给定这些运动潜在编码,通过面部解码器生成视频帧,还接受从输入图像中提取的外观和身份特征作为输入。 构建了一个面部潜在空间并…

【C#】ProgressBar进度条异步编程思想

1.控件介绍 进度条通常用于显示代码的执行进程进度,在一些复杂功能交互体验时告知用户进程还在继续。 在属性栏中,有三个值常用: Value表示当前值,Minimum表示进度条范围下限,Maximum表示进度条范围上限。 2.简单实…

【网络安全】第8讲 网络安全协议(笔记)

一、网络安全协议概述 1、协议 是指两个或多个以上参与者为完成某项特定的任务而采取的一系列步骤。 2、网络协议 是指计算机网络中通信各方关于如何进行数据交换所达成的一致性规则、标准或约定的集合,即由参与通信的各方按确定的步骤做出一系列通信动作&#xff…

Linux系统安装青龙面板结合内网穿透实现使用公网地址远程访问

文章目录 前言一、前期准备本教程环境为:Centos7,可以跑Docker的系统都可以使用。本教程使用Docker部署青龙,如何安装Docker详见: 二、安装青龙面板三、映射本地部署的青龙面板至公网四、使用固定公网地址访问本地部署的青龙面板 …

Embedded Coder生成C代码注释

学习目标 本教程将向您说明如何生成包含以下内容的代码: 在函数前注中包含函数签名和函数帮助文本。包含 MATLAB 源代码,以带有可追溯性标记的注释表示。在代码生成报告中,可追溯性标记链接到对应的 MATLAB 源代码。 前提条件 要完成本教…

入门PHP就来我这(纯干货)08

~~~~ 有胆量你就来跟着路老师卷起来! -- 纯干货,技术知识分享 ~~~~ 路老师给大家分享PHP语言的知识了,旨在想让大家入门PHP,并深入了解PHP语言。 1 PHP对象的高级应用 1.1 final关键字 final 最终的、最后的。被final修饰过的类…

固相提取铕和铀

固相萃取(Solid Phase Extraction,SPE)是一种常用的化学分离技术,它利用固体吸附剂(固定相)与样品中的目标化合物(流动相)之间的相互作用力,将目标化合物从样品中分离出来…

JVM的五大内存区域

JVM的五大内存区域 JVM内存区域最粗略的划分可以分为 堆 和 栈 ,当然,按照虚拟机规范,可以划分为以下几个区域: JVM内存分为线程独享区和线程共享区, 其中 方法区 和 堆 是线程共享区, 虚拟机栈, 本地方法…

为什么需要做网络安全服务?

网络安全服务之所以重要,是因为它在保护数字资产、维护企业运营、确保法规遵从、防范恶意行为以及建立信任等方面扮演着关键角色。以下是一些主要的理由: 保护核心资产和数据: 数字化转型使得企业数据变得极其宝贵,包括知识产权、…

竞赛选题 协同过滤电影推荐系统

文章目录 1 简介1 设计概要2 课题背景和目的3 协同过滤算法原理3.1 基于用户的协同过滤推荐算法实现原理3.1.1 步骤13.1.2 步骤23.1.3 步骤33.1.4 步骤4 4 系统实现4.1 开发环境4.2 系统功能描述4.3 系统数据流程4.3.1 用户端数据流程4.3.2 管理员端数据流程 4.4 系统功能设计 …

开发在线教育项目-在线课程视频网站开发

用了哪些技术 后端技术 springboot3 security权限框架(后台)mybatisPlus框架jwt生成tokeneasyexcel导入导出递归查询拦截器校验tokenredis的zset做排行榜功能redis的list做最新课程的功能redis做为缓存技术redis作为计数器,实时记录浏览量&…

极狐GitLab 将亮相2024空天信息大会暨数字地球生态峰会,携手中科星图赋能空天行业开发者

GitLab 是一个全球知名的一体化 DevOps 平台,很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab :https://gitlab.cn/install?channelcontent&utm_sourcecsdn 是 GitLab 在中国的发行版,专门为中国程序员服务。可以一键式部署…

【Proteus】按键的实现『⒉种』

🚩 WRITE IN FRONT 🚩 🔎 介绍:"謓泽"正在路上朝着"攻城狮"方向"前进四" 🔎🏅 荣誉:2021|2022年度博客之星物联网与嵌入式开发TOP5|TOP4、2021|2222年获评…

微信小程序毕业设计-走失人员的报备平台系统项目开发实战(附源码+论文)

大家好!我是程序猿老A,感谢您阅读本文,欢迎一键三连哦。 💞当前专栏:微信小程序毕业设计 精彩专栏推荐👇🏻👇🏻👇🏻 🎀 Python毕业设计…

【Python学习】流程控制、函数与类详解

🎬 鸽芷咕:个人主页 🔥 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 引言 Python作为一门强大而又简洁的编程语言,提供了丰富的工具和结构来帮助开发者编写清晰、高效的代码。在本文中…