如果先前处理的行数大于N,我想执行一些subjob。为此,我使用以下配置:
tFixedFlowInput有一些行。
tAggregateRow使用count函数并输出一行数字。
tSetGlobalVar然后将该值存储到一个全局变量中,我可以在RunIf连接器中检查该值(在本例中为,(Integer)globalMap.get(“tSetGlobalVar_1”)>3)。
然后,tMsgBox显示条件是否为真
我想做的是同样的,但以一种更优雅的方式,使用所需的最少组件。我想用tMsgBox直
如何获取talend中列的jsonpathquery或Xpathquery:
您必须为输入文件(存储库>元数据>JSON文件)声明JSON元数据。在那里,基于现有的jsonfile,您将能够获得所有字段的json查询
请参阅talend帮助:谢谢您,科伦丁
tFileInputJson--> component --> Basic settings--> Mapping
如何更新数据并将其插入输出表
我已成功插入数据,但未能更新数据。
情况是这样的:
如果表A中的ic_num存在于表B->中,则更新数据
else->插入新数据
我已经使用了tMap并选择了action insert或update,但输出只插入所有数据
我确实试着做这样的设计,但我不知道在哪里设置它的条件。条件是检查ic_no是否已经存在
您的ic_num不是tMySQLOutput架构中的键的一部分,您需要将其作为主键或唯一键的一部分。您可以通过单击“编辑模式”旁边的水平椭圆来完成此操作
您
我的示例作业显示以下错误。有什么问题吗。
此作业存在未解决的编译错误。查看“问题”选项卡了解问题。请说明否决投票的原因!!请参阅:
我希望通过执行从tJava组件调用的java代码例程获得一个值,然后在tFileCopy组件的目标文件名文本框中使用该值。如何才能做到这一点?全局映射可用于跨作业(但不能在作业之外)共享数据。这通常通过TFlowtoItem进行访问,TFlowtoItem将隐式地将一行的数据转储到全局映射中,然后对该数据迭代处理作业的其余部分,但您也可以直接访问该数据
要直接访问globalMap,您可以在tJava组件中使用globalMap.put,然后在tFileCopy组件中使用globalMap.ge
我在talend有一项工作,将数据插入表中
我可以得到这个SQL语句(即“插入到表a(a,b)值(…)”)?如果您想查看发送到数据库的数据,只需在数据库输出组件之前或之后放置一个tLogRow组件即可将内容记录到控制台。我认为不可能看到我的问题是,当我将数据库输出的de源代码(Oracle SID更改为Oracle RAC)时,插入是在旧数据库中进行的
我修正了它,修改了“item”文件中的xml代码。修改后,附加到Oracle SID的旧参数仍然存在
非常感谢!!祝您周末愉快!Goon10和y
尝试对现有Talend作业进行故障排除,该作业包含许多迭代和子作业,这些子作业是由不再在公司工作的开发人员创建的。遇到Subbobs的问题,希望这里有人能回答
通过阅读文档,我知道OnSubjobOk10表示作业将在#10完成后执行。但是在一个没有名字的工作流中,我怎么知道哪个是Subjob#10?我可以假设它是从哪里建立工作联系的吗
提前感谢,,
如果前一个子作业完成且无错误,则BeeOnSubJobOK将使下一个子作业工作,从:
OnSubjobOK(之前为Run):此链接用于触发
下一个s
我在talend 6.0版本中读取csv文件时遇到一些问题
我有一些csv文件和一些格式如下的文件
KeyDate TRANSACTIONID PLACE
"2015-09-18" "633631" "DELHI"
"2015-09-18" "633631" "DELHI"
KeyDate TRANSACTIONID PLACE
"18/09/2015" "633632" "PUNE"
"18/09/2015" "633632"
在Talend的以下场景中,有人可以帮助我吗:-
根据以下场景创建映射
源结构及其数据
STORE_NAME Varchar2 (20)
Q1_SALES number (10, 4)
Q2_SALES number (10, 4)
Q3_SALES number (10, 4)
Q4_SALES number (10, 4)
数据库存储源:(平面文件)
FF\ U存储\源:(平面文件)
目标结构
Store_Target:
SNo integer,
STORE_N
我将MinLoginTime和MaxLoginTime存储在2个globalmap变量中:
globalMap.put("MinLoginTime","2017-10-24") //ignore the datetime format, but it a date
globalMap.put("MaxLoginTime","2018-04-26")
我想进行逐月迭代并获取记录。i、 e.这里我们看到示例中有7个月:10,11,12,1,2,3,4
我想生成这些类型的日期:
FromDate
标签: Talend
windows-task-scheduler
Windows任务计划程序有一个作者(它是登录用户帐户)和一个用户帐户(此帐户在运行此任务时使用)。如果此任务计划程序用于运行Talend作业,并且这些作业用于使用windows身份验证连接到远程MSSQL,则哪个用户用于windows身份验证
我正在检查tDie组件,发现模具优先级设置。首先,我认为这与不扼杀工作的可能性有关,只是发出警告。但在做一些实验时,我还没有发现如何做到这一点
那么,此设置的目的是什么?我能想到的是,当您通过tLogcatcher捕获此异常时,您将返回不同的优先级(4,5,6…),该优先级基于优先级(tDie),并且基于此优先级,您可以采取进一步的日志操作。这似乎是一个误导性的西班牙语翻译。该选项的英文标签只是“优先级”。谢谢@cyroxx。现在我明白了目的。如果将多个tDie组件与同一子对象连接,则优先级是
我正在使用Talend tMatchGroupHadoop组件和Amazon EMR集群,
它给出了一个错误:“只能复制到0个节点,而不是1个节点”
实际上,数据节点正在AMR集群中运行
hadoop fsck
..............Status: HEALTHY
Total size: 315153 B
Total dirs: 12
Total files: 14 (Files currently being written: 1)
Total blocks (
如何将自定义功能应用于tmap,或可能应用于TSSystem。我想用我的自定义函数动态解密加密列。我可以将所有加密的值写入文件,然后从文件写入TSSystem或tmap,并解密值。最好的方法是什么 如果您正在谈论例程,只需在任何可以放置java代码的地方调用所需的方法。
例如,作为输出流的表达式,可以有如下内容:yourClass.yourMethod(…)
希望这能有所帮助。如果您正在谈论例程,只需在任何可以放置java代码的地方调用所需的方法即可。
例如,作为输出流的表达式,可以有如下内容:
我有一个Talend作业,其中有一个Postgres输入组件将行连接器运行到tFileOutputDelimited控件中,这样我就可以将数据库查询的结果写入带有标题行的CSV文件。当查询没有结果行时,它仍然只使用头行写入CSV文件。我宁愿它根本不写文件
如何在行连接器上设置条件,或重构此流,使其在Postgres查询生成0行时不运行tFileOutputDelimited组件?选中tFileOutputDelimited“高级设置”上的“不生成空文件”选项。如果没有行,则不会创建文件。选中tF
我使用以下步骤将密钥导入GPG
打开提示和消防输入键命令
Fire--编辑键名称
类型trust和类型5 save
将gpg.conf文件放在%APPDATA%/Roaming/gnupg,它只有一个单词“batch”
我有两把钥匙
公钥-用于加密文件
公钥-私钥对-用于解密文件。我们用于为QA加密文件的公共部分
我们有三个talend作业-其中两个使用上面的第二个密钥解密文件,一个使用第一个密钥加密。
作业的运行频率为15分钟
我面临的问题是,密钥和gpg.conf文件几乎在24小时后被删除,
我对使用泰伦德是个新手。
我想在ETL中使用增量加载。
我正在从Mysql数据源中提取数据并加载到Postgresql数据库中。
Mysql datasource在时间戳处创建了_并更新了_,我想用它来提取新的或更新的数据。
我以前已经用SSIS在Sql Server中实现了这一点。
我不知道如何使用Talend实现。
有人使用Talend实现了带有时间戳的增量加载吗?
提前谢谢 我做了一个项目。
首先,我们将创建一个日志表,包括Job\u id、Job\u name、start\u time、
如何使用带有POST方法的tRestClient调用RESTWeb服务并传递json。
我查看了Talend的文档,但没有了解POST方法以及如何将json传递给tRestClient。
需要帮忙吗?
提前感谢首先,您必须将HTTP方法设置为POST
然后,一个新字段打开,httpbody。您的JSON正文可以如下所示:
"{
\"MyRequestParameter1\":\"abc\",
\"ANumberParameter\":\"456\"
}"
只需确保JSON中的所
我知道Talend中有tmysqlrow和tmysqlsp组件可用,但如果我们使用tmysqlinput来运行存储过程,那就没问题了?这取决于您的需求,但通常您可以使用所有这些组件
tMysqlSP
这是为了方便
tMySqlRow
允许更多的自由
tMySqlInput
通常用于从数据库中获取结果。如果存储过程不返回行(有时是这样),则作业的以下元素可能不会运行
所以我会用前两个中的一个
我是Talend生态系统的新手,我从Talend开放工作室开始。我已经从IDE创建、构建和运行了一个构建,有人知道是否可以从命令行构建作业吗
关于Talend Open Studio不允许您从命令行生成作业,这是具有命令行模块的Talend订阅版的一项功能
我想在Talend中写入DB时执行事务,但不知道如何执行。我尝试了调色板中的各种组件,但无法执行。我将感谢任何帮助,甚至更好的任何有关这个主题的教程
谢谢 Talend支持事务回滚和在写入DB时提交
让我们以Mysql为例:要在作业开始时使用tMysqlConnection创建DB连接,并使用tMysqlCommit提交更改并在前一个子对象正常工作时关闭,则使用TMYSQLCROLLBACK在前一个子对象工作失败时回滚更改,简单作业如下所示:
tMysqlConnection_1
|
o
我调用了一个Oracle存储过程,它在Talend OpenStudio 5.3中返回7个引用游标
我想读取所有的refcursors并创建一个XML文件。我成功了。我将t_parserecordset与t_Oraclesp链接,然后将所有游标流到t_主组件中。之后,我为每个游标创建了一个t_parserecordset,其中包含来自t_main组件的输入链接,并读取列
现在它工作正常。到目前为止,您尝试了什么?我已经给oracle sp打了电话,并在tparserecordset_01中获取了
我试图显示目录中几个文件的一些结果。我使用TFileList和2tFileInputDelimited,它们都链接到TFileList。我不知道为什么,但在处理的最后,我的结果只是从我想要的6个文件中的一个文件中提取出来的。似乎有来自目录列表文件的结果
每个tFileInputDelimited都有((字符串)globalMap.get(“tFileList\u 1\u CURRENT\u FILEPATH”))作为流的名称
这是我的TMap:
您的作业已设置好,因此您的查找是迭代的,这会导致
我想尝试一下将文件/表的前半部分发送到目标的著名场景。如何通过Talend实现这一点
Id,Name
1,Abhijit
2,Subir
3,Bimal
4,Kabir
我正在使用tmap生成序列号,但在此之后无法继续执行您可以使用组件:tSampleRow
你把代码放在里面:“1..X”,其中X是你的行号除以2。请提供你的工作设计的屏幕截图,并提供源数据的详细信息。AmanKino是的,我检查了很多,能够发送。再次感谢:)
我真的想知道Talend open studio和Enterprise edition之间的区别
Talend open studio和Enterprise edition之间有什么区别。。??
你能给我简要介绍一下吗
提前感谢。使用了这两种产品后,我可以告诉您有两个主要区别:
付费版本附带有Talend管理中心(TAC),它是一个作业调度器。它允许您计划作业、设置依赖项、监视和查看日志。它还允许您集中设置开发人员访问权限和其他角色(例如设置和监视作业的管理员或操作员)
如果您正在认真地将该产品
我有一个文件夹,里面有10个文本文件。我需要计算该目录中每个文件中的行数,并将该计数附加到每个文件中的特定行号上。这将使用Talend完成。请帮忙 如果您的文件是分隔的(即csv)-您可以使用tFileInputDelimited的NB_LINE变量,它会在组件完成其工作后保存文件的行大小。
然后,您可以使用tFixedFlowInput->tFileOutputDelimited将此数字附加到文件末尾
要使文件夹中的每个文件都相同,请使用带有迭代流的tFileList
若您需要为特定行号而不是
当以特定的顺序向人才发送请求时,请求之间有一个小的延迟,在人才中,这些请求是以随机顺序处理的,我从数据库中记录的数据中看到了这一点,如何解决这一问题
我一直在寻找CXF worqueue中的解决方案,但我不知道如何设置它,以及这是否是我所需要的
对不起,我说的是英语你能提供代码吗?恐怕我不明白你想解释什么。因此,如果您能提供一个或(如果MRE不适用于此问题)添加一些其他帮助来帮助我们了解您实际需要的帮助,我将不胜感激。(尽管据我所知,对于理解该软件的人来说,这可能是有意义的)我有一个运行在tal
我正在尝试在Talend中添加组件“tNetezzainput”
像查询一样
select col1,col2 from
(select col1,col2 from tab2 )
当我独立运行子查询时,它允许获取模式
但当我运行上面的查询时,它显示的错误如下
org.netezza.error.NzSQLexception:错误
(以上查询)
您需要在括号后添加别名(我随机选择了“x”):
谢谢你,问题出在哪里。。。似乎netezza没有清楚地显示错误。。有没有办法找出Netezza sq
因此,如果我有一个包含10列的源文件,而我的目标文件包含11列,并且额外的列的类型是date。源文件包含类似“cust20201212”的名称。现在,我只想提取日期部分,并将其添加到日期类型列中的目标表列中。使用talend是否可以实现这一点。我只想将日期提取为2020-12-12和2020-12-01,并将其存储在oracle表的date列中。
在这种情况下,我们可以使用tregexextract吗?首先需要在流或变量中获取文件名。它是在上下文变量中,还是来自tFileList?
如果作业中有
在我的tjavaFlex组件模式中,我为“default”列中的一列(“RecordCode”)设置了一个默认值(“00”)。我希望当一个值未显式分配给(“RecordCode”)列时,该值将生效。但事实并非如此。默认值何时生效?检查
目前,只有tFileInputDelimited、tFileInputExcel和tFixedFlowInput支持架构中的默认值
不确定他们是否计划在未来几年内增加对此的支持
我有这样的工作流程
tAccessInput_1-->tMap_1-->tSortRow_1-->tJava-->tBufferOutput_1。
这是否可以在每次迭代时在tJava组件中显示tBufferOutput_1中的数据。如果可能的话,我该怎么做?如果您试图将输入的内容输出到tBuffer组件,请尝试连接到一个tLogRow组件,该组件将在控制台中吐出所有内容
如果出于其他特定原因需要tJava,这里有一个稍微复杂的方法:
tBufferOutput_1->t流量到数据->滴度到流量-
我得到了以下数据:
ID;NAME;SKILL
1;JOE;XML
1;JOE;JAVA
1;JOE;ORACLE
2;JOHN;JAVA
2;JOHN;API
我需要一个计数器,它将为我提供以下结构:
ID;NAME;COUNTER;SKILL
1;JOE;1;XML
1;JOE;2;JAVA
1;JOE;3;ORACLE
2;JOHN;1;JAVA
2;JOHN;2;API
我怎样才能在Talend做到这一点?我尝试使用Number.sequence,但我不知道如何获取列ID的
我知道该库提供了许多字符串函数,包括StringUtils.capitalize
在Talend OpenStudio 6.3中,我添加了tLibraryLoad,并在基本设置中选择了commons-lang3-3.4.jar,在高级设置中添加了import org.apache.commons.lang3.StringUtils.*
在我的tMap中,我将StringUtils.Capitalize(row20.Forename)分配给了一个变量,但是我得到了错误类型StringUtils的方
我正在使用Talend Big Data使用tRESTClient将数据从HP ALM拉到mongoDB。我已经在tRESTClient中传递了两个查询参数(query,page size)。现在我又尝试了一个参数last modified如下query1={last modified[>=(2017-06-21)]}。但它不是一个参数。
下面我提到了tRESTClient组件的详细信息。
如何使用tRESTClient传递第三个参数?只需在“查询参数”框下方,您可以轻松找到一个绿色的+按钮,
我正在使用Talend OpenStudio 5.4
我创建了一个服务,它在完成时生成同一服务所需的所有模式。我为服务分配了一个新作业,并尝试根据请求XSD文件验证输入XML请求
我接着说,它工作得很好,但当我尝试验证输入XML请求时,由于tESBProviderRequst将收到,它没有工作
如何做到这一点?我不是Talend专家,但我这样做的方式是首先将有效负载(类型为“文档”)转换为字符串,以便tXSDValidator可以工作
第二个转换就在这里,它允许我使用输入字段构建自定义响应。
您好,我正在使用talend作业计划从一个数据库到另一个数据库的数据集成。我的工作是:
tOracleInput--->tMap--->tOracleRow--->tOracleRecordSet-->tOracleOutput
在我的tOracleRow中,有一个big decimal值,我使用select查询得到:
Select my_value+1 my_value from MY_TABLE where id=?
我还使用preparedStatement在一
我有一个子作业,它读取excel文件,然后使用tMap编辑一些行,然后将其输出到另一个excel文件。我需要能够读写同一个excel文件。这可能吗?也许有一个我不知道的组件可以存储tMap中的内容,在另一个子作业中,我可以将该内容写入同一个excel文件?
您可以通过添加步骤来实现这一点
第一步需要在另一个Excel文件中输出
那好吧
然后在第一个文件中输入临时文件
然后删除临时文件
TInputExcel (first file) -> tmap -> toutputexcel (
我一直在试用talend ETL的tHMap组件上的一些示例,并从Mapping透视图中提供的不同函数开始创建新的数据映射器
问题:
对于任何给定元素,是否有任何方法可以像在tMap或tXMLMap中那样,在值选项卡下的tHMap内部计算表达式,如globalMap.get(“myVar”)
ESB的T.O.S,版本(6.0.0.20150702_1326)
我从TMMicrosoftCrMoutput(Microsoft Dynamics CRM)Talend组件连接器的在线2011选项切换到本地CRM 2015选项
我没有看到更多的查找字段管理(在简单参数选项卡窗口的底部)
现在如何管理这些查找字段
问题是它不是使用数据库类型查找进行编译:
(类型不匹配无法从字符串转换为文档,类型EntityReference中的方法setId(Guid)不适用于参数(void)
这不适用于数据
大家好,我是Talend Open Studio 5.3.1版本的beginer
目前我在项目中面临一个问题,即计划一个作业每10秒运行一次,它监视另一个作业,并将输出显示为另一个作业的状态,这意味着该作业处于运行或空闲状态
目前我正在使用Talend Open Studio 5.3.1版本,使用此版本是否可行
解释如何安排一个作业10秒钟,并将输出显示为另一个作业的状态
有谁能建议并帮助我解决我的问题。我们在这里应该开箱思考。我将通过使用项目级日志来解决这个问题:
将作业状态存储在数据库表中,
我使用Talend对一个表(Mysql)收费,但是表中缺少记录。我用tLogRow查看了Talend的工作,它说我有所有3650条记录,而在我的SQL表中,我只找到3600条。有人知道为什么吗?仔细查看您的输出。可能是每100行提交一次,然后最后50行中的某个内容会导致错误。最后的50人则没有得到承诺。或者,试着只加载这50行,如果它们没有加载,那么其中一行的数据就有问题。我真的搞不懂。例如,这一行显示72 NV Non ventilés Non ventilés,其中一行是最后一条记录,不显示
我有以下流程:
1个需要执行的组件,以从MYSQL提取特定的
时间戳
需要使用该时间戳的3个MYSQL输入
1个tMap,需要获取3个mysql输入
但是,我不允许将3个mysql连接到单个tMap中,因为它们依赖于第一个组件(通过OnComponentOk),但顺序不同。如何协调此类情况?您可以执行查询并使用tSetGlobalVar组件(例如,引用row1.mydate)设置全局变量,然后在进入tMap的每个查询中,引用全局变量,如:
SELECT ...
FROM ...
WHERE
我试图得到整个统计工作运行如下,并写在一个文本文件
任何人请指导我如何获取这些统计数据,因为我现在正在手动运行您可以这样做:
使用tWarn记录作业开始和结束事件。在“作业”选项卡下,转到统计和日志;选中“使用日志”,然后选择“打开文件”,并指定日志文件的文件路径和文件名。
Make sur选中所有捕获选项(默认情况下选中)
我试图找到Talend使用的内部库的源代码
组件tFileCopy正在使用org.talend.FileCopy
Jar文件位于:
及
但是当我提取Jar文件时,没有源代码
有人能帮我找到这个库的源代码吗
谢谢。您应该能够在Talend studio的/plugin存储库中找到Talend组件的源代码。
比如:
\Talend-Studio\plugins\org.talend.designer.components.localprovider_xx\components\tFileCopy
我在旧oracle数据库中有一列,其中的值显示为“10/27/2014 10:14:26”,我希望它迁移到我的新数据库中的2列,即。日期和时间。我已经在tMap中编写了以下代码
TalendDate.parseDate(“MM/dd/yyyyy'T'HH:MM:ss'Z'”,“row1.BLOCK_DATE”)
但在执行这项工作时,我得到了以下例外:
Exception in component tMap_1
java.lang.RuntimeException: java.text.P
我必须从URL中检索某些信息。为此,我必须在url的字段中输入文本。我正在为此使用GET操作。我必须修改文本以将空格替换为%20。有时,从数据库中获取的文本格式不正确。我想知道行号,这样我就可以在数据库中手动更改这些行的文本并再次运行它。我曾尝试使用日志和错误部分,但运气不佳。有人知道怎么做吗?第一步:在控制台上输出错误的URL
到目前为止,我为您的问题提出了以下工作设计:
诀窍是捕获tHttpRequest组件的异常,并在控制台上打印必要的详细信息。对于这个例子,我包括了行号、异常消息和产生
标签: Talend
business-intelligence
我有两个数据文件(分隔文件):
-第一个包含3列,ID、num_phone、trafic_etl:sim卡可以是3g、4g或其他类型。
-第二个包含1列num_phone_4g:sim卡必须是4g
问题是,我想用4g sim卡(第二个文件)的数字填充一个oracle表,该表总共有0个trafic_etl,因为我知道第一个文件可能有多个行用于同一个num_电话
我使用sql语句通过将文件存储在表中实现了这一点。
但我必须做的是,使用talend for,我对这个工具还不熟悉
提前谢谢
两个文件
我正在写一个talend作业,将mysql数据库从客户端复制到服务器
我正在使用“tmysqlconnection”和“tmysql_row”组件
现在这里的困难是我要像这样将上下文参数传递到我的工作中
USE "+context.destination_database+";
SET SQL_SAFE_UPDATES = 0;
SET FOREIGN_KEY_CHECKS = 0;
SELECT GROUP_CONCAT(concat('main.', column_name))
我让ETL一直工作到两天前,当时我开始收到:
组件tDBInput_1(test4)java.sql.SQLDataException中的异常:
不支持从时间戳到java.lang.Integer的转换
不知道这里发生了什么。看起来tDb_Input_1中的模式在组件内部的模式和数据库表类型之间是不同的。例如,product_line_id在表中是一个varchar,在模式中是一个整数
尝试在yout tDBInput组件中重新定义您的模式
你可以这样做:
在元数据中定义数据库连接(在数据库连
所以我尝试将包含数字值(如10M和10K)的列映射和字符串到另一个表列中。但我需要将它们映射为数字,并希望用10000000替换10M,用10000替换10。最好的方法是什么。我是Talend的新员工,希望您能提供帮助。您可以在tmap中使用以下公式:
Relational.ISNULL(row1.col1 ) || "".equals(row1.col1 ) ? null : Integer.parseInt(StringHandling.CHANGE(StringHand
1 2 3 4 5 6 ...
下一页 最后一页 共 11 页