ADF 数据流量限制组的行数

2022-10-15 13:39:46标签azure-data-factory
提问

我有一个dataflow,从一个有> 100000行的excel中读取数据。 我使用代理键添加了一个RowCount列: 然后,我添加了另一列名为BatchNumber的列,其中如下表达式,因此每一行被分配给一个批 然后,我使用BatchNumber值添加了一个“group by”步骤,这样行就被分组为$ batchSize。 在哪里$ batchSize = 100我得到10批次的100 $ batchSize = 50我得到20个批次的50 我尝试过使用活动运行时运行管道。 在数据工厂Dataflow调试设置中,使用多少行用于调试预览数据集是有限制的。默认情况下,它是1000行。只有在调试设置中指定的行数将被数据预览查询。 打开Dataflow调试,点击调试设置。 设置不行限制你想要的。10万,点击保存。 在调试预览数据集中,它将使用许多行。但在调试预览数据集中,它只显示100列最大值。 我不知道极限是什么,或者是在哪里记录的,但它似乎是在使用sink类型缓存的时候。 我将它更改为数据集,并将数据输出到文件中,并导出了我所期望的一切。

ceil(RowNumber/$batchSize)

My issue is that no matter what batch size I choose, the totals rows output is always 1,000. For example;

回答

回答

▼版权说明

相关文章也很精彩
推荐内容
更多标签
相关热门
全站排行
随便看看

错说cuoshuo.com——程序员的报错记录

部分内容根据CC版权协议转载,如果您希望取消转载请发送邮件到cuoshuo8@163.com

辽ICP备19011660号-5