版本1.5.5，模拟http接收端失败后，在ft_log目录下发现backup_local_save.diskqueue.000000.dat的文件，开启http接收端后，日志正常采集，正常发送。但backup_local_save.diskqueue.000000.dat文件大小一直没有改变。 是我的配置文件有错误么？

[maoyaowu]

Bug Report

版本1.5.5，模拟http接收端失败后，在ft_log目录下发现backup_local_save.diskqueue.000000.dat的文件，开启http接收端后，日志正常采集，正常发送。但backup_local_save.diskqueue.000000.dat文件大小一直没有改变。
是我的配置文件有错误么？

logkit 相关配置：

{
"name": "runner.test02",
"batch_interval": 60,
"batch_size": 2048,
"extra_info": false,
"reader": {
"log_path": "/_data/file/dhcp.202*",
"meta_path":"./meta",
"file_done":"/_data/file/backup",
"donefile_retention":"3",
"read_from": "newest",
"encoding": "UTF-8",
"_datasource_tag": "_datasource",
"expire": "1h",
"readio_limit": "30",
"expire_delete": "false",
"max_open_files": "5",
"stat_interval": "5s",
"mode": "tailx"
},
"cleaner": {
"delete_enable": "false",
"delete_interval": "86400",
"reserve_file_number": "7",
"reserve_file_size": "2048"
},
"parser": {
"type": "raw",
"timestamp": "false",
"name": "raw_parser",
"labels": "basename hbjyh_ipoe01"
},
"transforms": [
{
"type": "pick",
"key": "|iptv|",
"stage":"before_parser"
},
{
"type":"discard",
"key":"||iptv|",
"stage":"before_parser"
}
],
"senders": [
{
"sender_type": "http",
"http_sender_url": "192.168.1.18:19888",
"http_sender_gzip": "false",
"http_sender_protocol": "body_json",
"http_sender_timeout": "30s",
"ft_save_log_path": "./ft_log",
"ft_strategy": "always_save",
"ft_procs": "2",
"ft_discard_failed__data": "false",
"ft_memory_channel": "true",
"ft_memory_channel_size": "100",
"ft_long__data_discard": "false",
"max_disk_used_bytes": "524288000",
"max_size_per_file": "104857600"
}
]
}

运行环境:

redhat 6.5企业版

logkit 版本：

1.5.5

操作系统版本：

redhat 6.5企业版

复现过程操作步骤：

1. 模拟http接收端失败后，在ft_log目录下发现backup_local_save.diskqueue.000000.dat的文件
2. 开启http接收端后，日志正常采集，正常发送。但backup_local_save.diskqueue.000000.dat文件大小一直没有改变。
3. 失败的数据没有继续尝试发送成功

预期表现：

失败的数据，再http接受端正常后，继续尝试发送成功

实际情况：

失败的数据，再http接受端正常后，没有继续尝试发送成功

相关日志等其他信息：

模拟http接收端失败后，日志有输出说是要继续重发失败的数据
http接收端恢复正常，并且logkit继续正常采集、发送日志后，没有输出相关的继续发送的日志

[shangmin-001]

这个应该是你的配置问题导致的，backup_local_save.diskqueue.000000.dat和streamb_local_save.diskqueue.000000.dat，只是两种发送方式的本地数据存储，这两个文件你可以不用关注。

你的配置文件是有问题的，所以导致对端没有数据接收。
"parser": {
"type": "raw",
"timestamp": "false",
"name": "raw_parser",
"labels": "basename hbjyh_ipoe01"
},
"transforms": [
{
"type": "pick",
"key": "|iptv|",
"stage":"before_parser"
},
{
"type":"discard",
"key":"||iptv|",
"stage":"before_parser"
}
],

问题原因：
parser配置为原始数据，那么输出的数据格式（你可以在解析样例数据中查看）
raw ：“你的全部数据“
transforms 配置为pick和diskard，你会发现没有你的字段，所以最后都没有数据
重点：目前数据只有”raw“ 和”系统加的默认字段“，所以pick不到你需要的字段，所以就输出为空

解决方案：
你可以自己先把你的transform配置删除，实验一下，验证这个问题的时候解决。然后研究相关配置，获取自己期望的数据