Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

请教一个kafka 11错误码的问题 #1581

Open
zongjiangU opened this issue Jun 24, 2024 · 5 comments
Open

请教一个kafka 11错误码的问题 #1581

zongjiangU opened this issue Jun 24, 2024 · 5 comments

Comments

@zongjiangU
Copy link

我这边使用kafka客户端会持续获得EAGAIN的错误码,压力大概在180pps,发送流量在60Mbps 到 80Mbps。
发现这种情况后调整max_connections 从300调整到500 并没有明显改善。netstat看发送队列没有挤压。
请教下11的错误码只在最大连接数不够的时候返回的吗

@Barenboim
Copy link
Contributor

应该就是连接不够了。你的broker太少吧?
你增加到几千个连接再试一下。

@zongjiangU
Copy link
Author

应该就是连接不够了。你的broker太少吧? 你增加到几千个连接再试一下。

https://kafka.apache.org/documentation/#producerconfigs_acks
kafka producer的这个配置咱们得框架支不支持手动设置,之前试了一个参数配置 不好用 还是想把这个值设为0

@Barenboim
Copy link
Contributor

应该就是连接不够了。你的broker太少吧? 你增加到几千个连接再试一下。

https://kafka.apache.org/documentation/#producerconfigs_acks kafka producer的这个配置咱们得框架支不支持手动设置,之前试了一个参数配置 不好用 还是想把这个值设为0

之前好像也和你讨论过这个问题。produce_acks是可以配置的,文档里有:
https://github.com/sogou/workflow/blob/master/docs/tutorial-13-kafka_cli.md
你设置之后没有效果吗?

@zongjiangU
Copy link
Author

zongjiangU commented Jun 24, 2024

应该就是连接不够了。你的broker太少吧? 你增加到几千个连接再试一下。

https://kafka.apache.org/documentation/#producerconfigs_acks kafka producer的这个配置咱们得框架支不支持手动设置,之前试了一个参数配置 不好用 还是想把这个值设为0

之前好像也和你讨论过这个问题。produce_acks是可以配置的,文档里有: https://github.com/sogou/workflow/blob/master/docs/tutorial-13-kafka_cli.md 你设置之后没有效果吗?

试过了 没效果
我这边再看看吧 40个producer 只有一个broker
但是netstat没有看到消息挤压 怀疑客户端的这些连接在等ack导致的连接数不够用了

@Barenboim
Copy link
Contributor

对,有可能是等ack。我们在acks为0的时候,也应该会正常等待broker返回的。acks这个参数是用在通信上的,需要等broker那边处理完给结果。
你多开一些连接应该就好了。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants