打算用PHP写一个日数据量200W的系统，是否现实可行？

luoluo

每天只有3000~5000人的系统，但产生日数据量在200W左右，在下午有2个小时的时间是高峰期，有时一分钟插入数据量可达20W ,这两小时可占全天数据量的50%。综合来说，插入占80%，查询占20%

优先考虑用PHP的原因是，团队几个人都只熟悉PHP。换JAVA学习成本高。

PHP考虑的框架是Laravel ，ThinkPHP也考虑，但是担心漏洞多。

架构方面，如果仅用用Laravel + Redis消息列队上面业务的数据安全吗？或者打算用各家云服务的 SLB+RabbitMQ 解决高峰期数据插入的情况。查询缓存方面用Redis。

不考虑￥￥的情况下，安全性、稳定性要求高，请问这样的系统，用PHP架构是否现实可行？

或者哪位大JJ能在前期架构上，能给些建议的，麻烦PM我交流一下。有帮助会发红包。

vihs

luoluo 发表于 2023-1-4 20:35
运维不熟悉的我一开始也这么想，想到一天能产生10g左右的数据，这个方案成本有点承受不住 ...

你的想法恰恰相反。
1、这么大数据量，更需要数据安全，公司又不是你的，不需要你考虑成本。你替公司省钱，出了事情你背锅，纯粹吃饱了撑的。
2、数据量很大又很重要，请一个DBA的工资保守计算每月1.5W 一年就是18W+ , 还不算硬件投入，买云数据库怎么算都划算。

yangken

5000ip能产生10g数据，人均20m，要打几百万字呢

Sage

MQ够了

luoluo

奧巴马 发表于 2023-1-5 17:41
PHP做过每秒并发3万(写入肯定不止3万,单日志就3万了).
放内存里面跑,然后主从分,每月分一次表. ...

求方案，能不能细说一下

luoluo

拉斯 发表于 2023-1-5 17:30
算下来每秒不到一万，数据库没问题，不知道你这个日志是怎么产生的，如果不是访问一次接口产生一条日志用ph ...

记录是1用户post一次，大概要插入几百到几千条数据不等。

拉斯

luoluo 发表于 2023-1-6 18:04
mysql数据库每秒2000插入就已经差不多了吧

不考虑钱就上云数据库，这个只能自己本地压测，一般索引不多能顶住的。

luoluo

拉斯 发表于 2023-1-5 17:30
算下来每秒不到一万，数据库没问题，不知道你这个日志是怎么产生的，如果不是访问一次接口产生一条日志用ph ...

mysql数据库每秒2000插入就已经差不多了吧

luoluo

MukaichiMion 发表于 2023-1-5 18:51
关键是看数据是怎么来的，是通过HTTP接口来的还是怎么来的
如果是HTTP接口的话，直接用负载均衡就可以搞定
...

是从http来的，就一条post，按需产生几百几千条数据。

luoluo

zlwzlx 发表于 2023-1-5 17:28
laravel 的性能不是强行 需要做好心理准备，这种数据量 设计时就应该考虑 程序可分布式运行，性能不行就堆 ...

上laravel是考虑到安全性，感觉tp的洞洞太多了，并发和业务不复杂，单用户一条post能产生几百几千条数据。但只有2000 3000个用户而已。