导航:首页 > 网络数据 > php实时统计大数据

php实时统计大数据

发布时间:2023-11-04 05:47:36

1. 实时生成并下载大数据量的EXCEL文件,用PHP如何实现

对于任何一个网站肯定是少不了下载功能,常见的下载功能有图片、视频、Excel表格,如果文件比较小的话,那么不会遇到任何的问题,但是当文件信息而超明银过了PHP的最大内存,那么在这个时候它就会有的内存溢出的问题。

那么它们是因为什么而发生的?对于这个过程的原理才是埋碧我们应该真正要去弄明白的事情

下载大数据量的EXCEL文件为何要报错?

PHP在下载大Excel表格的时候,那么首先它是需要去把MySQL的数据从硬盘上面读取到内存,但读取它是一次性载入到我们的内存,如果说它一次性载入的数据量远远大于最大内存,然后再来执行浏览器的业务下载。那么这个时候它就会发生我们这个内存溢出。

就比如:说我们现在有100M的数据量,但是我们PHP内存最大只有64M,那么这个它肯定是装不了的,我们可以把那个内存比喻为一个水杯,这个水杯的容量比喻为内存,现在杯子最大容量为64L。你要存放100L。肯定放不下

大事化小,小事化了。拆分成段

从上面可以看到文件下载,它是分为两步,首先是载入内存然后执行浏览器的输出下载,那么既然大型文件一次性载入不了,那可以采用“大事化小,小事化了”思路,我们可以实现边写边下载,也激液宴就是分批次的读取与写入。

因为用户的话,只要最终拿到这个文件就可以,对于浏览器的下载原理不需要关心。只需要给到文件下载提示给用户即可,然后后端在实时的分批次的写入到要下载的文件当中。

实现思路步骤:

1、一设置浏览器下载Excel需要的Header

2、打开php://output流,并设置写入文件句柄。

注:(php://output,是一个可写的输出流,允许程序像操作文件一样将输出写入到输出流中,PHP会把输出流中的内容发送给web服务器并返回给发起请求的浏览器)

3、获取数据库所有数据量,并设置每次查询的条数,通过这两个值计算分批查询的次数

4、基于分批查询的次数循环查询数据库,然后写入到文件中,同时清除本次操作变量内存,刷新缓冲到浏览器,让浏览器的文件始终实时保持到最新的大小

注:刷新用ob_flush、flush()

PHP的I/O流

在这里我们用到了PHP的一个IO的输入输出,也就是我们常用的

php://inputphp://output。

php://input

php://input可以读取原始的POST数据。相较于$form-data”.

注:p>

php://output是一个只写的数据流,允许你以print和echo一样的方式写入到输出缓冲区。

综上:实现思维与原理很重要如有感悟,欢迎在线咨询

2. 如何使用PHP实时监控linux服务器的cpu,内存,硬盘信息

1,Linux下可以在/proc/cpuinfo中看到每个cpu的详细信息。但是对于双核的cpu,在cpuinfo中会看到两个cpu。常常会让人误以为是两个单核的cpu。
其实应该通过Physical Processor ID来区分单核和双核。而Physical Processor ID可以从cpuinfo或者dmesg中找到. flags 如果有 ht 说明支持超线程技术 判断物理CPU的个数可以查看physical id 的值,相同则为同一个物理CPU

2,查看内存大小:
cat /proc/meminfo |grep MemTotal

3,其他一些可以查看详细linux系统信息的命令和方法:
uname -a # 查看内核/操作系统/CPU信息的linux系统信息命令
head -n 1 /etc/issue # 查看操作系统版本,是数字1不是字母L
cat /proc/cpuinfo # 查看CPU信息的linux系统信息命令
hostname # 查看计算机名的linux系统信息命令
lspci -tv # 列出所有PCI设备
lsusb -tv # 列出所有USB设备的linux系统信息命令
lsmod # 列出加载的内核模块
env # 查看环境变量资源
free -m # 查看内存使用量和交换区使用量
df -h # 查看各分区使用情况
-sh # 查看指定目录的大小
grep MemTotal /proc/meminfo # 查看内存总量
grep MemFree /proc/meminfo # 查看空闲内存量
uptime # 查看系统运行时间、用户数、负载
cat /proc/loadavg # 查看系统负载磁盘和分区
mount | column -t # 查看挂接的分区状态
fdisk -l # 查看所有分区
swapon -s # 查看所有交换分区
hdparm -i /dev/hda # 查看磁盘参数(仅适用于IDE设备)
dmesg | grep IDE # 查看启动时IDE设备检测状况网络
ifconfig # 查看所有网络接口的属性
iptables -L # 查看防火墙设置
route -n # 查看路由表
netstat -lntp # 查看所有监听端口
netstat -antp # 查看所有已经建立的连接
netstat -s # 查看网络统计信息进程
ps -ef # 查看所有进程
top # 实时显示进程状态用户
w # 查看活动用户
id # 查看指定用户信息
last # 查看用户登录日志
cut -d: -f1 /etc/passwd # 查看系统所有用户
cut -d: -f1 /etc/group # 查看系统所有组
crontab -l # 查看当前用户的计划任务服务
chkconfig –list # 列出所有系统服务
chkconfig –list | grep on # 列出所有启动的系统服务程序
rpm -qa # 查看所有安装的软件包
cat /proc/cpuinfo :查看CPU相关参数的linux系统命令
cat /proc/partitions :查看linux硬盘和分区信息的系统信息命令
cat /proc/meminfo :查看linux系统内存信息的linux系统命令
cat /proc/version :查看版本,类似uname -r
cat /proc/ioports :查看设备io端口
cat /proc/interrupts :查看中断
cat /proc/pci :查看pci设备的信息
cat /proc/swaps :查看所有swap分区的信息

3. 如何解决PHP查询大量数据内存耗尽的问题

这个问题在PHP的官方网站上叫缓冲查询和非缓冲查询(Buffered and Unbuffered queries)。PHP的查询缺省模式是缓冲模式。也就是说,查询数据结果会一次全部提取到内存里供PHP程序处理。这样给了PHP程序额外的功能,比如说,计算行数,将指针指向某一行等。更重要的是程启唤序可以对数据集反复进行二次查询和过滤等操作。但这种缓冲查询模式的缺陷就是消耗内存,也就是用空间换速度。
相对的,另外一种PHP查询模式察旁渗是非缓冲查询,数据库服务器会一条一条的返回数据,而不是一次全部返回,这样的结果就是PHP程序消耗较少的内存,但却增加了数据库服务器的压力,因为数据库会一直等待PHP来取数据,一直到数据全部取完。
很显然,缓冲查询模式适败脊用于小数据量查询,而非缓冲查询适应于大数据量查询。

4. php + mysql 的网站 几百万数据一次性计算统计总和

php(做为现在的主流开发语言)实例教程:网站在线人数的程序代码,后台有MySQL(和PHP搭配之最佳组合)数据库支持。可以直接统计出网站当前的在线人数。

首先是创建MySQL(和PHP搭配之最佳组合)数据库表。

以下是引用片段:
CREATE TABLE tablename (
field type(max_length) DEFAULT default_value (NOT) NULL
}
可以使用的SQL语句。

以下是引用片段:
CREATE TABLE useronline (
timestamp int(15) DEFAULT 0 NOT NULL,
ip varchar(40) NOT NULL,
file varchar(100) NOT NULL,
Prima(最完善的虚拟主机管理系统)RY KEY (timestamp),
KEY ip (ip),
KEY file (file)
);
下面开始使用php(做为现在的主流开发语言)脚本,首先定义MySQL(和PHP搭配之最佳组合)的信息。

以下是引用片段:
$server = "localhost"; //你的服务器
$db_user = "root"; //你的MySQL(和PHP搭配之最佳组合)的用户名
$db_pass = "password"; //你的MySQL(和PHP搭配之最佳组合)的密码
$database = "users"; //表的名字

设置统计的时间(多少秒内在线人数)

以下是引用片段:
$timeoutseconds = 300;
取当前时间。

以下是引用片段:
$timestamp = time();
上面的完整代码:

以下是引用片段:
<?php(做为现在的主流开发语言)
$server = "localhost"; //your server
$db_user = "root"; //your MySQL(和PHP搭配之最佳组合) database username
$db_pass = "password"; //your MySQL(和PHP搭配之最佳组合) database password if any
$database = "users"; //the db name
$timeoutseconds = 300;//timeoutseconds limit
//get the current time
$timestamp = time();
//calculate the lowest timestamp allowed
$timeout = $timestamp-$timeoutseconds;
?>
连接MySQL(和PHP搭配之最佳组合)

以下是引用片段:
MySQL(和PHP搭配之最佳组合)_connect(localhost, username, password);

也允许使用变量形式。

以下是引用片段:
MySQL(和PHP搭配之最佳组合)_connect($server, $db_user, $db_pass);

如果MySQL(和PHP搭配之最佳组合)数据库没有密码的话可以使用下面代码连接(当然建议大家一定要设置好自己的密码,这样起码黑客得要解密啊)

以下是引用片段:
MySQL(和PHP搭配之最佳组合)_connect($server, $db_user);

查询数据库的代码:

以下是引用片段:
MySQL(和PHP搭配之最佳组合)_db_query(database, query);

只要有访客就要增加一条记录。

以下是引用片段:
$insert = MySQL(和PHP搭配之最佳组合)_db_query($

5. PHP网站怎么加网站访问量统计

1、本地新建一个空白文档,命名为cnt.php
2、用记事本打开cnt.php,然后将代码复制到cnt.php里面。代码如下:
<?php
$n=file_get_contents('cnt.txt');
$n++;
file_put_contents('cnt.txt',$n);
echo "document.write($n);";
?>
3、保存cnt.php文件,并上传到服务器。
4、然后在主页或者其它页面里面这样调用计数器:
”你是第<script type=text/javascript src=cnt.php></script>位访问者“
就可以了。
5、这样就可以清楚的知道了有多少访客来访了。这个除了在首页可以使用外,其他页面也可以通过这个方法进行调用,只需要在你需要统计的地方添加上这个”你是第<script type=text/javascript src=cnt.php></script>位访问者“就可以轻松知道你需要统计的地方有多少访客了。

6. php如何统计访问单篇文章的访问量

先给储存相应文章的数据表增加一个记录访问量的字段。

1, 可以每访问一次,字段数量加一,但是这样会不准确,因为只要刷新一下,就会记录一下。

2, 为了防止上面的情况发生,可以记录访问者的IP地址,重复的IP地址访问,只记录一次。

3, 但是,一个IP地址,只记录一次,也有问题,比如,一个局域网,多个访问者,共用一个IP地址,这样也会记录不准确。所以最好,一个IP地址一定时间内访问记录一次。这样相对好一点。

4, 不过,即使记录IP地址,但是也有可能有恶意的用户通过切换IP,或者通过刷票软件来刷访问量。这些问题,还需要更深的研究一下,怎么应对。

比如:

<?php
$ip = $_SERVER['REMOTE_ADDR'];

//循环对比数据表中储存的IP,如果IP存在,不再记录

$query = mysql_query("select * contetns where ip = '".$ip."'");

if(mysql_num_rows($query) > 0){
//IP存在
}else{
//记录访问量
}
?>

7. PHP中如何实现在线人数的统计和显示

要使用数据库,建立一个表,比如名字是online,至少有以下列:
name_ip 存放登录用户名,未登录的存放IP,char类型
url 存放每个页面的地址,char类型
last_time 存放刷新页面的最后时间,int类型
表的主键是:name_ip+url

每个页面一开始就要刷新这个表,使用的SQL是:
$name_ip='用户名或者IP';//你能搞定
$url=$_SERVER["PHP_SELF"];
$time=time();
$sql="replace delayed into online (name_ip,url,last_time) values ('$name_ip','$url',$time)";
mysql_query($sql);

获取某页面在线人数的查询是语句
$limit=time()-10*60;//10分钟内访问的认为在线,10分钟*60秒/分钟
$sql="select count(*) from online where url='$url' and last_time>=$limit";
$res=mysql_query($sql);
list($online_count)=mysql_fetch_row($res);
mysql_free_result($res);

echo "本页面在线人数: $online_count";

8. php采集大数据的方案

1、建议你读写数据和下载图片分开,各用不同的进程完成。
比如说,取数据用get-data.php,下载图片用get-image.php。

2、多进程的话,php可以简单的用pcntl_fork()。这样可以并发多个子进程。
但是我不建议你用fork,我建议你安装一个gearman worker。这样你要并发几个,就启几个worker,写代码简单,根本不用在代码里考虑thread啊,process等等。

3、综上,解决方案这样:
(1)安装gearman worker。
(2)写一个get-data.php,在crontab里设置它每5分钟执行一次,只负责读数据,然后把读回来的数据一条一条的扔到 gearman worker的队列里;
然后再写一个处理数据的脚本作为worker,例如叫process-data.php,这个脚本常驻内存。它作为worker从geraman 队列里读出一条一条的数据,然后跟你的数据库老数据比较,进行你的业务逻辑。如果你要10个并发,那就启动10个process-data.php好了。处理完后,如果图片地址有变动需要下载图片,就把图片地址扔到 gearman worker的另一个队列里。
(3)再写一个download-data.php,作为下载图片的worker,同样,你启动10个20个并发随便你。这个进程也常驻内存运行,从gearman worker的图片数据队列里取数据出来,下载图片

4、常驻进程的话,就是在代码里写个while(true)死循环,让它一直运行好了。如果怕内存泄露啥的,你可以每循环10万次退出一下。然后在crontab里设置,每分钟检查一下进程有没有启动,比如说这样启动3个process-data worker进程:
* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php >> /dev/null 2>&1'
* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php >> /dev/null 2>&1'
* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php >> /dev/null 2>&1'

不知道你明白了没有

9. php如何排除网络爬虫,统计出访问量。

PHP可以通过$_SERVER['HTTP_USER_AGENT']函数来判断是否是蜘蛛以及是什么蜘蛛!
代码如下:$useragent=$_SERVER['HTTP_USER_AGENT'];
if(substr_count($useragent,"Baispider")){echo "网络蜘蛛";}还有就是从IIS或者APACHE的访问日志里的报头来判断,但是这样的话,必须用程序去只读日志文件,如果多的情况下,有可能产生的日志文件大小非常大,而每次读这个文件,基本上你服务器可以不干别的了!

阅读全文

与php实时统计大数据相关的资料

热点内容
怎样查看ps文件的源 浏览:993
c程序设计考试卷 浏览:247
苹果电脑qq删除好友 浏览:402
无线网络设置没有了 浏览:240
wap端微信分享插件 浏览:970
压缩文件的格式不包括 浏览:867
iphone6s彩信怎么设置 浏览:245
公共政策文件内容 浏览:445
win10组件服务修复 浏览:358
linux换行符写文件 浏览:494
jquery查找json 浏览:440
测dna的纯度应该读取哪个数据 浏览:245
怎么验证在qq里边搜的人是真人 浏览:404
erp系统需要什么编程 浏览:916
程序员用语 浏览:177
招标文件研读报告包括内容 浏览:862
系统软件处理数据有哪些好处 浏览:706
flash数据库动态开发专业教程下载 浏览:874
u盘文件被锁怎么消除 浏览:39
前三季度gdp数据广东什么时候公布 浏览:726

友情链接