PHP使用PDO从mysql读取大量数据处理详解

　　前言

　　本文主要介绍了关于PHP利用PDO从mysql读取大量数据处理的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧。

　　环境

　　 mysql: 5.6.34 php: 5.6 nginx: php-fpm

　　适用场景

　　需要处理一定数据集业务

　　 从mysql读取一定数据的业务导出 一次需要处理一定的mysql业务操作更新删除等 更多需要处理一定数据集的操作

　　pdo 关键设置

　　 $dbh = new \PDO($dsn, $user, $pass); # 关键设置，如果不设置，php依旧会从pdo一次取出数据到php $dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); //perpare里的游标属性不是必须的 $sth = $dbh->prepare(SELECT * FROM `order`, array(\PDO::ATTR_CURSOR => \PDO::CURSOR_SCROLL)); $sth->execute();

　　生成器

　　生成器，迭代数据操作

　　本生成器可省略

　　尝试代码

　　 class Test { public function test() { set_time_limit(0); $dbms=mysql; //数据库类型 $host=C(DB_HOST); //数据库主机名 $dbName=C(DB_NAME); //使用的数据库 $user=C(DB_USER); //数据库连接用户名 $pass=C(DB_PWD); //对应的密码 $dsn=$dbms:host=$host;dbname=$dbName; $dbh = new \PDO($dsn, $user, $pass); $dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); $sth = $dbh->prepare(SELECT * FROM `order`); $sth->execute(); $i = 0; $newLine = PHP_SAPI == cli ? \n : <br />; foreach ($this->cursor($sth) as $row) { // var_dump($row); echo $row[id] . $newLine; $i++; } echo 消耗内存： . (memory_get_usage() / 1024 / 1024) . M . $newLine; echo 处理数据行数： . $i . $newLine; echo success; } public function cursor($sth) { while($row = $sth->fetch(\PDO::FETCH_ASSOC)) { yield $row; } } } $test = new Test(); $test->test();

　　输出

　　 1 ... //省略部分id 804288 消耗内存：0.34918212890625M 处理数据行数：254062 success

　　总结

　　以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。