天缘博客

日薄风骤艳阳曾,月明今夜诵三经,天缘路上多风雨,地北天南亦有情。

读写文件与读写数据库的效率比较

这个问题也是最近才想到的,就是到底读文件更快还是读数据库更快,能快多少,天缘也搜索过,没见有网友就这个问题答复过,也可能是太简单的缘故,我们本文还是来实测一下,由于时间关系,VC还没装,天缘先用PHP测试了一下,下次有时间在C/C++上补充测试到本文来,因为PHP的底层解析应该也是基于C的,所以估计两者环境测试结果差不多,小问题大收获,现在就来看一下测试过程及结果。

测试程序如下:

//说明1:由于读数据库语句调用简单的封包函数两次,所以把读文件也改成连续调用两次,数据库记录ID为1就在第一条,并且唯一索引。

//说明2:测试两次一次是4K数据,一次是整形数据

set_time_limit(0);

function fnGet($filename)
{
    $content = file_get_contents($filename);
    return $content;
}

function fnGetContent($filename)
{
    $content = fnGet($filename);
    return $content;
}
   
$times=100000;   
echo '数据库查询结果:<br/>';
//---------------------------------
$begin=fnGetMicroTime();
for($i=0;$i<$times;$i++)
{
    $res=$dbcon->mydb_query("SELECT log_Content FROM blog WHERE log_ID='1'");
    $row=$dbcon->mydb_fetch_row($res);
    $content=$row[0];
}
echo 'fetch_row '.$times.' 次时间:<font color=red>'.(fnGetMicroTime()-$begin).'</font>秒<br/>';
//---------------------------------

$begin=fnGetMicroTime();
for($i=0;$i<$times;$i++)
{
    $res=$dbcon->mydb_query("SELECT log_Content FROM blog WHERE log_ID='1'");
    $row=$dbcon->mydb_fetch_array($res);
    $content=$row['log_Content'];   
}
echo 'fetch_array '.$times.' 次时间:<font color=red>'.(fnGetMicroTime()-$begin).'</font>秒<br/>';
//---------------------------------

$begin=fnGetMicroTime();
for($i=0;$i<$times;$i++)
{
    $res=$dbcon->mydb_query("SELECT log_Content FROM blog WHERE log_ID='1'");
    $row=$dbcon->mydb_fetch_object($res);
    $content=$row->log_Content;   
}
echo 'fetch_object '.$times.' 次时间:<font color=red>'.(fnGetMicroTime()-$begin).'</font>秒<br/>';
//---------------------------------

$dbcon->mydb_free_results();
$dbcon->mydb_disconnect();

fnWriteCache('test.txt',$content);

echo '直接读文件测试结果:<br/>';

//---------------------------------
$begin=fnGetMicroTime();
for($i=0;$i<$times;$i++)
{
    $content = fnGetContent('test.txt');
}
echo 'file_get_contents直接读'.$times.'次时间:<font color=red>'.(fnGetMicroTime()-$begin).'</font>秒<br/>';
//---------------------------------

$begin=fnGetMicroTime();
for($i=0;$i<$times;$i++)
{
    $fname = 'test.txt';
    if(file_exists($fname))
     {
        $fp=fopen($fname,"r");//flock($fp,LOCK_EX);       
        $file_data=fread($fp, filesize($fname));//rewind($fp);      
        fclose($fp);
    }
    $content = fnGetContent('test.txt');
}   
echo 'fopen直接读'.$times.'次时间:<font color=red>'.(fnGetMicroTime()-$begin).'</font>秒<br/>';

4K大小数据的查询结果:

fetch_row 100000 次时间:16.737720012665

fetch_array 100000 次时间:16.661195993423

fetch_object 100000 次时间:16.775065898895

直接读文件测试结果:

file_get_contents直接读100000次时间:5.4631857872009

fopen直接读100000次时间:11.463611125946

整形ID查询结果:

fetch_row 100000 次时间:12.812072038651

fetch_array 100000 次时间:12.667390108109

fetch_object 100000 次时间:12.988099098206

直接读文件测试结果:

file_get_contents直接读100000次时间:5.6616430282593

fopen直接读100000次时间:11.542816877365

 

测试结论:

1、直接读文件相比数据库查询效率更胜一筹,而且文中还没算上连接和断开的时间。

2、一次读取的内容越大,直接读文件的优势会越明显(读文件时间都是小幅增长,这跟文件存储的连续性和簇大小等有关系),这个结果恰恰跟天缘预料的相反,说明MYSQL对更大文件读取可能又附加了某些操作(两次时间增长了近30%),如果只是单纯的赋值转换应该是差异偏小才对。

3、写文件和INSERT几乎不用测试就可以推测出,数据库效率只会更差。

4、很小的配置文件如果不需要使用到数据库特性,更加适合放到独立文件里存取,无需单独创建数据表或记录,很大的文件比如图片、音乐等采用文件存储更为方便,只把路径或缩略图等索引信息放到数据库里更合理一些。

5、PHP上如果只是读文件,file_get_contents比fopen、fclose更有效率,不包括判断存在这个函数时间会少3秒左右。

6、fetch_row和fetch_object应该是从fetch_array转换而来的,天缘没看过PHP的源码,单从执行上就可以说明fetch_array效率更高,这跟网上的说法似乎相反。

实际上在做这个试验之前,从个人经验判断就有了大概的结果,测试完成后则有种豁然开朗的感觉。假定在程序效率和关键过程相当且不计入缓存等措施的条件下,读写任何类型的数据都没有直接操作文件来的快,不论MSYQL过程如何,最后都要到磁盘上去读这个“文件”(记录存储区等效),所以当然这一切的前提是只读内容,无关任何排序或查找操作。

更多文章:

知识总结:PHP常用正则表达式收集整理

PHP常用字符串正则替换及剖分函数比较

书签收藏刷FavorFlush V1.00 + 使用教程

图片批量水印软件BatchWater V1.00 + 使用教程

串口调试工具小软件FreeCom v1.00

IE地址栏URL管理小工具软件IEUrlMan V1.00

VC++通过进程注入读取其它程序列表数据演示

网页语言ASP.NET、PHP、JSP的特性区别及选择建议

天缘网友 [天缘]: 2010-08-30 12:27:11 发表
@lead还是lead:我也只是象征性的测试了一下,深入对索引算法比较都没做,无非用自己文件系统和系统接口两种,数据库要想设计的超过文件系统读写效率不是件简单的事情。
天缘网友 [lead还是lead]: 2010-08-29 23:19:40 发表
我最近做了数据库跟文件存储效率的测试,结果跟博主的结论出奇的相同。
天缘网友 [haibor]: 2010-01-02 18:24:11 发表
我自己的感受是,把网站的设置内容等固性的,放置文本里,速度会快不少

天缘 于 2010-1-2 11:24:27 回复

天缘也这么认为。

天缘网友 [geek]: 2010-01-01 07:44:44 发表
事实上,mysql只是很小的数据库。像oracle,都是有自己的文件系统的,可以装在rawhard disk上。一般做research,有时也会用postgresql。你的测试非常不充分,不要轻易下所谓的结论。

天缘 于 2009-12-31 23:58:19 回复

在天缘的观点里,任何数据库都是相同的,对于读写文件和数据库的效率比较,我们只需要考察两点,一种是利用OS接口,一种是自己直接对磁盘操作,所以哪个效率更高,似乎只需要比较这两点就可以了(实际也是比较索引算法),也可能是数据库会更高,比如你说自己的文件系统,但是天缘感觉可能性比较小,因为数据库还有其它开销。

天缘网友 [geek]: 2010-01-01 07:38:10 发表
我想,非研究人员,不要做这种研究性质的事情。 指出你的一个非常明显的错误, “3、写文件和INSERT几乎不用测试就可以推测出,数据库效率只会更差。” 我们知道,文件是B-Tree 或B+Tree的,当然也可以是Table结构(VFAT)。如果做insert操作,那么设文件有n个blocks,在Tree中,复杂度为O(log(n)),用来insert一个数据。 而数据库就不一样了。数据库如果采用的是dynamic buckets hashing,或者linear buckets hashing. 那么Insert 操作的复杂度为 O(1)。并且数据库是Relation Database, tuples 之间无偏序关系。就算采用的是最差的表结构,对数据库而言,也只要做了一个append操作,就完成Insert了。另外再更新一下Index。开销依然比文件小。

天缘 于 2009-12-31 23:52:38 回复

不论是什么结构,但前提要求在同环境下,比如PHP,C等语言下都可以,同样使用自带的系统函数,嵌套过程相当,天缘未对INSERT做测试,也不排除有比write函数效率更高的对磁盘直接操作,如果可能,天缘真的希望gree测试一个结果出来。 刚刚又看了你的留言,补充一点,我们测试过程都应该把各自的复杂度减到最低,因为一个写入N级目录下的文件和一个只有一条记录的数据库、或一个根下文件与一个数W记录的查询,都没有可参考性

天缘网友 [淮海先生]: 2009-12-31 01:20:31 发表
观察细微,做事踏实,看到他人所看不到的,为他人而不愿为,天涯求思只深而无不在也,真乃人中龙凤。最后提一下。。你的验证码老是看不清楚。。汗。。。

天缘 于 2009-12-30 18:51:33 回复

感谢的支持,验证码问题,看不清用鼠标点一下就会换一个。

天缘网友 [娱乐博客]: 2009-12-31 00:56:48 发表
我直接跳过
天缘网友 [ooaixt]: 2009-12-30 20:56:49 发表
不错不错,果然是读文件比较快
天缘网友 [TONY]: 2009-12-30 18:33:07 发表
点AD跑路!
天缘网友 [francis]: 2009-12-30 09:09:21 发表
恩,学习了。 看来一些非通用型的数据就尽量用本地文件缓存。

天缘 于 2009-12-30 14:31:44 回复

对头。

发表评论:

◎欢迎参与讨论,所有评论皆需审核,非法及及未经许可的广告信息不是勤劳致富的法宝,请勿发表。

订阅博客

最近发表

标签云

快速通道

本站采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载也必须遵循“署名-非商业用途-保持一致”的创作共用协议. 返回顶部
Copyright@2005-2011 Metsky.com, All rights Reserved.