php性能优化进阶不要在for循环中操作DB

2024-04-02 19:04:59 614人浏览薄情痞子

摘要

目录前言场景说明解题思路核心代码示例性能对比反思总结前言如何提高程序运行速度，减轻服务器压力是服务端开发必须面对的一个问题。简单且朴素的原则：不要在for循环中操作DB，包括关系

前言

如何提高程序运行速度，减轻服务器压力是服务端开发必须面对的一个问题。

简单且朴素的原则：不要在for循环中操作DB，包括关系型数据库和NoSql。

我们应该根据自己的业务场景，在for循环之前批量拿到数据，用尽量少的sql查询批量查到结果。在for循环中进行数据的匹配组装。

上一篇文章 性能优化反思：不要在for循环中操作DB ，被推荐到首页也收到了大家的互动评论，再接再厉，进阶一版。

说明：继续上一篇文档的demo整理，不赘述重复代码了，建议大家先读上一篇内容。

场景说明

我们允许用户选择职业，系统预制了一批职业标签；又开放了自定义职业标签的功能，不限制自定义标签的次数。允许用户编辑资料时选择2个职业标签。
发现用户自定义的职业真的五花八门，随着业务增长，数量级越来越大；比如目前职业标签是2千个，以后可能有2万个，甚至20万个。
这种情况下，我们上一篇提到的在for循环之前批量查询全量数据，在for循环中用自定义函数匹配，避免在for循环中操作DB的方式命中率太低了，造成了极大的浪费。
比如：每个列表返回30个用户信息，每个用户选择了2个职业标签，最大标签数量是60；而我全量查到的职业标签数量是2千，命中率只有3%；如果职业标签达到2万个，命中率就只有0.3%了。

解题思路

首先，在for循环中不操作DB，这个大原则不变

上述问题的核心是命中率太低，就是全量查了很多用不到的数据

解决思路就是只批量查询命中的标签数据：

取到30个用户在user表中保存的职业id
30个用户的id去重后重组
在职业表通过whereIn查询匹配的职业标签
其他逻辑不变，替换的只是数据源：之前的数据源是全量数据，优化后的数据源是精准命中的数据。

思路清晰之后，开始coding

核心代码示例

为了行文紧凑，代码段中省略了和文章无关的代码，用竖着的三个.省略。

核心代码：抽取 renderUserInfo ，统一输出用户信息，这个函数在for循环中调用，获得数据源在for循环之前。

<?PHP
namespace App\Render;
.
.
.
class CommonRender extends BaseRender
{
    public static function renderUserinfo($data, $hobbyInfo = [],$professionInfo = [])
    {
        $hobbyInfo = !empty($hobbyInfo) ? $hobbyInfo : HobbyInfo::getAllInfo();
        //特殊处理，因为职业用户可以自定义 数字一直增长 不全量查数据；$professionInfo为空时不是批量查询，只查单条记录
        $professionInfo = !empty($professionInfo) ? $professionInfo : (isset($data['profession']) ? ProfessionInfo::getByIds($data['profession']) : []);
        if (!is_array($data)) {
            return [];
        }
        $ret = [
            .
            .
            .
//优化之前
//          'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']),
//          'profession' => !isset($data['profession']) ? [] : ProfessionInfo::getByIds($data['profession']),
//优化之后
            'hobby' => !isset($data['hobby']) ? [] : self::_renderHobby($data['hobby'], $hobbyInfo),
            'profession' => !isset($data['profession']) ? [] : self::_renderProfession($data['profession'], $professionInfo),
            .
            .
            .
        return $ret;
    }
}

isset() 判断，避免传入的数据不存在，提示数组越界。

我还整理了一篇如何避免数组下标越界，有兴趣可以阅读一下。

protected static function _renderProfession($userProfession, $professionInfo)
{
    $ret = [];
    if ($userProfession) {
        $userProfessionIds = explode(',', $userProfession);
        foreach ($userProfessionIds as $key => $userProfessionId) {
            if (isset($professionInfo[$userProfessionId])) {
                $ret[$key] = $professionInfo[$userProfessionId];
            }
        }
    }
    return $ret;
}

调用 commonRender() 的代码，即展示数据源是怎么来的。

public static function getBatchUserIntro($userid, $userList)
{
    $retData = [];
    if (empty($userList)) {
        return $retData;
    }
    .
    .
    .
    $hobbyInfo = HobbyInfo::getAllInfo();
    //按需批量查职业，不全量查询职业
    $professionIds = array_column($batchUserInfo, 'profession');
    $professionIds = implode(',', $professionIds);
    $professionIds = array_unique(explode(',', $professionIds));
    $professionInfo = ProfessionInfo::batchGetByIds($professionIds);
    foreach ($batchUserInfo as $item) {
        $retData[$item['userid']] = CommonRender::renderUserinfo($item, $hobbyInfo, $professionInfo, $expectInfo);
    }
    return $retData;
}

封装的工具方法，通过id数组批量获得数据，做了特殊判断，兼容值为空的情况。

public static function batchGetByIds($ids = [])
{
    //兼容职业为空的情况
    foreach ($ids as $key => $id) {
        if (empty($id)) {
            unset($ids[$key]);
        }
    }
    if (empty($ids)) {
        return [];
    }
    return self::query()->selectRaw('id,name,pid')
        ->whereIn('id', $ids)
        ->get()
        ->keyBy('id')
        ->toArray();
}

核心代码就是上述4部分

性能对比

以此举例：每次列表返回30个用户信息，每个用户选择了2个职业标签，最大标签数量是60；

优化之前：全量查到的职业标签数量为2千，命中率只有3%；如果职业标签达到2万个，命中率就只有0.3%了。

优化之后：全量查到的职业标签数量为2千，命中率为100%；如果职业标签达到2万个，命中率仍然为100%。

反思总结

程序设计一定要结合业务场景，没有绝对正确的程序设计；

随着业务增长原本稳健的程序设计也可能遇到问题，技术人必须能和业务一起成长。

更多关于php性能优化for循环DB操作的资料请关注编程网其它相关文章！

您可能感兴趣的文档:

点击免费下载>>软考高级考试备考技巧/历年真题/备考精华资料

--结束END--

本文标题: php性能优化进阶不要在for循环中操作DB

本文链接: https://www.lsjlt.com/news/151306.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑，方便收藏和打印～

下载Word文档

去做题

猜你喜欢

php性能优化进阶不要在for循环中操作DB

目录前言场景说明解题思路核心代码示例性能对比反思总结前言如何提高程序运行速度，减轻服务器压力是服务端开发必须面对的一个问题。简单且朴素的原则：不要在for循环中操作DB，包括关系...

99+

2022-11-13
php性能优化之不要在for循环中操作DB

目录前言场景说明举例说明进一步优化性能对比前言如何提高程序运行速度，减轻服务器压力是服务端开发必须面对的一个问题。简单且朴素的原则：不要在for循环中操作DB，包括关系型数据库和...

99+

2022-11-13
php之为什么不要在for循环中操作DB

本篇内容主要讲解“php之为什么不要在for循环中操作DB”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“php之为什么不要在for循环中操作DB”吧!前言如何提高程序运行速度，减轻服务器压力是服...

99+

2023-07-02