大数据

MVC实用架构设计(三)——EF-Code First(5):二级缓存

前言


今天我们来谈谈EF的缓存问题。

缓存对于一个系统来说至关重要,但是是EF到版本6了仍然没有见到有支持查询结果缓存机制的迹象。EF4开始会把查询语句编译成存储过程缓存在Sql Server中,据说EF6中对此做了改进,会把Linq To Entities 的查询条件直接编译缓存在EF中。但是这些都是只是对查询条件做了缓存,而不是缓存查询的结果集(DbSet.Find(object key)那个虽然走了DbSet.Local数据集,但也仅支持通过主键查找单个实体的情况,很有局限性),没有达到我们想要的效果。

EF不加缓存功能,可能也有另外的考虑吧,这里不去猜测。虽然EF团队没有在EF中加入缓存功能,但已经给出的缓存功能的扩展,这就是Community Entity Framework Provider Wrappers,这个扩展的工作原理由下图可以清晰的了解:12141602-855c229318b642d482fe0e6f2e279f5f

该扩展提供了跟踪SQL运行日志与SQJ结果集缓存的功能,这里,我们只用到它的缓存功能来为EF建立二级缓存的支持。

注意:据经验,此方案不适用于EF6,请使用EF6的朋友另辟蹊径。

缓存设计


引用EFProviderWrappers

如下图,在NuGet中只提供了Entity Framework Provider Wrapper Toolkit(基础类库)与Entity Framework Tracing Provider(日志跟踪)的下载,很遗憾的并没有提供 Entity Framework Caching Provider(缓存)。

12142639-6252a364b9c5453998696d6ba1b31c52

我们只能自己动手来引用了,这里提供几种思路:

  • 到 http://code.msdn.microsoft.com/EFProviderWrappers 下载代码,自行编译,然后在项目GMF.Component.Data项目中手动引用EFProviderWrapperToolkit.dll与EFCachingProvider.dll文件。
  • EFProviderWrapperToolkit由NuGet下载,EFCachingProvider手动引用。

我是觉得两种思路都挺麻烦的,这个扩展的代码貌似已经不更新了(3/18/2011),而且在GMF.Component.Data中额外的引用两个程序集也是个麻烦事,于是我用下面的方法来引用:

在GMF.Component.Data项目中新建两个文件夹,把以上源代码中的两个工程以文件夹的形式包含到项目中。

这样,似乎更干净利落,如图:
12144524-11d6671b1a964e46b95b08023d891dfe

缓存代码分析与整合

关键代码简介

在EFCachingProvider中,我们要用到的核心类有三个:

12185102-c214dca95f3a46608cfc389ec02bfaad

  • ICache:缓存缓存基类,系统中实现了一个内存缓存类(InMemoryCache),适用于单台服务器的缓存实现,如果要实现分布式缓存,可以从这个基类进行扩展。
    • InMemoryCache:内存缓存实现类,内部使用了一个Dictionary<string, CacheEntry>作为缓存容器,以查询的SQL语句及参数的连接字符串(或其MD5值)为键(EFCachingCommands.cs类中定义)。还包含了缓存命中、缓存项数量等数据的统计及缓存清理功能。
  • CachingPolicy:缓存策略基类,定义了当前实体是否可缓存(CanBeCached)、定义缓存缓存数(GetCacheableRows)、缓存项滑动过期与绝对过期时间(GetExpirationTimeout)等功能,并默认了绝对过期时间为永不过期(DateTime.MaxValue)
    • NoCachingPolicy:不缓存策略,禁用缓存功能。
    • CacheAllPolicy:缓存所有数据策略,缓存项最大数量为int.MaxValue
    • CustomCachingPolicy:自定义缓存策略,使用了CacheableTables与NonCacheableTables两个集合来表示数据类型是否可缓存的白名单与黑名单,这两个名单将在重写的CanBeCached方法中作为类型是否可缓存的验证依据。
  • EFCachingConnection:此类定义了类型为ICache,CachingPolicy的两个属性,分别用于接收上面据说的两个扩展点。12195101-35cddc284bed4dedb55d9023dc5b9b09

应用缓存扩展

EF的DbContext上下文类有一个重载

public DbContext(DbConnection existingConnection, bool contextOwnsConnection) { }

需要的是DbConnection参数,而EFCachingConnection正好是派生自DbConnection的,我们只需要构建一个EFCachingConnection对象作为参数去构造DbContext派生类的对象,即可完成缓存功能的注入(如本篇第一张图所示)。这里,缓存专用的DbContext派生类只需要派生自原项目中定义的EFDbContext类。

namespace GMF.Component.Data
{
    /// <summary>
    ///     启用缓存的自定义EntityFramework数据访问上下文
    /// </summary>
    [Export("EFCaching", typeof (DbContext))]
    public class EFCachingDbContext : EFDbContext
    {
        private static readonly InMemoryCache InMemoryCache = new InMemoryCache();

        public EFCachingDbContext()
            : base(CreateConnectionWrapper("default")) { }

        public EFCachingDbContext(string connectionStringName)
            : base(CreateConnectionWrapper(connectionStringName)) { }

        /// <summary>
        ///     由数据库连接串名称创建连接对象
        /// </summary>
        /// <param name="connectionStringName">数据库连接串名称</param>
        /// <returns></returns>
        private static DbConnection CreateConnectionWrapper(string connectionStringName)
        {
            PublicHelper.CheckArgument(connectionStringName, "connectionStringName");

            string providerInvariantName = "System.Data.SqlClient";
            string connectionString = null;
            ConnectionStringSettings connectionStringSetting = ConfigurationManager.ConnectionStrings[connectionStringName];
            if (connectionStringSetting != null)
            {
                providerInvariantName = connectionStringSetting.ProviderName;
                connectionString = connectionStringSetting.ConnectionString;
            }
            if (connectionString == null)
            {
                throw PublicHelper.ThrowComponentException("名称为“" + connectionStringName + "”数据库连接串的ConnectionString值为空。");
            }
            string wrappedConnectionString = "wrappedProvider=" + providerInvariantName + ";" + connectionString;
            EFCachingConnection connection = new EFCachingConnection
            {
                ConnectionString = wrappedConnectionString,
                CachingPolicy = CachingPolicy.CacheAll,
                Cache = InMemoryCache
            };

            return connection;
        }
    }
}

这里缓存策略使用了缓存所有数据(CacheAllPolicy)的策略,在实际项目中,最好自定义缓存策略,而不要使用这个策略,以免服务器内存被撑爆。

我们在应用程序配置(Web.Config或App.Config)中,添加一个名为“EntityFrameworkCachingEnabled”的AppSettings节点,用来进行启用/禁用缓存的开关配置。

<appSettings>
  ...
  <add key="EntityFrameworkCachingEnabled" value="true" />
  ...
</appSettings>

另外,缓存扩展还需要我们在配置文件中添加如下节点的配置:

<system.data>
    <DbProviderFactories>
      <add name="EF Caching Data Provider" invariant="EFCachingProvider" description="Caching Provider Wrapper" type="EFCachingProvider.EFCachingProviderFactory, GMF.Component.Data" />
      <add name="EF Generic Provider Wrapper" invariant="EFProviderWrapper" description="Generic Provider Wrapper" type="EFProviderWrapperToolkit.EFProviderWrapperFactory, GMF.Component.Data" />
    </DbProviderFactories>
  </system.data>

再来看看,怎样使用“EntityFrameworkCachingEnabled”配置来控制缓存功能的开关。我们的设计中,DbContext对象的注入点为如下所示的Context属性:

/// <summary>
///     单元操作实现基类
/// </summary>
public abstract class UnitOfWorkContextBase : IUnitOfWorkContext
{
    /// <summary>
    /// 获取 当前使用的数据访问上下文对象
    /// </summary>
    protected abstract DbContext Context { get; }

    /// <summary>
    ///     获取 当前单元操作是否已被提交
    /// </summary>
    public bool IsCommitted { get; private set; }

所以,我们只需要在UnitOfWorkContextBase的派生类中读取 EntityFrameworkCachingEnabled 进行切换即可。

namespace GMF.Component.Data
{
    /// <summary>
    ///     数据单元操作类
    /// </summary>
    [Export(typeof (IUnitOfWork))]
    public class EFRepositoryContext : UnitOfWorkContextBase
    {
        /// <summary>
        ///     获取 当前使用的数据访问上下文对象
        /// </summary>
        protected override DbContext Context
        {
            get
            {
                bool secondCachingEnabled = ConfigurationManager.AppSettings["EntityFrameworkCachingEnabled"].CastTo(false);
                return secondCachingEnabled ? EFCachingDbContext.Value : EFDbContext.Value;
            }
        }

        [Import("EF", typeof (DbContext))]
        private Lazy<EFDbContext> EFDbContext { get; set; }

        [Import("EFCaching", typeof(DbContext))]
        private Lazy<EFCachingDbContext> EFCachingDbContext { get; set; }
    }
}

注意,因为EFDbContext与EFCachingDbContext两个属性只能同时用到其中之一,导入需要使用Lazy<>类型来包装,这样没用到的属性就不会实例化了。

下面,我们来测试一下缓存功能是否生效,就用上篇的那个翻页列表吧。判断标准为SQL Server Profiler是否有SQL语句执行。为方便演示,这里在列表的下方显示当前的时间,以便与SQL Server Profiler中的时间进行匹配。

第1页不计。

点击第2页,执行了查询:

12220110-dbf8d15c7c60477e94420de9928d77a4

点击第3页,执行了查询:

12220110-dbf8d15c7c60477e94420de9928d77a4

再回到第2页,没有执行查询:

12220136-7705529691ca4193851870167e540938

点击第4页,执行了查询:
12220148-f71e390d5159411b8a7377941e68ade6
结论:重复第2页的时候,数据已经缓存了,没有读数据库查询数据,说明缓存已经生效了。

最后要提示的一点:

带缓存的上下文不能担当生成数据库的职责,因此在第一次运行生成数据库的时候,必须关闭缓存。