Web Analytics
yangyang

a .NET Developer

All Posts


布隆过滤器原理及应用

布隆过滤器(Bloom Filter)是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数,主要用于判断一个元素是否在一个集合中。与直接存储数据不同,布隆过滤器是通过一系列随机映射函数,将待存储的数据通过映射函数提取特征,然后将这些特征存储到二进制向量对应的二进制位上(类似于前文的Bitmap存储),当查找某个值时,通过随机映射函数,提取特征,然后检查这些特征所在的二进制位上是否都为1,如果都为1,表示该可能存在在集合中,但只要有一个为0,则一定不在集合中。 …

Bloom Filter Hash table collision

位运算及其应用

位运算符作用于整型对象,并把运算对象看作是二进制位的集合。位运算提供了检查和设置二进制位的功能。通常在编写代码中,相比加减乘除,位运算并不常用,但在有些情况下,位运算有用处。本文首先介绍为位运算的基本概念,然后介绍位运算的应用场景,包括使用Bitmap来存储整型数据,并介绍了在此基础上如何对大量不重复的整型数据进行快速排序,对大量整型数进行去重和快速查找,最后介绍了编程语言对Bitmap思想的实现,包括C++里面的bitset,C#里面的BitArray,并介绍了枚举值中使用位运算的一些例子。 …

bitwise or xor bitmap bitset bitarray

当心文件路径中的Unicode控制字符

最近遇到一个特别诡异的问题,文件明明存在,但是在使用File.Exists判断时却显示为false,经过一番996,发现在获取文件绝对路径的时候,从文件的“属性”-"安全"Tab页里面,复制“对象名称”时,必须从“左往右”选中复制,如果从“右往左”选中复制,则会包含一个不可见的Unicode "u202A"字符(unicode十进制8234),从而导致错误。 …

LRO RLO 0x202A 0x202E

C#中的线程同步构造:用户模式构造和内核模式构造

当多个线程同时访问共享数据对象时,就需要线程同步,以保证数据状态不会被破坏。线程同步的通常做法是加“锁”,以保证某一时刻只有拥有这个锁的对象才能够去操作数据。加“锁”能够保证共享数据不会被破坏,但是它增加了代码的复杂性,并且有时候不容易测试和重现。另外“锁”增加了系统开销,会损害系统性能。本文介绍了C#中的基元用户模式构造和基元内核模式构造两类基本类型构造,并详细介绍了在C#中的实现。 …

ManualResetEvent user-mode kernel-mode volatile interlocked OCC WaitHandle AutoResetEvent Semaphore Mutex

C#中实例方法与虚方法的调用性能比较

实例方法、静态方法这类在编译时就能确定调用对象的方法相比抽象方法、虚方法、接口方法这类动态方法在函数调用方面速度要快一些,但这个耗时差别,与本身函数内部逻辑运行的耗时相比,在绝大多数情况下可以忽略不计。所以我们在写代码时,不用纠结使用虚方法、抽象方法或接口方法在方法调用时的开销,反而需要优先考虑的是代码的扩展性、灵活性,更进一步要关注函数方法内部算法逻辑或者流程的优化。 …

virtual method

.NET中的一些无损压缩算法

股票的行情这种时序数据类型,数据冗余度和相似度较高,天然适合进行压缩。本文分析了几种无损压缩算法,分别是C#内置的和SharpZipLib的GZip、Zstd、LZ4以及Snappy。在对比这几种算法的压缩率,压缩时间后发现,Zstd具有比较好的压缩率和压缩速度,基本能满足行情数据处理以及传输效率的要求。 …

GZip SharpZipLib Zstd LZ4 Snappy lossless compression algorithm

C++中的引用和指针

我本人只有一点C基础,还是上大学的时候习得的。工作不管是开发桌面程序Winform,WPF,还是Web程序,亦或是Office插件,一直使用的C#。在最近的工作中,需要使用C#调用一些C++类库,通常的做法就是把C++类库通过C++ CLI包装一下,然后变成dll直接供C#调用。但是到了.NET Core时代,C++ CLI已经不被支持了,所以唯一的交互方式就是通过P/Invoke,于是看了另外一本书《精通.NET互操作:P/Invoke、C++ Interop和COM.Interop》,发现在.NET与C++进行互操作时有非常多需要注意的地方,一不小心就会有性能问题,且容易出错,当然,这里面涉及到需要掌握一些C++的知识,所以就打算学习一下C++。     要学习一门新语言,当然要找最经典的书本看,然后跟着练习,于是我找到了《Primer C++ 第五版》这本书,我初次接触到C++里面的 …

C++

使用LINQPad实现短平快的功能需求

在平常的开发过程中,我们可能需要写一小段代码来分析某个数据,或者验证某个功能是否实现正确。通常要实现这些小功能,可以在Visual Studio中完成,但从Visual Studio打开启动完成,到开始编写第一行代码,通常需要很多时间 ,LINQPad提供了一种即开即写即编译运行的C#环境,可以用来进行快速的概念验证,以及开发一些短平快的小功能或者需求,非常方便。 …

LINQPad

开盘集合竞价算法的原理与实现

集合竞价是电子撮合交易中的重要撮合方式,通常用来在开盘或者收盘时产生开盘价或者收盘价,或者对于某些流动性差的产品,通过一段时间集中进行撮合,找出能产生最大成交量的价格的方式,(即市场大多数人认可的价格)防止价格被不小心操纵。     中国大陆市场中,由于人口众多,流动性几乎从不缺乏,所以从一开始就是采用把集合竞价生成开盘价和连续竞价高效撮合组合在一体的方式。具体上,沪深交易所都是以集合竞价来场开盘价和收盘价,在收盘价上,如果集合竞价不能产生收盘价,则采用最后一分钟加权平均价(上交所最开始的收盘价是使用的1分钟均价,后来改成了也采用集合竞价的方式产生)。本文对沪深交易所的开盘集合竞价算法作了简单论述和实现。 …

OpenCallAuction MatchEngine OrderBook

如何给自己理发

自3月疫情暴发以来,我已经有很长时间没有出小区了,然而头发仍在不停的生长。头发过长会带来很多烦恼,比如不好打理,看起来乱糟糟,甚至有可能影响大脑散热,恰好家里有一个给小孩理发的电动推头,于是研究并实践了一下如何给自己剪头发,看起来效果还行,这里记录居家自我理发过程中需要注意的地方,希望有所帮助。 …

haircut