当前位置: 首页 > 法学实务 > 法官论坛
类案智能推送系统改进建议
——基于法官用户体验及类案检索系统的比对研究
作者:刘雯静  发布时间:2019-12-23 08:21:35 打印 字号: | |

作者简介:

刘雯静,女,1992年生,2013年7月毕业于阜阳师范学院,2016年1月进入博望区人民法院工作,现任研究室法官助理。

联系电话:0555-2370910、18900559880

Email: 404646396@qq.com

 

论文独创性声明

 

本人郑重声明:所呈交的论文是我个人进行研究工作及取得的研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写的研究成果,特此声明。

 

 

类案智能推送系统改进建议

——基于法官用户体验及类案检索系统的比对研究

论文提要:

本文首先运用对比分析法,建立了网站信息测试模型,对现有的几款热门案例检索网站进行了对比研究,寻找他们的优缺点。在此基础上,研判新的类案检索网站设计和信息架构探索的必要性,并最终针对最高院2018年1月新推出的“类案智能推送系统”,从基础设计、数据来源、人工智能精度、用户体验等方面提出意见和建议。(全文共9366字)

主要创新观点:

一、类案分类检索已逐步成为审判的重要部分,法官需要依靠检索内容来制作类案检索报告。然而对于法官而言,现有的检索网站/系统都具有一些缺点,无法真正简化和便利制作报告的流程。如此下去,制作检索报告将成为法官的新负担。

二、最高院已经在类案推送系统方面做出了探索,但由于人工智能的特殊性,该系统短时间内还无法满足法官的需求。笔者结合其他网站的优点,在类案智能推送系统的基础上,做出了较为实用的建议。

以下正文:

引  言

2017年8月1日,《最高人民法院司法责任制实施意见(试行)》(以下简称《实施意见》)正式开始施行。《实施意见》新创设了类案与关联案件检索机制,明确承办法官在审理案件时,应当依托办案平台、档案系统、中国裁判文书网、法信、智审等,对最高人民法院已经审结或正在审理的类案与关联案件进行全面检索,制作检索报告,并分情形作出处理。而在实践中,还未有法院彻底形成一套成熟的检索及制作报告的体系,这不仅出于对新机制的探索,没有可靠的检索方式也是一个重要因素。

一、常用案例检索互联网站表层对比

目前,互联网上可供查找法律案例的检索工具主要有综合性搜索引擎和法律专业网站。综合性搜索引擎如百度、谷歌、搜狗等,由于对关键词识别冗余,易给出过量信息,不方便从中寻找案例,故此次比较研究只选择5个热门的案例检索网站。分别是:中国裁判文书网(wenshu.court.gov.cn)、法信(www.faxin.cn)、北大法宝(www.pkulaw.com)、无讼(www.itslaw.com)、聚法案例(www.jufaanli.com)。

(一)数据层面

从数据来源上看,中国裁判文书网毋庸置疑是最官方、最权威的,但也有比较显著的缺点,一是数据量不多,较数据量最多的无讼少了将近700万篇;二是内容文本单调,只有裁判文书原文,不能快捷简便地查找关键点。

 

图表1

目前,除法信无法得知准确数据量外,其他检索网站数据体量都已突破4000万,无讼更是以54098056篇的量级占据顶端。对于普通的案件检索而言,4000万的大数据支持足以应付,但如果是新型案例,无讼与聚法案例的数据量更占优势。

(二)流量与影响力层面

网站的影响力,是直观表示用户选择意向的一项数值。影响力越高,说明用户越乐忠于选择该网站。在研究中发现,中国裁判文书网均是各项指标中最高的,无讼第二,而其他网站甚至无法在世界排名中占据一席之地。这也表示绝大多数的用户习惯于利用中国裁判文书网来寻找文书或案例。链接的网站数量通过SEO 查询获得,研究结果如图表2所示,信息采集时间为2018年6月25日10时35分。

 


网站世界排名

流量排名

百度权重([1])

中国裁判文书网

15353

11872

6

无讼

63957

112886

4

北大法宝

1

聚法案例

1

法信

图表2

    (三)检索功能层面

    在不同的网站输入同一个关键词,检索结果是绝对不同的,这基于各家网站的智能语义算法。如果想要得到更精准的结果,除了精简关键词外,网站本身提供的检索功能也非常重要。

图3 中国裁判文书网高级检索界面

    对于五个检索网站来说,中国裁判文书网主要受众并非案例检索,而是案件/文书检索,所以在高级检索的选项设置上并不便利。用户极难通过“检索”这一种方式寻找到自己想要的案例或类案,只能通过“检索—阅读—寻找关键词—下载—整理分析”这一复杂流程达到目的。与此相较,其余四个网站在这方面表现出众,用户不仅能通过案件名称、案由、法院名称等基础元素进行检索,同时还能直接寻找本院查明、本院认为、引用法条等元素,这为快速查找类案提供了极大便利。在此基础上,每家网站支持的检索项又有所不同:


无讼

聚法案例

北大法宝

法信

原告诉称

×

被告辩称

×

本院查明

×

本院认为

裁判结果

×

引用法条

×

×

审理经过

×

×

争议焦点

×

×

表格4

可以看出,北大法宝在检索功能的全面性上遥遥领先,聚法案例和法信居其次。

二、基于用户体验的常见案例检索互联网站测评

用户体验是用户在特定条件下与产品进行交互时所获得的所思、所感、所想。也可以说是一种纯主观的在用户使用一个产品(服务)的过程中建立起来的心理感受([2])。这种心理感受直接影响到用户对一个网站的总体评价。

(一)设计测试系统

基于用户体验,笔者设计对五个网站进行实际应用测试,来探寻究竟这些网站是否能够顺利协助完成一份《类案与关联案件检索报告》。按照从简单到复杂,从己知信息到未知信息的设计原则设定了以下四项任务。

1.明确性检索

(1)搜索案号为(2014)东二法厚民一初字第495号的裁判文书(案号从中国裁判文书网中随机抽选)。

(2)搜索2016年最高院发布的典型案例。

2.探索性检索

(1)国家工作人员收受财产性利益并向对方出具借条的,是否能认定为受贿罪?

(2)公章使用真实性存疑,如何认定合同是否成立及生效?

  

在对网站信息构建和用户体验进行深入研究的基础上,笔者结合用户的信息需求和行为特征,建立了基于用户体验的企业网站信息构建可用性测试模型,见图5。此模型具备易操作、可理解的特点。本文对测试结果的处理,采用定量和定性相结合的方法进行,指标得分采用层次分析的方法进行计算,在定量计算的基础上,结合定性的分析来描述结果。首先,笔者依据上节提到的信息构建可用性测试模型将网站信息构建的可用性测试这一行为过程分解为4个层次,从上到下依次为目标层、父准则层、子准则层和指标层。目标层为最上层,体现了网站信息构建可用性;可用性的三大属性构成了父准则层的元素;子准则层为可用性三大属性各自的分支;最底层为指标层,即具体的测试标准。层次结构如图6所示。

 

构建好测试体系后,笔者为本次可用性测试选择了5名参与者,均为35岁左右的员额法官,具有一定的审判经验与计算机应用水平。其次,由测试参与者通过完成指定的四项任务获得对网站的真实体验,然后根据自己的体验对测试问卷中的问题进行打分,并对计分结果进行统计。以北大法宝为例([3]),打分统计如下:

目标层

得分

父准则层

得分

子准则层

得分

指标层

得分

基于用户体验的网站信息构建可用性指标A

5.35

有用性B1

5.17

精确度C1

4.68

D1

3.4

D2

5.4

D3

5.4

D4

6.2

D5

3

完整性C2

5.67

D6

5

D7

5.8

D8

6.2

易用性B2

5.88

易学性和易记性C3

5

D9

6.2

D10

4.6

D11

4.6

D12

4.6

交互效率C4

5.9

D13

3.8

D14

6.2

D15

5

D16

8.6

容错性和可达性C5

6.73

D17

7.4

D18

5

D19

7.8

用户满意程度B3

5


5

D20

5

计算方法:D1-D20为测试参与者打分的平均值,其余父层得分均为子层得分的平均值。

 

表格7

(二)测试结果的分析

得到5个网站的具体打分数值(如表格7)后,对每一项的分值进行分析对比,以找出各个网站在类案检索方面的优劣。

1.信息构建的可用性分析

依据表格7的测试结果数据,北大法宝信息构建的可用性为5.35分,而5个网站中可用性得分最高的是无讼(6.28分),这个结果比较客观地反映了类案检索网站可用性的总体水平较低。

2.可用性各属性分析

(1)父准则层。5个网站的易用性与有用性得分均不高,可见用户很难在网站中迅速准确地找到需要的信息并完成测试任务。而法官/律师进行类案检索分析,最重要的就是效率和准确性,一旦在制作类案分析报告时消耗太多精力与时间,就会影响案件本身的审理效率。

(2)子准则层。所属于“有用性”的子准则中,人们对于“精确度”的关注往往要比对于“完整性”的关注更高,即对于用户来说,准确地找到有用信息的重要性比提供信息的数量更高。而对5个网站的测试结果显示,“精确度”的得分要比“完整性”的得分低很多,这说明要想提高网站信息构建的有用性,“精确度”是首要的关注点。

(3)指标层。 在上述20个指标中,测试参与者打分的平均分最高的两项为“D16-检索结果信息的充分性”和“D19-无效搜索行为的有效修复”。而最低的两项为“D1-信息组织的准确度”和“D5-高级检索/二次检索的有效性”。其中,中国裁判文书网在这部分的得分最低(均分2.07)。

由此可以看出,除中国裁判文书网之外的4个网站对检索结果给出的信息比较充分。测试时也可以发现,该4个网站对用户检索的案例/文书,不但提供原文、来源、案号等基础信息,还针对类案和案例交互作出了细节上的创新。如无讼、北大法宝、聚法案例的结果显示均按照指导性案例-公报案例-典型案例等重要性至上而下排列。在此基础上,无讼与聚法案例在结果中对检索关键词进行着色凸显,无讼甚至列出了全篇文章中关键词的命中次数,并提供了快速制作检索报告的功能支持。

图8 无讼的检索结果页面展示

对于无效检索行为的有效修复,虽利用程度低,但是不可否认,法信网在这方面所做的修复比其他网站要具体、有一定的针对性。如,用户检索若出现O条结果,网站会自动替换成【全文+模糊】的搜索模式。因此,测试的参与者对法信网这方面的努力(至少是尝试着向用户推荐更有效的检索和浏览策略)比较认可。而聚法案例则会提示用户:1.更换关键词重新检索;2.删减条件重新检索3.了解更准确的搜索规则。其他3个网站只显示无符合条件的数据/检索结果,没有更好的建议或替代模式。

无论是从内容、外观、实用功能、用户体验各方面来对比,常用的这5个类案和案例检索网站都各有优劣,但总体来说评分并不算高,适用性也不强。再加上目前几乎所有的相关检索网站都涵盖了注册项/收费项/广告,用户体验及其不友好,尤其是对于法官来说,如果制作每一份判决书前都需要先制作一份《类案与关联案例检索报告》,那么时效性、内容的精准性恐怕都难以保证,可能还要自己承担一部分的费用支出。

三、新的类案检索网站设计和信息架构探索的必要性

出于以上原因,目前全国法院的众多员额法官中,主动“试水”制作类案检索报告的非常稀少([4])。与之形成强烈对比的是,律师行业中可谓遍地开花,不仅报告数量、种类均持续增长,还不断探索批量撰写的方法。几家知名律所撰写的《<类案与关联案件检索报告>制作指南》、《手把手教你如何制作一份合格的案件检索报告》、《如何制作最受法官欢迎的案例检索报告》等文章,受到众多法律人的追捧,其中也包括法官。

为什么员额法官和律师在制作检索报告方面的积极性差距如此之大?首先,从律师的角度看,提交一份已经制作完毕的检索报告给法官,是帮助己方寻找有利于判决结果的机会(相较于请客吃饭,帮助法官“减负”既安全又受欢迎,还能提升好感),同时,检索报告的内容也直接关系着判决结果。其次,从法官的角度看,制作检索报告本就在原有的工作上增加了额外的负担,再加上最高院并没有给出规范的报告模板,一切都在探索阶段,耗费精力远不如等待他人“试水”结束。这时如果有律师主动提交一份检索报告,法官大概率会乐见其成。

然而,类案检索报告和证据目录性质不同,前者的结论紧密连接到判决结果,转嫁给律师进行制作仍有一定风险。如果律师在报告中只引用有利于自己一方的判例,隐去部分不利判例,在对方律师没有制作报告或者另一方当事人没有请律师的情况下,法官只有两种选择:一是全盘相信该份检索报告,判决结果在不知情的情况下向该方倾斜;二是根据该份检索报告使用检索工具进行再验证。这两种选择,一种违背了法官的公平公正性,一种与法官自己制作报告同样耗费时间金钱。所以,将制作检索报告的义务转嫁/变相转嫁给律师,是不合理的。

在这种情况下,如果想要全面推开类案与关联案件检索机制,就必须要提供法官制作检索报告足够的便利,这也是笔者认为需要推广一款法官专用的类案检索与报告制作工具/网站的必要性。

四、在类案智能推送系统基础上的改进建议

如前文所述,不同的类案检索网站在数量级、检索方式等方面均有差异。故即使是同一名法官进行同样关键词的检索,也可能在结果上出现细微差异,对于报告的制作而言就不严谨。网上检索系统众多,该选择哪款作为标杆/尺度进行再升级,最终形成全系统通用的类案检索工具呢?

2018年1月5日,最高人民法院正式上线运行了“类案智能推送系统”([5]),据官方介绍,在精准高效方面,做到全案由文书数据整体搜索推送准确率达到63.7%,民事、刑事Top10类型的准确率达到85.5%,其中以文检索全案由整体准确率61.6%,热门类型案由整体准确率81.8%,该系统尚未推广至全国各级法院。但该系统在实用上还有很大欠缺,没有受到法官的普遍欢迎,在他们看来,现有类案类判系统对于复杂案件的类案推动准确性不够, 而对于简单案件的类案推送往往并非基层法官痛点所在,由此降低了法官的用户体验与使用意愿。一些法官甚至坦言,“真正要用的时候还是要到外网用商业公司开发的案例检索系统去搜”([6])。笔者将在“类案智能推送系统”的基础上,提出一些建议。

(一)基础定位

1.系统选择:人民法院内网系统。一是部分法官/法官助理并不一定配备了联通外网的电脑,内网使用起来更加普及和方便;二是拥有内网登录权限的,95%以上都是法院工作人员,避免了系统为他人所用。

2.收费模式:使用者免费。因为系统开发的初衷是为法官制作类案报告提供方便,所以无论是检索、下载,还是智能生成报告都对使用者零收费。对于系统维护和更新的费用,则可以利用省级人财物统管,采用高院中院牵头,各级法院均摊的方式运行。

(二)扩张数据来源

现阶段所有投入运行的商业类案检索系统,数据来源无论大小,都是来自于中国裁判文书网和法院官方通过各种渠道发布的案例。就中国裁判文书网来说,其数据支撑来自于法院文书公开上网,就目前而言,全国法院还未能达到裁判文书100%上网。但内网系统则不同,一个案件从立案到结案再到执行,其中每个环节都会在案件管理系统中留痕,裁判文书自然也是。如果能够在推广使用“类案智能推送系统”的同时,将被推广法院的案件管理系统联通,只要法官上传电子版判决书/裁定书,就自动复制转移到智能推送系统内,就可增加大量的数据。这样的意义在于,一是法官不用重复上传,减少了工作量,二是数据获取的即时性大大加强。

同样,也可在各级法院开通案例上传权限,尤其是高院。因为对于大部分案例检索网站来说,采用的案例层级都比较高,高院发布的参考性案例很少采用,即使采用了显示权重也非常低。这不仅是因为层级低的案例参考价值小,更是因为除最高院外,其他法院发布的案例渠道少、采集难。有些法院只发布案例的名称,有些法院甚至不在网络上发布案例。法院系统的案例编写上报,如年度案例、案例要览、参考性案例等,一般由基层法院研究室案例编辑收集后层层上报。所以一旦开放权限给高院案例编辑,就可以将全省的案例汇总审核后直接输入类案智能推送系统。对于裁判文书来说,案例的好处在于条理更加明晰,格式更加易懂,并加上了承办法官自身对案件的解读与领悟。即使某些案例因为层级较低不具有特别的指导意义,但可成为一种参考,尤其是稀少的新型案件。

综上所述,类案智能推送系统一旦启用联通审判系统和开放案例编写权限后,将拥有任何类案检索网站/系统/软件无可比拟的数据量和数据来源。最重要的是,这是法院系统所独有的优势,用来造福和方便法官最适合不过。

(三)提高人工智能应用的精度

目前类案智能推送系统的主要运作方式,也即自动推送,实际上是由技术人员人工对案例进行“贴标签”,将每个司法案例化作数十个法律名词标签,用户搜索时再关键词与系统中的标签进行对比, 最终推送标签最为类似或相近的案例。这是由人工智能的“连续型学习”特性决定的。

通常,“机器学习”的数学基础是“统计学”、“信息论”和“控制论”。还包括其他非数学学科。这类“机器学习”对“经验”的依赖性很强。计算机需要不断从解决一类问题的经验中获取知识,学习策略,在遇到类似的问题时,运用经验知识解决问题并积累新的经验,就像普通人一样([7])。也就是说,学习时间越长,智能程度越强。所以在现有的环境下,贴的“标签”越多,越详细精准,检索结果就越智能。我们需要更多的经验丰富的法律工作者加入基础性的标签数据工作中,需要具备深厚法律学识素养的法学专家为纷繁复杂的法律事实界定更为清晰明确的法律标签。唯有如此,类案推送系统方能在此基础上寻求到更佳的数据匹配。同时,需要对类案系统的案例进行来源、级别与质量上的明确标示。首先,应当对每个案例库中的案例标示清楚来源,是指导性案例、公报案例、典型案例,还是一般的案例。案例的地域来源、来自何方,审判流程、是否上诉,效力状况、是否改判等情况应当标注明了。其次,应当参考性地标注案例的质量高低,供法官参考,当然,这部分工作需要法学研究者的联合投入。

(四)增强用户体验

1.检索结果的显示。依照案例精准、简明的特点对检索结果进行处理,除标题、类型、案号、级别等基础信息外,对于撰写检索报告最需要明确的内容优先排列,如:关键词、案件焦点、裁判要旨、定案结论、参考法条等。并在每条参考法条上设定超链接,鼠标点击可直接观看法条全文。

2.系统的通联与融合。随着信息化的飞速发展,法院内网系统种类越发繁多,审判系统、执行系统、办公自动化系统、档案管理系统……不仅数量多,对于法官而言要记住不同系统的地址与账号也是一项难事。就审判系统来说,各个省份法院也各不相同,且互不通联。笔者所在省份将所有内网与法院工作相关的系统集合在同一平台内,只要登录该平台即可通往任一系统,且免去再次登录的必要。类案智能推送系统作为最高院开发的一款新系统,又对法官撰写检索报告有着辅助作用,可以参考这种模式,在推广至全国的同时在系统内镶嵌其他平台的通道。形成一个具有通讯录、站点导航、审判执行、辅助工具等多功能合一的“超平台”,实际操作难度也不大,只需增加页面设计与超链接嵌入即可。也可在案例右方或下部嵌入判决书/案例作者所在法院的联系方式,为希望详询的法官提供便利。

(五)智能生成类案检索报告

在全国法院而言,目前还未有统一的类案检索报告范本,但案例检索系统的发展方向最终必须走上这一步。关键词检索——阅读判决书/案例——下载分类——挑选可用内容——复制粘贴——撰写,这样的步骤过于繁琐,理应进行简化,而智能生成报告模板则是极大节约时间与精力的一大帮手。笔者设想,在上文所述基础上,每一篇检索出的文章应在突出位置显示“添加”按钮。“添加”按钮包含2个下拉菜单,分别为“添加到素材库”与“添加到收藏夹”,用户可以点击“添加到素材库”使该篇内容成为即将撰写的报告素材,也可对感兴趣但暂不需要的文章进行收藏以备使用。将撰写报告所需所有内容添加至素材库后,则可以点击“智能生成报告”按钮进行报告的制作与修改。笔者根据不同的规范化和语言行文习惯预设了以下两种报告模板,用户可以直接在弹出的文档内进行微调再保存,即可形成一篇完整的类案检索报告。

【模板一】

关于“检索关键词”问题的案例检索报告

就某某(案由或争议焦点)问题,本院在类案智能推送系统中检索到了相关案件共X例:

1、指导案例X号:某某诉某某某案由纠纷案【(20XX)某某某第XX号,合议庭:甲、乙、丙】

【基本案情】

(一)原告诉称

XX诉称,2015年10月……

(二)被告辩称

XX未答辩。

  (注:以上请修改,可用简短的文字概况总结基本案情。)

  【裁判要旨】 法院生效裁判认为,本案的焦点问题是:1.2.3.4.……

  (注:以上请修改,可用简短的文字概况总结裁判要旨。)

2XX诉XX某案由纠纷一审案【(20XX)某某某第XX号,合议庭:甲、乙、丙】

【基本案情】

(一)原告诉称

XX诉称,2015年10月……

(二)被告辩称

XX公司并未……。

  (注:以上请修改,可用简短的文字概况总结基本案情。)

  【裁判要旨】 法院生效裁判认为,本案的焦点问题是:1.2.3.4.……

  (注:以上请修改,可用简短的文字概况总结裁判要旨。)

综上,按《合同法》第207条规定,借款人未按照约定期限返还借款的,应当按照约定或者国家有关规定支付逾期利息,此观点与合议庭成员观点一致/不一致,宜作为参考结论/宜提交审委会讨论。

报告撰写人:姓名

X年X月X日

【模板二】

关于“检索关键词”问题的案例检索报告

一、检索目的:

1.探知XX行为的限制性规定;

2.XXX诉求能否得到支持。

二、检索关键词:详细关键词(分项罗列)

三、检索法规和其他文件:

1.《中华人民共和国民法通则》第XX条第一款、第XX条第三款(超链接)……;

2.《中华人民共和国侵权责任法》第XX条(超链接)

3.《XX安全保护条例》第XX条(超链接)

四、检索案例

1.XX诉XX某纠纷一审民事判决书

案号:案号   审理法院:XX市某基层人民法院

裁判要旨:原告认为,……。本院认为,……

2.最高院指导案例XX号:XX诉XX某纠纷一案

案号:案号   审理法院:XX市中级人民法院

裁判要旨:本院查明,……。本院认为:……

五、检索分析

法院支持和不支持原告诉请的比例为:X:X

法院作出驳回原告诉请,有以下路径:

第一,XXX没有过错,见案例1;

第二,XXX不属于民事诉讼处理范围,见案例3、4;

第三、原告没有证据证明损失,见案例2.

法院作出支持原告诉请,有以下路径:

第一,……

六、检索结论

关于XXX问题,法律中没有明确的限制性规定。XXX,小部分法院认为应当赔偿相应损失,原因是……。本院认为,应当适用……的规定,作出……的判决。

报告撰写人:姓名

X年X月X日

结 语

    类案与案例检索即将成为审判不可或缺的一部分。对于最高院来说,关于制作类案检索报告的规定,其最终目的是帮助法官统一法律适用标准和裁判尺度,规范自由裁量权行使,提升司法能力和水平。然而现实是,制作检索报告的过程,很可能成为法官新的负担。不管是检索难度、制作报告的统一标准、商业收费网站,对于法官而言都是难以迈出第一步的阻拦石。最高院也应时推出了“类案智能推送系统”,笔者希望在此基础上,能够做出优化和升级,真正使该系统成为法院本身的智能辅助系统,最大程度地帮助法官、便利法官,以制作出更好的类案检索报告。



([1]) 百度本身并不承认权重体系,但却是互联网中常用的一种评级方式,针对关键词排名方面给网站带来的欢迎度。权重数值越大,说明网站自然流量越大,自然流量大,那么相应的关键词排名就相对靠前。

([2]) Lucas Daniel.:《Understanding user experience.Web Techniques》,2000,(8):42.

([3]) 为避免篇幅冗余,其余4个网站的具体得分值不再一一列出,而直接进行数据分析。

([4])全国第一份由法官制作的案件检索报告出自莆田城厢区法院,但并未在该法院普及。

([5]) 罗书臻:《认真学习贯彻党的十九大精神 深入推进智慧法院建设》,载《人民法院报》2018 1 6 日。

([6]) 左卫民:《如何通过人工智能实现类案类判》,载《中国法律评论》2018年第2期。

([7]) 源自百度百科“人工智能”词条。


 
责任编辑:陈依铭