Menu
Woocommerce Menu

AI之下无隐私? 旷视校园人脸识别产品引发争议

0 Comment


旷视科技对学生人脸的监控,以及ZAO事件,折射出人工智能技术本身的双刃剑特性——一方面代替重复性劳动,但同时带来随时监测个人生活的“惊悚感”。在人工智能高速发展过程中,技术与个人隐私之间的矛盾确实是“不可调和”的,作为企业主体,更该主动进行用户数据安全的保护。当人工智能等前沿技术逐渐应用于现实场景,投资人与创始人口中所谓的“数据优势”是否以牺牲用户隐私安全为代价?近日,关于人脸识别技术与个人数据安全之间的矛盾、学生个人到底有无隐私等讨论见诸网端。一张带有“MEGVII旷视”图标、面向校园学生学习状态的视频监控图像也在网络上引发热议,图片显示,该技术针对两名教室中的女生面部特征进行分析,分别显示出各自相应的课堂行为数据,如趴桌子、玩手机、睡觉、听讲、阅读、举手等。AI技术是把双刃剑针对网络端对旷视监控教室内学生一举一动的批评声,旷视方面对第一财经记者回应称,近日网络上出现的一幅课堂行为分析图片为技术场景化概念演示,旷视的智慧学校解决方案可以协助学校管理人员提升效率并保障学生安全,主要用于智能校门、教室门及宿舍的出入,方便学生安全出入校园。知乎上关于“如何看待旷视科技新产品监视学生上课”的话题下,一位ID为李小粥、职业为高级产品经理的用户发表观点称:“如果可以监视学生甚至量化学生的行为数据,那我们是否可以去监控每个教师、辅导员、校长的日常工作?如果今天的技术可以采集学生微表情,那未来是否会发展到采集脑电波、人体磁场、热力图、情绪等更加私密的生理特征?我们又是否愿意接受这样的监控?”该疑问提出的考量,来自于对人工智能技术采集个人数据的担忧,一位不愿透露姓名的人工智能领域研究人士对第一财经记者表示,旷视科技对学生人脸的监控,以及ZAO事件,折射出人工智能技术本身的双刃剑特性——一方面代替重复性劳动,但同时带来随时监测个人生活的“惊悚感”。他称,一般来讲业内会将现实生活场景的可视化视为好事,但前提是需要界定人工智能时代,什么数据是隐私?什么数据可开放?企业方应主动保护数据安全实际上,人脸识别技术此前早已步入校园与学生生活。2015年,清华大学在高校信息化建设中首次引入人脸识别技术,通过识别系统和智能设备,实现学生自行注册、自行办理火车票优惠卡充值、自行打印成绩单、自行办理在读证明等各项业务;2018年,全国各地初中以“提升校园安全”为由,在校园门口安装人脸识别考勤系统,以南京中国药科大学为例,其在校门、图书馆和宿舍都安装了人脸识别门禁。此次旷视之所以引发争议,很大程度在于其将原本简单的签到、注册、买票等业务升级到对微表情的分析,其官方对该技术介绍称:“在课堂教学评价系统中,旷视科技将自主研发的人脸识别、行为识别、表情识别等技术,集成在考勤及行为分析摄像机MegEye-C3V-920和行为分析服务器中。通过对课堂视频数据进行实时的结构化分析,反馈学生行为、表情、专注度、前排上座率等多维度课堂数据,辅助教学评估评价。”国外对人脸识别技术的落地应用采取了更为彻底的管制。今年4月5日,当旧金山监事会(TheSanFranciscoBoardofSupervisors)通过一项法案,禁止政府部门(受联邦政府管辖的机场、港口等出入境场所不在此例)使用面部识别技术,并规定城市机构在购买其他类型的监控技术之前获得城市议会批准。而近期,欧盟(EU)的一项数据保护法规首次在瑞典实施,其规定,一项涉及人脸识别软件的学校实验被认为是非法的,同时引发教育机构中是否应使用人工智能技术的讨论。此外,欧盟在2018年出台的GDPR规定称,公司在收集用户包括面部等生物特征数据前必须经得个人同意,如有违反,企业可以被罚款金额达其全球收入的4%。云测数据总经理贾宇航对第一财经记者表示,在人工智能高速发展过程中,技术与个人隐私之间的矛盾确实是“不可调和”的,作为企业主体,更该主动进行用户数据安全的保护。他以谷歌为例称,2018年,谷歌核心战略以云计算与人工智能为核心,但步入2019年,在世界范围内多次爆发用户数据安全事件后,谷歌将战略重心转移至注重用户隐私安全的边缘计算领域,很多用户数据存储于手机端,不会回传至云端。从该案例也可以看出公司主体主动对数据安全方面的考虑。

图片 1

图片 2

乾明 鱼羊 发自 凹非寺

来源:微信公众号“机器之能”

量子位 报道 | 公众号 QbitAI

在 C
端用户质疑其存在的隐私与伦理问题同时,计算机视觉方案落地线下教育场景的真实应用现状到底如何,教育市场的需求存量有多少,课堂学生状态监控方案落地后将带来哪些社会问题?这些问题亟待调查与解答。

教室之内,你做什么AI都有记录?!

撰文 | 寓扬、茜茜

为此旷视不得不回应了。

编辑 | 四月

昨天,一张带有“MEGVII旷视”图标的视频监控图像在社交网络上疯传。

九月伊始,又是一年开学季,和学生一同走进课堂的还有摄像头和人工智能。

图中显示,两名在教室中的女生身边,显示出了相应的课堂行为数据,比如趴桌子、玩手机、睡觉、听讲、阅读、举手等等。

近日,一组课堂上学生行为分析的视频截图在微博引发热议。照片中,摄像头通过计算机视觉算法获取两名学生的课堂表现,并以标签的形式计算出「听讲、阅读、举手,趴桌子、玩手机、睡觉」等动作次数。截图显示该技术方案来自旷视科技。

伴随这张图,还有大量网友严厉的指责与质疑,认为这样的技术不应该出现在课堂中。加之变脸AI应用ZAO引发的关注,隐私话题再次被谈及。

讨论区,网友对人工智能「监视」课堂行为所带来的隐私、伦理价值问题的声讨不断。有网友表示,「希望有人来解释一下课堂监控
AI 产品的合法性,尤其是人权和隐私权等权利的保护。」

不过相比起来,旷视对这些批评感觉有些冤,按照其官方回应,“这只是技术场景化概念演示”。

机器之心向旷视科技求证该方案目前的应用情况,旷视科技方面表示,该图片为技术场景化概念演示。旷视在教育领域的产品主要专注于保护孩子在校园的安全,同时也将坚持正当性、数据隐私保护等核心原则,接受社会的广泛建议和监督。

但引发的关注还在继续,更多教育场景内的AI应用,也引起前所未有的重新审视。

事实上,据机器之心了解,目前视觉方案在课堂教育场景的应用已经不是新鲜事,摄像头生产厂商、教育巨头、AI
技术公司三大类数十家企业。

摄像头盯着你上课

在 C
端用户质疑其存在的隐私与伦理问题同时,计算机视觉方案落地线下教育场景的真实应用现状到底如何,教育市场的需求存量有多少,课堂学生状态监控方案落地后将带来哪些社会问题?这些问题亟待调查与解答。

事情跟刚刚进入的开学季有关。

1

九月新学期开始后,不少学生就发现,自己熟悉的校园中出现了人脸识别系统。

智慧课堂是一块什么样的市场?

比如位于南京的中国药科大学,在校门、图书馆和宿舍都安装了人脸识别门禁。

据机器之心了解,旷视关于智慧课堂的解决方案在 2018
年的中国教育装备展上就已经亮相。当时,结合校园场景的需求,与自身在人脸识别、行为识别、表情识别等方面的
AI 技术,旷视就推出了智慧教育解决方案。

对于智能门禁,学生们的接受度倒是很高。有人认为这套系统识别准确,速度也很快;有人表示不再担心忘带校园卡,确实很方便。

在教学场景,旷视重点打造的是课堂智能考勤系统和教学评价系统。其中,考勤系统基于旷视的考勤摄像机,巡航拍摄教室并自动变焦拍摄人脸,再配合旷视的考勤主机盒子,以人脸识别验证的方式对上课学生进行身份核实。

学校保卫处负责人也表示,比起从前实行的校园卡刷卡通行,人脸识别系统的引入解决了过去师生忘带校园卡的麻烦,也解决了代刷卡、复制卡等校园安保问题。

而本次备受争议的则是课堂教学评价系统。旷视的大致做法是,通过其考勤及行为分析摄像机
MegEye-C3V-920
获取人脸、行为以及表情等数据,通过行为分析服务器对课堂视频数据进行结构化分析,并反馈学生的行为、表情、专注度等数据,辅助教学评估。

但这套来自“刷脸之王”旷视Face++的系统,可能不止是人脸识别刷门禁。

旷视科技告诉机器之心,目前旷视在智慧校园中主要提供门禁系统,比如应用在教室、宿舍中的门禁系统,学生可以刷脸通过,并且这些系统是离线部署在学校,旷视只提供技术支持。

在梨视频的采访中,校方介绍,这套系统不仅能对进入教室的学生进行全程人脸识别,还能监测到学生抬头低头,是否玩手机,是否发呆等行为细节。

针对网上流出的课堂行为分析图片,对方称,「这张图源于旷视一次小规模线下活动的
Demo 展示照片,目前还停留在技术展示阶段,并没有落地应用。」

关于这类系统,旷视也早有过相关介绍,目标所指是辅助教育:

不只是旷视,BAT、科大讯飞、好未来以及多家创业公司在近两年均围绕课堂场景推出了相关的视觉解决方案,这些玩家大体可以分为三类,分别是:设备厂商,教育公司和
AI 技术公司。

在课堂教学评价系统中,旷视科技将自主研发的人脸识别、行为识别、表情识别等技术,集成在考勤及行为分析摄像机MegEye-C3V-920和行为分析服务器中。

通过对课堂视频数据进行实时的结构化分析,反馈学生行为、表情、专注度、前排上座率等多维度课堂数据,辅助教学评估评价。

比如,一位该领域的技术方案提供商向机器之心表示,一般教学分析系统需要 800
万像素左右的摄像头对教室进行拍摄,典型情况下可以覆盖一个 40 人的课堂。

没想到,竟然在社交媒体上引发大讨论。

系统会先对每个人进行人脸跟踪,跟踪每个人的位置,然后把每个 ID
单独存储为序列数据,即一系列的图片。随后,在学校部署的工作站会使用深度学习模型进行「情感计算
」,对学生们的肢体、头部、视线等动作完成分析,得到一系列数值。

旷视在官方回应中说,自己在教育领域的产品专注于保护孩子在校园的安全。

服务器会把这些值打包发到发到云端,加载更加抽象的模型进行二次分析,最终输出整堂课的活跃度和专注度互动度等指标。在机器学习领域,检测专注度姿态的方式通过行为检测技术来完成。

相应的解决方案,可以协助学校管理人员提升效率并保障学生安全,主要用于智能校门、教室门及宿舍的出入,方便学生安全出入校园。

2

至于引发讨论的课堂行为分析图片,是技术场景化概念演示。

AI 摄像头陆续潜入课堂

但根据校方说法,相关系统已在两间教室中进行试点,如果效果好,会进行全校推广。

从应用端来看,尽管课堂监测方案存在一定争议,但不少学校的智慧课堂应用已经落地,以此进行系统化的学生管理,提升教学质量。

其实,这样的技术和应用并不算稀奇。有网友表示,这种校园分析的新闻去年前年就有了,现在竟然来了个大爆发……而且成为热搜事件,着实意料之外。

近日,位于江苏南京的中国药科大学,在两间教室「试水」安装了人脸识别系统,用于日常考勤和课堂纪律管理。学生是否认真听讲,课堂上是否抬头低头,抬头低头了几次,抬头低头了多长时间,低头是否在玩手机,是否闭眼打瞌睡,都逃不过人脸识别系统的「法眼」。

教育场景正成为AI落地跑马场

报道称,此举意在减少学生的逃课行为,严肃课堂纪律。当问及在教室安装人脸识别系统是否侵犯学生隐私时,该负责人称,学校之前已向公安部门和法务部门咨询,由于教室属于公开场所,因此不存在「侵犯隐私」的说法。

但不容忽视的事实是,这几年来AI赋能落地千行百业的声势越来越大,在这样的大趋势面前,教育场景可以说是蓝海一片。

浙江省杭州第十一中学也在去年 3
月份引入了一套类似系统,该校率先在高一的两个班级试运行智慧课堂,通过在教室安装
3
个组合摄像头来实现无感刷脸考勤。同时通过摄像头,还可对课堂上学生的行为进行统计分析,并对异常行为实时反馈。

《2019年中国智慧教育行业市场发展及趋势研究报告》数据显示,2010-2018年中国智慧教育行业规模持续扩大,增速保持在10%以上,2018年市场规模超过5000亿元。

据新京报缓引杭州第十一中学负责人介绍,传统意义上的口头点名和刷卡在实行过程中都有弊端,如口头点名耗时太长,由于省内教学实行走班制,即每个学生每次上课所在的教室都不同,每位老师每节课所面对的学生也不同,使用刷脸考勤可以简化考核制度。

众多AI技术公司、教育场景公司,都纷纷加入战局,加入新红利的争夺中。

至于课堂行为分析,校方称,系统每隔 30
秒会进行一次扫描,针对学生们阅读、举手、书写、起立、听讲、趴桌子等 6
种行为,再结合面部表情是高兴、伤心,还是愤怒、反感,分析出学生们在课堂上的状态,用以教师的教学反馈。但校方也表示,课堂学生行为统计分析属附加功能,「现在应该说连
(考评) 参考都谈不上」。

而且作为AI领域最为成熟的技术方向,各种计算机视觉/人脸识别方案早已见怪不怪。在校园中采用人脸识别技术,也都已经不稀罕。

上个月,上海中医药大学附属闵行蔷薇小学也被爆出正在构建智能课堂行为分析系统,运用如姿态评估、表情识别、语言识别、教师轨迹热力分析等技术,探索对课堂教学过程的定量分析。

但没有哪家公司的方案,止步于门闸刷脸。

可以看出,智慧课堂的应用主要满足两方面需求,一个是全校教学管理,另一个则是教学评估。各家智慧课堂的进展尚属初级阶段,人脸签到、课堂状态监测是主要应用领域,至于服务与教学的课堂行为分析,仍处于试水阶段。

闸机只是切入点,更多方案提供商希望的是用AI来重构整个教育全流程,课堂自然是一个能够大展拳脚的地方。

但一位从业者也称,「学生课堂行为分析,从技术层面讲,已经可以实现商用。」

当然,水大鱼大,竞争者也多。提供这样方案的,远不止旷视一家。

据前瞻产业研究院数据显示,2018年我国智慧教室硬件设备市场规模将达到4741.32亿元左右,到2023年整个市场规模将达到8827.38亿元。
这无疑为设备的AI化提供了广阔的市场空间。

打开搜索引擎搜索“课堂人脸识别”,能够得到621万条结果,各种大大小小的公司,都有相应方案。

3

其中甚至不乏更为惊人的“黑科技”方案。

技术背后的隐患有多大

比如掌门1对1,已经与商汤达成战略合作,在情绪智能识别等领域进行研究,目的就是通过在线辅导的情绪识别,看学生是否处于认真上课的状态。

大抵让网友引发热议的,是智慧课堂行为分析可能引发的隐私问题,AI
到底是保障学生安全还是「全景敞视监狱」?

创始人兼CEO张翼还分享过用“脑电波”的设想:

一位业内人士结合从业经历分享道,智慧课堂类的教育方案往往采用本地离线部署,数据是掌握在校方手中的,技术公司只是提供技术,其实并不掌握数据。

脑机交互的可穿戴智能设备可以实时监测学生的脑电波数据,通过脑电动态数据采集分析,对学生在学习过程中进行情绪识别、疲劳度识别,分析判断学生在学习过程中的精神状态、思维活跃度和学习专注力。

在数据分析环节,摄像头采集到的数据会在校内的本地服务器上处理,然后把脱敏后的数据上传到云端进一步分析。

此外,还有英特尔、K12在线教育机构海风教育,少儿英语教育结构VIPKID等等都有相应系统与解决方案提供。

换句话说,上传到云端的只是结构化的数据,比如情感和行动,给到云端供进一步分析的「情感」不是学生的照片,而是他/她在某个时间点上存在某种情感的概率;「动作」也不是照片,而是他/她出现某种行为概率。


此外,他也称学校会跟家长签署数据授权协议,并对学校工作人员设定不同的使用权限,从而保护学生隐私。

总体来说,之前“一块屏教育”的故事延续,就是AI可以帮助教学过程实现数据化、机器学习化。

「如果 AI
系统的初衷是帮助老师去管理学生纪律,这实际上是有问题的。」该业内人士称,「但如果我们以帮助老师提升教学水平、个性化提升每个学生学习水平的理解进行开发,就会获得很好的结果。」

而且谈到AI落地传统学校,也不是只有这次引发关注的中国药科大学。

近期欧盟一起由使用视觉技术引发的隐私处罚值得思考。

随手一查,案例新闻非常丰富:

在瑞典谢莱夫特奥市,所有教师每年要花约 1.7
万个小时来对学生进行点名以及追踪学生活动。为了改善这一状况,市政府准许个别学校进行试验,使用人脸识别技术统计学生出勤情况。

比如2018年5月,浙江省重点杭州第十一中学,将名为“智慧课堂行为管理系统”的科技应用于课堂教学。

然而即使是在这种情况下,一所高中因试验用人脸识别系统统计学生出勤率,而被瑞典数据监管机构处以
20 万瑞典克朗的罚款。

新京报报道中表示,这一系统也可以对课堂上学生的行为进行分析,并对异常行为实时反馈,工作流程是这样的:

虽然学校称,他们事先获得了学生和家长的同意,但瑞典数据监管机构指出,鉴于数据的持有者及数据的管理者之间,存在明显的信息不对称,因此校方和家长的协议不能构成有效的法律依据。

系统每隔30秒会进行一次扫描,针对学生们阅读、举手、书写、起立、听讲、趴桌子等6种行为,再结合面部表情是高兴、伤心,还是愤怒、反感,分析出学生们在课堂上的状态。

目前仅趴桌子一项为负分行为。若此类不专注行为达到一定分值,系统就会向显示屏推送提醒,任课教师可根据提醒进行教学管理,而显示屏仅任课教师可见。

瑞典数据监管机构还称,虽然学校的某些场合可以被视为「公开场合」,但学生何时进入教室,依旧是个人隐私。

不过,校方也给出了回应,在系统设计伊始,便考虑到了隐私问题,系统只采集代码,并非学生面部影像。

从我国AI落地情况来看,各家智慧课堂的进展尚属初级阶段,人脸签到、课堂状态监测是主要应用领域,至于服务与教学的课堂行为分析仍处于试水阶段,而这背后的隐患虽然通过技术手段解决了一部分,但对于C端消费者和法律角度而言仍然存在较大的质疑与反对。

此外借AI落地之名进入校园,也不仅仅只是基于人脸识别的解决方案,还有基于各种传感器的“智慧校服”。

去年12月底,贵州10多所中小学的学生穿上“智能校服”引起大量关注。

供应商介绍称,这套智能校服,能精准、及时记录他们的出勤和活动。只要身着这套校服,学生进出校门的准确时间就会自动发送给学校老师和家长。

而且如果未经许可出校门,那也会激活自动语音报警器。校服还会配合校门口的智能摄像头一起使用,假如学生互换校服,警报也会响起。甚至它也能发送准确的具体位置,帮助学校和家长快速定位。

但类似方案,也不是中国专利,全球同此凉热。

早在2012年3月份,巴西也推出了类似智能校服,引发了媒体广泛关注。

巴西维多利亚达孔基斯塔市最早推出一款智能T恤,这条T恤内置了芯片,可以让家长知道孩子究竟有没有逃课了。

还有瑞典一中学,使用人脸识别等技术对22名学生进行了为期三周的跟踪调查,记录下他们每次进入教室的情况。

毫无疑问,这样的人工智能入校、AI+教育,也同样引起了争议与广泛的讨论。

争议四起:隐私何在?

核心热议焦点,依然是AI技术落地中的技术。

有抖机灵的网友说,学霸们研发的AI,正在不断压缩学渣摸鱼的空间。

但更多网友,关注的还是技术价值观的话题:技术本身无罪,但这并不代表技术的落地,不需要多方面权衡考量。

而且日常工作学习为摄像头所监控,监控背后的AI还要分析量化你的一举一动,未免让人有些毛骨悚然。

另外在这场突然掀起的风暴之中,AI落地带来的“隐私”边界,也令人深思。

有微博网友认为,这种无死角全过程的AI监控,是在扼杀情感。

有人表示绝对不会让自己的孩子处在这种环境之中。

也有人指出,这是对教育的本末倒置,学校应用这种技术,不是在培养人,而是在培养升学率。

“技术再好,用的地方不对有什么意义呢?”

这种评论也代表了很多吃瓜网友的心声。就像《黑镜》中描述的未来科技,诞生之初哪有正邪之分呢?

除了隐私、自由,教育场景中令人担心的还有数据安全问题。

2018年8月的一则判决文书中,就披露了一起非法出售学生信息的案例。


​当时负责管理维护安徽全省学籍管理系统的张某,利用职务之便,以每条1毛钱的价格,出售了4万名学生的隐私信息。据新浪财经报道,张某任职的公司正是科大讯飞。

前沿技术的发展,有时候远超公众的想象。当一项技术真正走向落地,就不再是小众的狂欢,而要接受大众的审视。

如何选择更合适的技术落地场景,如何兼顾科技与社会人文,或许是AI赋能,必须要去面对和思考的问题。

国内国外,也开始越来越多传递出这样的风向。

比如谷歌开始越来越多科普利于隐私的“联邦学习”,腾讯在创办20周年时将“科技向善”写入公司使命和愿景,而即将IPO上市的旷视实际也在招股书中明确建立“AI道德委员会”。

掌舵微软AI的沈向洋还呼吁,应该每一项AI技术和产品应用前,都要通过伦理道德委员会审查。

虽然人类在发明汽车80年后才发明安全带,但AI时代里,我们需要现在就为AI技术系上安全带了。

总而言之,AI和隐私安全的话题,一切还不会就此终止,还会有更多事件、更多应用被放在聚光灯下审视。

你觉得呢?

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章

网站地图xml地图