虽然早已听说过舍恩伯格的?大数据时代?，但直到前不久才浏览本书的容，看完之后还 是有点震撼的，主要是大数据对我们日常生活和思维的影响太大了。下面摘取局部原文 表述或案例来梳理一下这本书，其中有我本人的局部总结和评述。 有三个案例比拟有意思，一是福特的名言，"如果当年去问顾客他们想要什么，他们肯定 会告诉我：一匹更快的马。〞 乔布斯多年来持续不断地改善Mac笔记本依赖的可能是行业分析，但是他发行的iPod、i Phone和iPad靠的不是数据，而是直觉，第六感。 谷歌公司部的研究说明工作表现与大学毕业时的平均绩点没有关系，但其创始人依然要 应聘者提供分数。 前两个例子〔福特和苹果〕说明大数据有时候是无效的，后面谷歌的例子那么说明管理 层对数据过度的执着。 大数据对人类生活的破坏莫过于它过于强大的预测功能，如通过一个人过去的表现可以 准确预测到他在特定环境下一定会犯罪，那么，社会保障机制就会惩罚一个从来没有犯 错的人。如书中所述： "因为预测的结果几乎不可辩驳，人们也就无法为自己开脱。但这种基于预测得出的惩罚 不仅违背自由意志的原那么，同时也否认了人们会突然改变选择的可能性。〞 以上弊多些，下面谈利。 聪明的公司会从人们与信息交互中收集数据废气，以用来改善现有的效劳或推出全新的 效劳。 "拥有知识曾意味着掌握过去，现在那么更意味着能够预测未来。〞----- 这句话很精辟。 "情报分析员结合实地考察报告和过去IED袭击地点、时间和人员伤亡的详细信息，据此 预测一天中最平安的运送路线。〞类似的，我也听说过美国建立的爆炸物碎片博物馆的 事情，基于爆炸物的各种信息追踪恐惧分子武器弹药的生产基地和储存地点。 "为了促进大数据平台的良性竞争，政府必须运用反垄断条例。〞 谷歌对量化数据的极致追求可能过头了，因此激起了员工的对抗。〔弊〕 通过大数据预测来判断和惩罚人类的潜在行为是对公平公正和自由意志的一种亵渎。〔 弊〕 过去是要成为一个优秀的生物学家就需要认识很多生物学家，但现在可能是，要解决一 个生物难题或许和天体物理学家或数据视图设计师联系即可。 由于大数据的功绩，微软机器翻译部门的统计学家在茶余饭后的谈资就是每次一有语言 学家离开他们的团队，翻译质量就会好一点。 当 亚马逊 的贝索斯发现算法推荐能促进销量增加的时候，他就不再需要书籍评论员了。 "有风险才有回报。〞 更明智的选择是让自己受益，汽车制造商与供货商的例子十分精彩，感兴趣的可以参见 原书p171. 上班顶峰期交通状况的变好说明失业率增加，即经济状况变差。 谷歌和 亚马逊 ：数据、技能和思维三者兼备的优秀公司。 数据的拥有者可能没有 使用 数据的动机和强制要求。 外行人的思维不受专业限制，可能做出有更有价值的发现。 数据科学家是统计学家、软件程序员、图形设计师和作家的结合体。 谷歌首席经济学家里安认为统计学家是世界上最棒的职业，"如果你想成功，你不应该成 为一个普通的、可被随意替代的人，你应该成为稀缺的、不可替代的那类人。〞"数据非 常之多，但是真正缺乏的是从数据提取价值的能力。〞 DataMarket向人们提供其他机构〔如联合国、世界银行和欧盟统计局等〕的免费数据， 真的吗？？ 无形资产，如数据占到美国上市公司价值的75%。 政府才是大数据的原始采集者，因此奥巴马说的很好，"面对疑心，公开优先〞，就是政 府应该承当的责任。 丹麦癌症协会的案例：手机是否增加致癌率。他们 使用 的数据集原本根本不是用来研究 这个问题的，基于"样本=总体〞，做出了重大发现： 使用 移动与癌症风险增加不存在任 何关联。这项研究彰显了"重组数据〔 二次 利用〕〞的魅力。 思维的转换案例：零售商在店安装监控摄像头不仅能认出商店扒手，还能跟踪在商店购 物的顾客和他们停留的位置。零售商利用后面的信息可以设计店面的最正确布局并判断 营销活动的有效性。在此之前，监控摄像头仅用于安保，现在那么变成的一种可以增加 收入的投资。 同样是 亚马逊 和谷歌的案例，AOL和Nuance与他们合作简直亏死了，大公司真可怕！ 同样是震撼的案例： "数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，而绝大局部那么 隐藏在外表之下。〞 1〕Farecast利用机票销售数据来预测未来的机票价格；2〕谷歌重复 使用 搜索关键词来 预测流感的传播；3〕麦格雷戈博士用婴儿的生命体征预测传染病的发生；4〕莫里重新 利用老船长的日志而发现了洋流。 几十年的试验和错误才实现现有加油站的有效分配，但电动汽车的充电站的需求和设置 点目前还不得而知。 哈哈，"鱼不知道自己是湿的〞，真的吗？？ 验证码 的创造人路易斯27岁时获得了50万美元的麦克阿瑟的"天才奖〞。〔题外话：202 1年美国的最低工资是7.25美元/小时，一天工作八小时的话，那么是348元人民币。〕 一点点的不准确 Java扫雷游戏 JVMine JVMine用Applets开发的扫雷游戏，可在线玩。 public class JVMine extends java.applet.Applet 简单实现！~ 网页表格组件 GWT Advanced Table GWT Advanced Table 是一个基于 GWT 框架的网页表格组件，可实现分页数据显示、数据排序和过滤等功能！ Google Tag Library 该标记库和 Google 有关。 使用 该标记库，利用 Google 为你的网站提供网站查询，并且可以直接在你的网页里面显示搜查的结果。 github -java-api github -java-api 是 Github 网站 API 的 Java 语言版本。 java缓存工具 SimpleCache SimpleCache 是一个简单易用的java缓存工具，用来简化缓存代码的编写，让你摆脱单调乏味的重复工作！1. 完全透明的缓存支持，对业务代码零侵入 2. 支持 使用 Redis和Memcached作为后端缓存。3. 支持缓存数据分区规则的定义 4. 使用 redis作缓存时，支持list类型的高级数据结构，更适合论坛帖子列表这种类型的数据 5. 支持混合 使用 redis缓存和memcached缓存。可以将列表数据缓存到redis中，其他kv结构数据继续缓存到memcached 6. 支持redis的主从集群，可以做读写分离。缓存读取自redis的slave节点，写入到redis的master节点。 Java对象的SQL接口 JoSQL JoSQL(SQLforJavaObjects)为Java开发者提供运用SQL语句来操作Java对象集的能力.利用JoSQL可以像操作数据库中的数据一样对任何Java对象集进行查询,排序,分组。 搜索自动提示 Autotips AutoTips是为解决应用系统对于【自动提示】的需要(如：Google搜索), 而开发的架构无关的公共控件, 以满足该类需求可以通过快速配置来开发。AutoTips基于搜索引擎Apache Lucene实现。AutoTips提供统一UI。 WAP浏览器 j2wap j2wap 是一个基于Java的WAP浏览器，目前处于BETA测试阶段。它支持WAP 1.2规范，除了WTLS 和WBMP。 Java注册表操作类 jared jared是一个用来操作Windows注册表的 Java 类库，你可以用来对注册表信息进行读写。 GIF动画制作工具 GiftedMotion GiftedMotion是一个很小的，免费而且易于 使用 图像互换格式动画是能够设计一个有趣的动画了一系列的数字图像。 使用 简便和直截了当，用户只需要加载的图片和调整帧您想要的，如位置，时间显示和处理方法前帧。 Java的PList类库 Blister Blister是一个用于操作苹果二进制PList文件格式的Java开源类库（可用于发送数据给iOS应用程序）。 重复文件检查工具 FindDup.tar FindDup 是一个简单易用的工具，用来检查计算机上重复的文件。 OpenID的Java客户端 JOpenID JOpenID是一个轻量级的OpenID 2.0 Java客户端，仅50KB+（含源代码），允许任何Web网站通过OpenID支持用户直接登录而无需注册，例如Google Account或Yahoo Account。 JActor的文件持久化组件 JFile JFile 是 JActor 的文件持久化组件，以及一个高吞吐量的可靠事务日志组件。 Google地图JSP标签库 利用Google:maps JSP标签库就能够在你的Web站点上实现GoogleMaps的所有功能而且不需要javascript或AJAX编程。它还能够与JSTL相结合生成数据库驱动的动态Maps。 OAuth 实现框架 Agorava Agorava 是一个实现了 OAuth 1.0a 和 OAuth 2.0 的框架，提供了简单的方式通过社交媒体进行身份认证的功能。 Eclipse的JavaScript插件 JSEditor JSEditor 是 Eclipse 下编辑 JavaScript 源码的插件，提供语法高亮以及一些通用的面向对象方法。 Java数据库连接池 BoneCP BoneCP 是一个高性能的开源java数据库连接池实现库。它的设计初衷就是为了提高数据库连接池的性能，根据某些测试数据发现，BoneCP是最快的连接池。BoneCP很小，只有四十几K 注册成功后也不需要自己一个一个的去删除这些手机号，因为这个系统也是做了一个自动取消绑定手机号的功能的，这个接码平台也不会乱扣钱的，绑定一个手机号注册成功一次扣一次钱，而手机号的价格都是不等的，根据国家收费，0.1-0.3美金之间，非常的人性化。账号注册成功之后还可以给账号开通 二步 验证 ， 二步 验证 相当于是给账号多增加了一层保障，开通后登录账号就相当于是用账号、密码、 二步 验证码 进行登录，只要账号不死， 二步 验证码 就能一直收到，邮箱过期后也不影响账号登录。在注册账号之前，我们需要先准备好账号所需要的一切资料，然后。 这次又来折腾 亚马逊 了。之前有介绍 亚马逊 的商品获取和评论获取。但是在批量获取和多次访问的情况下出现了需要 验证码 的情况当然，出现这种情况你是肯定获取不到数据的。但是，你离你想要的数据，真的很近了。所以本次的目的就是绕过这个 验证码 ，获取 验证码 背后的数据。... 亚马逊 买家号开通 二步 验证 后是相当于给账号加了一层保障，是再用邮箱及密码登录账号的同时，还会通过短信、语音电话等进行身份 验证 ，只有 二步 验证 都通过后，才能登录上买家账号。;而且 二步 验证 可以防止买家账户被盗的情况，不用担心因为密码在多个网站 使用 导致风险比较高而影响了。那么 亚马逊 买家 二步 验证码 如何开通？开通 二步 验证 有电话号码和认证器应用程序两种，可以在开通两步 验证 的时候自行选择。电话号码：可以选择 使用 手机号码或座机号码来设置，利用接收短信来进行开通 二步 验证 ，认证器应用程序：认证器应用程序是安装在你的智能设备(比如手 亚马逊 店铺对应的两步 验证 短信 验证码 手机变成了空号，无法接送短信 验证码 导致账号无法登陆，可以登陆下列网址进行恢复： https://www.amazon.com/a/recover/upload然后把账号对应的公司法人代表身份证正反面合并在一个PDF或JPG文件里上传，大概1天左右 亚马逊 完成 验证 后会发生邮件通知，点击approve批准，然后 亚马逊 会进入一个重新设置两步 验证 的界面，重新输入一个正常的手机号码，或者 使用 Google身份 验证 器或微软 验证 器（Microsoft Authenticator）APP扫描二 今天听人说，因为用Authenticator App做 亚马逊 两步 验证 造成了帐号关联…… 我给大家解释一下Authenticator的实现原理，作为计算机专业科班出身的我，此次从各方面了解并经过自己亲测。已证实：用Authenticator App做 亚马逊 两步 验证 造成关联的说法确实不成立！ 在说Authenticator原理之前，我先科普下 亚马逊 的关联原则：除了账户信息资料（身份证明、信... 如果在注册时想批量开通 二步 验证 ，可以 使用 亚马逊 鲲鹏系统进行操作， 亚马逊 鲲鹏系统可以批量注册 亚马逊 买家号，只要把账号所需要的资料添加进系统里面即可全自动注册，注册成功之后就可以选择开通 二步 验证码 ，成功开通后软件程序会自动抓取 二步 验证 密匙下来，在登录账号需要 二步 验证 时就会自动调取 验证码 进行登录，非常的方便。2、访问安全设置：在页面右上方的菜单中，将鼠标悬停在"账户与列表"（Account & Lists）选项上，然后在下拉菜单中选择"您的账户"（Your Account）。单击"编辑"（Edit）按钮。 这里写自定义目录标题欢迎 使用 Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎 使用 Markdown编辑器 你好！ 这是你第一次 使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何 使用 Mar 概述 亚马逊 网站 验证码 全部由英文字母组成，每个字母的形式也是多样的，通过Tesseract-OCR技术识别效率还是比较低，非常不理想。这里采用向量空间技术进行训练识别，经测试，识别率可达到95%，这个识别率通过训练库的不断增加还可继续提高。下面废话不多说，直接上干货。技术详解 亚马逊 验证码 如下图：我这里收集了大量的 亚马逊 网站 验证码 ，下面将随机抽一张 验证码 为mnyaph作详细讲解，如下图：总体思路1.将... 亚马逊 一直停留在身份 验证 Two-Factor Authentication (2FA) is a great security tool, and we always recommend it. Most apps make it pretty easy to turn on 2FA, and Amazon is no exception. Here’s how to enable it and ... 最近采集了一些 亚马逊 的商品数据， 线程比较多，每个配置账号太麻烦了，就加代理采集。 开始还都很好一段时间之后就不停出现 验证码 ，开始是用的百度ocr免费的，精确度还行，但是速度很慢， 多个线程同时进入 验证码 还处理不了，而且有次数限制。后来在 github 上看到了AmazonCaptcha这个第三方库，过 亚马逊 验证码 是真的好用， 使用 也非常简单。 #pip 安装 pip install amazoncaptcha 获取到 验证码 图片连接可以下载本地，然后直接传入保存的路径： from amazoncaptcha i 数据科学俱乐部中国数据科学家社区♚zarten，互联网一线工作者。博客地址：zhihu.com/people/zarten概述 亚马逊 网站 验证码 全部由英文字母组成，每个字母...