数据采集是一项繁琐又累人的工作,也是投资录入的基础。良好的信息收集能力有利于我们快速了解主体,投资的基本情况,为后续研究和第一手数据采集打下良好的基础。
搜索引擎是我们收集信息最重要的渠道之一。使用搜索引擎搜索查找信息需要使用合适的关键词和一些搜索技巧。目前国内主要的收藏引擎有以下10个,最近涌现出很多基于行业的搜索引擎。如果你需要找到专业-based的行业信息,你可以使用行业搜索引擎。
因为每个搜索引擎都有一定的局限性,你可以在多个搜索引擎中尝试你想要搜索的关键词,你可能会发现意想不到的结果。
国内的引擎大家都很熟悉,尤其是百度和谷歌,需要搜索同一个主题的数据,不同的人搜索的结果可能会有很大的不同,主要是因为以下两点:
1.搜索关键字的选择
例如,如果我们想搜索大数据产业发展的相关信息,如果我们在百度上搜索“大数据”,结果太多,无法过滤,可以进一步定义关键词。如“大数据industry”、“大数据market scale”、“中国大数据工业”、“大数据technology”、“大数据企业"”等,我们需要不断地改变搜索关键词,直到找到满意的搜索结果。在查找,的过程中,我们可以根据查找结果的内容修改关键词,并修改一些名字专业,的表达,因为我们在最初的搜索中表达的表达不一定准确。
2.搜索技巧
主要针对百度、谷歌等搜索引擎的一些高级搜索技巧。常用技能主要包括以下几个方面:
(1) filetype搜索:使用filetype,例如在百度或谷歌上键入“filetype : pdf大数据"”来搜索关于大数据内容的pdf内容,这些文档基本上都是可以直接下载的。也可以转换成“filetype:doc”、“filetype:ppt”、“filetype:xls”等其他冒号。注意冒号是英文冒号,一定要转换成英文冒号。
(2)在网站,哪个:使用网站上搜索,如果你在百度或谷歌上键入“大数据space site : Sina.com”,你将搜索到一些关于大数据的信息。这尤其适用于针对网站的一些信息可能出现的快速搜索方法。请注意,冒号也是英文的,网站的名字不需要添加到www。
(3)精确匹配搜索:使用"",如在百度中键入“大数据industry”,这意味着对“大数据industry”的搜索必须链接在一起。如果没有添加“”,结果会并排显示“大数据and industry”字样,不匹配准确。
(4)限制性网页搜索:使用intitle,例如在百度中键入“intitie :大数据"”,仅限于搜索标题中带有“大数据”的网页,如果输入“intitie 3360大数据市场规模”,则仅限于搜索标题中带有“大数据”和“市场规模”的网页。
3.搜索引擎推荐
1)虽然还是Beta版,但是个人现在已经觉得很好很厉害了。谷歌学术搜索过滤掉普通搜索结果中的大量垃圾信息,并排列不同版本的文章和其他文章引用的次数。稍有不足,其搜索结果没有按照权威性(如影响因素、引用次数)进行排序。在中国搜索的前几页可能主要是一些中国期刊上的文章。
2) Scirus是科技,最全面、最全面的文献搜索引擎之一,由爱思唯尔科学出版社开发,用于搜索期刊和专利。效果很好!Scirus涵盖农业和生物,天文学、生物科学、化学和化工,计算机科学、地球和行星科学、经济、金融和管理科学等学科。工程,能源与技术、环境科学、语言学、法学、生命科学、材料科学、数学、医学、神经科学、药理学、物理学、心理学、社会与行为科学、社会学等。
3) BASE是由德国比勒费尔德大学图书馆开发的多学科学术搜索引擎,为集成搜索服务提供世界各地的异构学术资源。它整合了德国比勒菲尔德大学图书馆的图书馆目录和大约160个开放资源(超过200万份文献)的数据。
4)瓦斯科达是网站,跨学科门户网站的原型,该网站关注主题聚合和集成的图书馆、文献数据库和其他学术内容的收集
5)相比谷歌,我们可以找到一些谷歌找不到的好东西。它的界面简单,功能功能强大,速度快。雅虎和网易已经采用了它的搜索技术。你可以试试。
6)谷歌的同级搜索引擎。由Amazon.com介绍,Webresult是基于谷歌的,所以保证和谷歌处于同一水平。此外,增加了亚马逊的图书搜索功能和个性化的功能:它可以主要记录你的搜索历史。还是Beta版,不过试用后感觉还不错,推荐给大家,但缺点是搜书没有中文内容。
7)严格来说,它不是搜索引擎,而是连接搜索引擎和网络用户的信息立交桥。新一代搜索引擎应运而生,Ixquick元搜索是目前最耀眼的明星。但是Ixquick对于大多数国内用户来说还是陌生的。我就不介绍Ixquick很多独特的功能了,只介绍我们最关心的搜索数据库的密码。用法:先进入Ixquick,以“Proquest”数据库为例。在线填写proquest用户名和密码历史,点击搜索查看结果,第一页第六个,proqu
est的username和password赫然在目,别急,再看第4个结 果“HB Thompson Subscription Online Databases”,即,进入 后发现这是一个密码页,选择Magazines& Journals栏,就有 EBSCO、Electric Library Elementary、Electric LibraryElementary、ProQuest Platinum (in school)、ProQuest Platinum(remote)等众多数据库的密码,都有uesrname和password,随便试一下EBSCO,OK,成功登陆。8) cmu的作品,对搜索的内容进行分类,这样可以有效地做出选择,比较有特色。可实现分类检索,检索速度也很好,如EBSCO 密码几分钟就可找一大堆 .,User ID:mountain,Password: ridge,这个密码可以试试。
9) 一个检索免费paper的好工具。进入网页以后,可以看到他有三个功能,driectory web article,其中article对我们很有帮助,你可以尝试输入你要找的文章,会有很多发现的!
10) 现点击后或跳转到 ,在此搜索引擎里可以搜索到超过千万种化学品信息或相应的供应商,与Chemblink有点相似,但提供的化学品理化信息没有Chemblink详细,与其不同的是该搜索引擎可提供化学品结构式搜索(主页上有在线绘制化学结构式的搜索框)。
11) OJOSE (Online JournalSearch Engine,在线期刊搜索引擎)是一个强大的免费科学搜索引擎,通过OJOSE,你能查找、下载或购买到近60个数据库的资源。但是感觉操作比较复杂。
12) 一个关于计算机和信息科学的搜索引擎。
13) 专家个人主页搜索引擎。
14)www.aol.com 里面的搜索引擎功能由google提供,搜索结果与google一样,如果google无法登陆,可以用这个网站代替。
数据库是研究人员重要的数据来源之一,目前券商、基金研究研究机构都购买有商业数据库,目前研究用的数据库主要分为两大类,一是商业数据库,二是学术数据库。
1、商业数据库
商业数据库大多为金融投资所用,主要分为国内与国外数据库两大类。 1)国内商业数据库国内数据库主要有如万德、恒生聚源、锐思数据库、CSMAR数据库、巨潮数据库等。目前万德数据库主要定位于国内高端客户,市场占有率较高,80%左右,当然其售价较高。恒生聚源也定位为机构客户,性价比较高,售价要比万德便宜的多。CSMAR数据库定位于学术与高校,其中金融数据比较全,强大。锐思数据库定位于学术,质量一般。巨潮数据库为深交所旗下数据库,有一定的特殊优势。
2)国外商业数据库
国外数据库主要有彭博、路透社、CEIC、OECD、Haver Database、Thomson Financial One Banker等,国外数据库中彭博是比较全也大的,在国内销售也较好,但是售价奇贵。一般不做国际市场研究,大多用不到国外数据库,毕竟国外数据库公司对国内的行业数据及公司数据不如本土数据库公司的做得好。
2、学术数据库
学术数据库基本为高校、研究机构所用,也分为国内与国外两大类,学术数据库中一些学术论文、行业数据、统计年鉴还是有用的,缺点就是其中有些数据的相对较旧,无法做到实时更新。
1)国内学术数据库
中国知网:国内最大学术数据库,包括期刊、学位论文、统计年鉴等。
万方数据:仅次于中国知网,包括期刊、学位论文等。
人大复印资料:期刊、论文等。
维普:期刊、论文等。
中经网:有较多行业研究报告,宏观数据较全。
国研网:数据较为权威,有些报告可以一看。
上海公共研发平台:可以注册,人工审核,内包含较多数据库。
2)国外学术数据库
EBSCO:较全的一个数据库,内包含较多的商业数据,好用
Elsevier:学术文章全,更新速度快。
以上大致介绍了国内的商业及学术数据库,但这些数据库都是通过收费或学校账号才能使用,对于平时临时研究用的一些人,没有必要去购买,下面介绍一些免费可用的数据库。
3)免费可用的数据库
数据汇: 国内的宏观数据,国外的也有一部分,可以导出来,免费好用。
数据圈: 免费共享平台,行业研究报告,统计年鉴等
FRED:
OECD:
联合国图书馆
台湾学术数据库: 部分文章提供免费全文下载
台湾大学电子书:
首先也非常感谢共享文库的出现,使得大家搜集信息方便了许多,随最早的豆丁、百度、爱问等共享文库的出现,随后到如今出现许多共享文库,不过很多文库规模较小,文档数量较少。
1)国内主要文库
百度文库: 国内文档数据量最大的共享文库,综合型的,好用。
豆丁文库: 其收费的盈利模式导致用户数量逐年减少,文档质量也不如百度文库。
爱问共享: 综合型文库,里面也时常发现好的行业研究报告,电子书籍等。
道客巴巴: 综合型文库,后起之秀,文档数量和质量较好。
智库文档: 以管理、行业文档为主。
质量较好文库大全: 无需注册,通过点击广告模式盈利,文档内容多。
IT168文库: 专业型文库,以计算机及IT技术相关的文档为主。
CSDN文库: 全球最大的中文IT社区。
呱仕网: 以创业投资、证券市场等文档为主的专业型文库,刚起步状态。
新浪地产: 国内最大房地产类文库,房地产相关策划、数据较全。
2)国外文库
Scribd: 全球最大的文档分享平台。
Docstoc: 在线文档与图片分享平台。针对以上国内的共享文库,都可以通过注册账号,上传分享资料赚取积分,通过积分可以下载文库资料。如果有些文档看过后不错想保存下来积分不够,可以通过文库下载器来免费下载保存,文库下载器有如“冰点文库下载、易读下载、老张文库下载”等等,如果只看重其中一部分内容,可以通过QQ拷屏方式保留下来(登陆QQ,ctrl+alt+a拷屏)。
在共享文库未出现以前,专业论坛一直担任着查找资料的好去处,的确国内的一些论坛经过这么多年的运营,已经积累大量有用文档。下面主要介绍我们常用的专业论坛。
1)人大经济论坛:
经济、学术型论坛,其中行业研究、统计年鉴数量多,更新速度快,我的最爱,常用。(如哪位仁兄想下载其中其他地方找不到的文档,积分不够,请用微信私信给我,我来帮你解决)。
2)经济学家: 经济学专业论坛,其中统计年鉴、行业报告、国内外数据等有特色。
3)随意网-经济论坛: 新建网站,有些内容尚可。
4)理想在线: 股票券商研究报告。
5)迈博汇金: 股票券商研究报告,目前已经收费了,只能查询有哪些最新报告了,无法下载。
6)博瑞金融: 金融行业专业型论坛。
7)华尔街社区: 国内专业的金融论坛。
8)投行先锋论坛: 专业型为投行人士探讨而设立的论坛。
9)春晖投行在线: 证券相关政策的汇编整合论坛。
10)中华股权投资论坛: pe投资专业型论坛。
11)其他专业网站:
投行网站:
IPO
各大咨询公司报告:
http://www.bain.cn/news.php
https://china.mckinseyquarterly.com/home.aspx
政府部门是国内公开数据的来源,查询权威的数据可以到政府相关部门网站,以下介绍国内的主要发布相关数据的政府部门。
1)国家统计局: 这个不用多说,大家很多人浏览过。
2)工业和信息化部: 较多数据在此发布,尤其是有关工业运行及信息化相关数据。
3)中国人民银行: 中国金融市场政策及运行相关数据。
4)银监会: 银行金融相关数据。
5)中国海关: 中国进出口相关数据。
6)国家知识产权局: 专利相关查询
7)中国证监会: 相关政策及招股书披露平台,以及拟上市公司排队每周披露。
8)巨潮信息网: 中国资本市场指定披露平台,上市公司相关年报、季报及公告披露信息。
1)上海证券交易所: 其中研究出版栏目中有些研究报告
2)深圳证券交易所: 其中研究/刊物中有研究报告
3)全国中小企业股份转让系统(新三板): 新三板挂牌公司的转让及信息披露。
4)香港证券交易所:
5)台湾证券交易所:
6)新加坡证券交易所:
7)纽约证券交易所:
8)纳斯达克证券交易所:
1、搜集美国相关数据
由位于华盛顿的美国政府印刷办公室出版、经济顾问委员会撰写的《总统经济报告》(Economic Report of President),提供了有关美国当前经济形势的描述和主要宏观经济变量数据。相当多的数据都可以追溯到1959年,甚至个别的可追溯到1929年。可能你已经留意到了,好多有关美国的图形,都是采用《总统经济报告》(2005)所附数据生成的。这些数据可以免费下载,网址是:www.access.gpo.gov/eop/ 。
如果需要一应俱全的数据,一个宝贵的权威来源是,美国商务部统计局出版的《美国统计概要》(Statistical Abstract of the United States),相当一部分数据可以免费下载,网址是:www.census.gov/statab/www/ 。
如果想获得最近数据的详细资料,一个不错的选择是,美国商务经济分析局每月出版的《当代商业纵览》(Survey of Current Business)。网址是:www.bea.doc.gov 。
2、如何搜集国外其他经济体数据
对富裕国家来说,最有用的资料来源于经济合作与发展组织(Organization of Economic Cooperation and Development,简称OECD)。经济合作与发展组织的成员包括:奥地利、澳大利亚、比利时、加拿大、捷克共和国、丹麦、芬兰、法国、德国、希腊、匈牙利、冰岛、意大利、日本、卢森堡、墨西哥、荷兰、新西兰、挪威、波兰、葡萄牙、韩国、西班牙、瑞典、瑞士、土耳其、英国和美国。看来,世界上的富裕国家大都属于该组织,其产出占世界产出的70%左右。OECD的网址是:www.oecd.org ,提供三种极为有用的数据。《OECD经济展望》(OECD Economic Outlook),每年出版两次,提供许多跨国宏观经济数据。这些数据一般都上溯到20世纪70年代,而且具有很好的一致性。《OECD就业展望》(OECD Employment Outlook),每年出版一次,专门提供劳动力市场的数据。《OECD历史统计》(OECD Historical Statistics),不定期出版,将当期数据和过去数据放在一起。对于不是OECD成员的国家和地区,可以从其它国际组织那里获得相关数据,比如国际货币基金组织(International Monetary Fund,简称IMF),其网址是:www.imf.org 。IMF提供《国际金融统计年鉴》(InternationalFinancial Statistics Yearbook),它主要提供成员国的金融数据,但也包括一些总体数据,比如GDP、失业和通货膨胀等。至于若干国家长期的统计数据,两个不可多得的数据来源是,Heston-Summers数据库和Madison数据库。Heston-Summers数据库提供168经济体在1950-2000年间的跨国可比数据,在宾夕法尼亚大学国际比较中心(Center for International Comparisons at the University ofPennsylvania)网站上可以下载: 。Madison数据库提供了自1820年以来56个经济体的数据。最后,如果还没有找到你要的数据,不妨登陆下面的两个网站,也许是根稻草。哈佛商学院的宏观经济学资源网站:www.hbs.eduhttps://zhuanlan.zhihu.com/p/units/bgie/internet/ ,提供了大量连接。由密西西比大学BillGoffe维护的一个网站: ,不仅列出了数据来源,而且还列出了有关经济的其他信息来源。
1、互联网及传媒
1)资讯类
新浪科技:
腾讯科技:
艾瑞网:
艺恩网:
虎嗅网:
36kr:
钛媒体:
游戏大观:
亿欧网:
媒介360:
2)数据类
中国票房:
中国互联网络信息中心:
艾瑞网:
易观智库:
游戏产业网:
百度指数:
大数据导航:
CSM(电视收视率):
微排片:
2、医药行业
1)样本医院数据化药、生物药和中药注射剂:
中成药、化药:
国外样本医院数据彭博上有类似PDB的数据库
2)药品中标价格:百度虫,药智网,健康网 (付费),米内网(付费)
3)药品招标政策:各省药品招标平台
4)医疗器械数据:基本没有,米内网有付费数据库(没见过)、海关信息网
5)中药材数据:中药材天地网、万得的EDB、中药材东方网
6)药品审批:药智网、药监局、CDE网站
7)医药行业政策:国家药监局、发改委、中国政府网、卫计委等等
8)国内外行业协会和咨询机构:例IMS Health、XX医药协会
9)新闻网站/微信:赛柏蓝、米内网、生物谷、新康界、医谷、药友汇、丁香园、动脉网、贝壳社。
3、银行业
1)新闻资讯
中证网:
一财网:
财新网:
华尔街见闻:
新浪财经:finance.sina.com.cn/
证券时报网:
中国金融新闻网:
2)公告、数据查找
中国货币网:
巨潮网:
统计局:www.stats.gov.cn/
中国人民银行:www.pbc.gov.cn/
银监会:
上海证券交易所:www.sse.com.cn/
深圳证券交易所:www.szse.cn/
最常用wind股票数据库
4、有色金属
1)日报网站
宏观新闻:央行快讯
行业新闻:中国金属网
上海有色网:
百川咨询:
公司公告:巨潮
2)其他常用站
高工锂电:
真锂研究:
深交所互动易(查看投资者互动资料):
中金网(有色金属):
银:
新三板资讯:
格隆汇港股:.php
除以上介绍的几种资料搜集渠道外,我们也结合近年it科技的发展,在博客、微博、空间等去搜索。
1)行业协会网站:每个行业协会基本都会有网站,在该网站上能够查找一些对本行业的描述、相关数据等。
2)博客:国内有网易、新浪、搜狐、百度空间、和讯等博客网站,有些数据也可以从搜索博客中找到。
3)微博:新浪微博及腾讯微博,用数量极大,其中有些数据可以通过搜索查询到。
4)微信:微信用户已经超过4亿,每个人都是新闻的发布者,其中数据资源丰富,但目前还未提供全文搜索功能,只能通过关注相关公共账号或关注朋友圈获取。
5)QQ空间:有些企业或机构QQ空间会有些报告及数据发布。
6)全景网:财经资讯
有话要说...