hadoop开发视频教程 01.ClouderaManager介绍与安装_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
文档贡献者
评价文档：
hadoop开发视频教程 01.ClouderaManager介绍与安装
h​a​d​o​o​p​开​发​视​频​教​程​ 1​.​C​l​o​u​d​e​r​a​M​a​n​a​g​e​r​介​绍​与​安​装​,​C​l​o​u​d​e​r​a​ ​H​a​d​o​o​p​  ​实​战​课​程​(​H​a​d​o​o​p​ .、​集​群​界​面​化​管​理​、​电​商​在​线​查​询​+​日​志​离​线​分​析​)​,​由​北​风​网​提​供​,​h​a​d​o​o​p​开​发​视​频​教​程​分​享​一​些​本​人​所​在​团​队​自​研​的​适​用​于​企​业​级​开​发​和​应​用​的​框​架​和​工​具​,​这​些​有​效​提​高​了​开​发​效​率​,​大​大​降​低​了​维​护​成​本​,​这​些​正​是​我​们​多​年​实​战​的​结​晶​。
大小：1.39MB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程 - 推酷
离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
关于CDH和Cloudera Manager
CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
实验环境：Mac下VMware虚拟机
操作系统：CentOS 6.5 x64 (至少内存2G以上，这里内存不够的同学建议还是整几台真机配置比较好，将CDH的所有组件全部安装会占用很多内存，我已开始设置的虚拟机内存是1G，安装过程中直接卡死了)
Cloudera Manager：5.1.3
CDH: 5.1.3
官方参考文档：
官方共给出了3中安装方式：第一种方法必须要求所有机器都能连网，由于最近各种国外的网站被墙的厉害，我尝试了几次各种超时错误，巨耽误时间不说，一旦失败，重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最大优点可实现全离线安装，而且重装什么的都非常方便。后期的集群统一包升级也非常好。这也是我之所以选择离线安装的原因。
相关包的下载地址
Cloudera Manager下载地址：
下载信息：
CDH安装包地址：
，由于我们的操作系统为CentOS6.5，需要下载以下文件：
CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
manifest.json
注意 ：与CDH4的不同，原来安装CDH4的时候还需要下载IMPALA、Cloudera Search(SOLR)，CDH5中将他们包含在一起了，所以只需要下载一个CDH5的包就可以了。
准备工作：系统环境搭建
以下操作均用root用户操作。
1. 网络配置(所有节点)
vi /etc/sysconfig/network 修改hostname：
NETWORKING=yes
HOSTNAME=n1
通过 service network restart 重启网络服务生效。
vi /etc/hosts ,修改ip与主机名的对应关系
192.168.1.106
192.168.1.107
192.168.1.108
注意： 这里需要将每台机器的ip及主机名对应关系都写进去，本机的也要写进去，否则启动Agent的时候会提示hostname解析错误。
2.打通SSH，设置ssh无密码登陆（所有节点）
在主节点上执行 ssh-keygen -t rsa 一路回车，生成无密码的密钥对。
将公钥添加到认证文件中： cat ~/.ssh/id_rsa.pub && ~/.ssh/authorized_keys ，并设置authorized_keys的访问权限： chmod 600 ~/.ssh/authorized_keys 。
scp文件到所有datenode节点：
scp ~/.ssh/authorized_keys root@n2:~/.ssh/
测试： 在主节点上ssh n2，正常情况下，不需要密码就能直接登陆进去了。
3.安装Oracle的Java（所有节点）
CentOS，自带OpenJdk，不过运行CDH5需要使用Oracle的Jdk，需要Java 7的支持。
卸载自带的OpenJdk，使用 rpm -qa | grep java 查询java相关的包，使用 rpm -e --nodeps 包名 卸载之。
去Oracle的官网下载jdk的rpm安装包，并使用 rpm -ivh 包名 安装之。
由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可，执行命令：
echo &JAVA_HOME=/usr/java/latest/& && /etc/environment
4.安装配置MySql（主节点）
通过 yum install mysql-server 安装mysql服务器。 chkconfig mysqld on 设置开机启动，并 service mysqld start 启动mysql服务，并根据提示设置root的初试密码： mysqladmin -u root password 'xxxx' 。
mysql -uroot -pxxxx 进入mysql命令行，创建以下数据库：
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_
设置root授权访问以上所有的数据库：
#授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'n1' identified by 'xxxx'
官方MySql配置文档：
5.关闭防火墙和SELinux
注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。
关闭防火墙：
service iptables stop （临时关闭）
chkconfig iptables off （重启后生效）
关闭SELINUX（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）:
setenforce 0 （临时生效）
修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）
6.所有节点配置NTP服务
集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。 具体思路如下：
master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。
所有datanode节点以master节点为基础同步时间。
所有节点安装相关组件： yum install ntp 。完成后，配置开机启动： chkconfig ntpd on ,检查是否设置成功： chkconfig --list ntpd 其中2-5为on状态就代表成功。
主节点配置
在配置之前，先使用ntpdate手动同步一下时间，免得本机与对时中心时间差距太大，使得ntpd不能正常同步。这里选用65.55.56.206作为对时中心, ntpdate -u 65.55.56.206 。
ntp服务只有一个配置文件，配置好了就OK。 这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出：
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 65.55.56.206 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
配置文件完成，保存退出，启动服务，执行如下命令： service ntpd start
检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：
synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s
如果出现异常请等待几分钟，一般等待5-10分钟才能同步。
配置ntp客户端（所有datanode节点）
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#这里是主节点的主机名或者ip
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
ok保存退出，请求服务器前，请先使用ntpdate手动同步一下时间： ntpdate -u n1 (主节点ntp服务器)
这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。启动服务： service ntpd start
因为是连接内网，这次启动等待的时间会比master节点快一些，但是也需要耐心等待一会儿。
安装Cloudera Manager Server 和Agent
主节点解压安装
cloudera manager的目录默认位置在/opt下，解压： tar xzvf cloudera-manager*.tar.gz 将解压后的cm-5.1.3和cloudera目录放到/opt目录下。
为Cloudera Manager 5建立数据库
首先需要去MySql的官网下载JDBC驱动，
，解压后，找到mysql-connector-java-5.1.33-bin.jar，放到/opt/cm-5.1.3/share/cmf/lib/中。
在主节点初始化CM5的数据库：
/opt/cm-5.1.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm
修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
同步Agent到其他节点
scp -r /opt/cm-5.1.3 root@n2:/opt/
在所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment &Cloudera SCM User& cloudera-scm
准备Parcels，用以安装CDH5
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）。
相关的文件如下：
CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel
CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1
manifest.json
最后将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1，重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件。
相关启动脚本
通过 /opt/cm-5.1.3/etc/init.d/cloudera-scm-server start 启动服务端。
通过 /opt/cm-5.1.3/etc/init.d/cloudera-scm-agent start 启动Agent服务。
我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart。
CDH5的安装配置
Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。
这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin：
可以看到，免费版本的CM5已经没有原来50个节点数量的限制了。
各个Agent节点正常启动后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。
接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。
点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约10多分钟吧，取决于内网网速。
接下来是服务器检查，可能会遇到以下问题：
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：
通过 echo 0 & /proc/sys/vm/swappiness 即可解决。
接下来是选择安装服务：
服务配置，一般情况下保持默认就可以了（Cloudera Manager会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了）：
接下来是数据库的设置，检查通过后就可以进行下一步的操作了：
下面是集群设置的审查页面，我这里都是保持默认配置的：
终于到安装各个服务的地方了，注意，这里安装Hive的时候可能会报错，因为我们使用了MySql作为hive的元数据存储，hive默认没有带mysql的驱动，通过以下命令拷贝一个就行了：
cp /opt/cm-5.1.3/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/
服务的安装过程大约半小时内就可以完成：
安装完成后，就可以进入集群界面看一下集群的当前状况了。
这里可能会出现 无法发出查询：对 Service Monitor 的请求超时 的错误提示，如果各个组件安装没有问题，一般是因为服务器比较卡导致的，过一会刷新一下页面就好了：
在集群的一台机器上执行以下模拟Pi的示例程序：
sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100
执行过程需要花一定的时间，通过YARN的后台也可以看到MapReduce的执行状态：
MapReduce执行过程中终端的输出如下：
Number of Maps
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
14/10/13 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at n1/192.168.1.161:8032
14/10/13 01:15:36 INFO input.FileInputFormat: Total input paths to process : 10
14/10/13 01:15:37 INFO mapreduce.JobSubmitter: number of splits:10
14/10/13 01:15:39 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_2_0001
14/10/13 01:15:40 INFO impl.YarnClientImpl: Submitted application application_2_0001
14/10/13 01:15:40 INFO mapreduce.Job: The url to track the job: http://n1:8088/proxy/application_2_0001/
14/10/13 01:15:40 INFO mapreduce.Job: Running job: job_2_0001
14/10/13 01:17:13 INFO mapreduce.Job: Job job_2_0001 running in uber mode : false
14/10/13 01:17:13 INFO mapreduce.Job:
map 0% reduce 0%
14/10/13 01:18:02 INFO mapreduce.Job:
map 10% reduce 0%
14/10/13 01:18:25 INFO mapreduce.Job:
map 20% reduce 0%
14/10/13 01:18:35 INFO mapreduce.Job:
map 30% reduce 0%
14/10/13 01:18:45 INFO mapreduce.Job:
map 40% reduce 0%
14/10/13 01:18:53 INFO mapreduce.Job:
map 50% reduce 0%
14/10/13 01:19:01 INFO mapreduce.Job:
map 60% reduce 0%
14/10/13 01:19:09 INFO mapreduce.Job:
map 70% reduce 0%
14/10/13 01:19:17 INFO mapreduce.Job:
map 80% reduce 0%
14/10/13 01:19:25 INFO mapreduce.Job:
map 90% reduce 0%
14/10/13 01:19:33 INFO mapreduce.Job:
map 100% reduce 0%
14/10/13 01:19:51 INFO mapreduce.Job:
map 100% reduce 100%
14/10/13 01:19:53 INFO mapreduce.Job: Job job_2_0001 completed successfully
14/10/13 01:19:56 INFO mapreduce.Job: Counters: 49
File System Counters
FILE: Number of bytes read=91
FILE: Number of bytes written=1027765
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=2560
HDFS: Number of bytes written=215
HDFS: Number of read operations=43
HDFS: Number of large read operations=0
HDFS: Number of write operations=3
Job Counters
Launched map tasks=10
Launched reduce tasks=1
Data-local map tasks=10
Total time spent by all maps in occupied slots (ms)=118215
Total time spent by all reduces in occupied slots (ms)=11894
Total time spent by all map tasks (ms)=118215
Total time spent by all reduce tasks (ms)=11894
Total vcore-seconds taken by all map tasks=118215
Total vcore-seconds taken by all reduce tasks=11894
Total megabyte-seconds taken by all map tasks=
Total megabyte-seconds taken by all reduce tasks=
Map-Reduce Framework
Map input records=10
Map output records=20
Map output bytes=180
Map output materialized bytes=340
Input split bytes=1380
Combine input records=0
Combine output records=0
Reduce input groups=2
Reduce shuffle bytes=340
Reduce input records=20
Reduce output records=0
Spilled Records=40
Shuffled Maps =10
Failed Shuffles=0
Merged Map outputs=10
GC time elapsed (ms)=1269
CPU time spent (ms)=9530
Physical memory (bytes) snapshot=
Virtual memory (bytes) snapshot=
Total committed heap usage (bytes)=
Shuffle Errors
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=1180
File Output Format Counters
Bytes Written=97
Job Finished in 262.659 seconds
Estimated value of Pi is 3.
首次登陆Hue会让设置一个初试的用户名和密码，设置好，登陆到后台，会做一次检查，一切正常后会提示：
到这里表明我们的集群可以使用了。
已发表评论数()
&&登&&&录&&
已收藏到推刊！
请填写推刊名
描述不能大于100个字符!
权限设置： 公开
仅自己可见Cloudera正式登陆中国市场：与英特尔携手共助本土企业淘金大数据
发表于 14:28|
摘要：12月10日，英特尔携手Cloudera在上海举办大数据沟通会。在庆祝Cloudera中国正式登陆中国市场的同时，阐释了Cloudera基于英特尔架构大数据平台的技术创新和市场推广策略。
日，英特尔公司携手企业数据分析管理软件公司Cloudera，在上海举办了2014 英特尔大数据沟通会。在庆祝Cloudera中国正式登陆中国市场的同时，阐释了其对大数据技术、应用和市场方面的最新洞察，而Cloudera也介绍了其基于英特尔架构大数据平台的技术创新和市场推广策略。让我们回顾一下Cloudera的历史：Cloudera成立于2008年，创始人分别来自Google、Facebook、Yahoo!和Oracle。短短数年，Cloudera已经发展成为拥有800多名员工，市值超过600亿美元、拥有最大的合作伙伴网络、涉及横跨金融、电信、零售等行业的领军公司。据了解，继今年3月投资Cloudera，与其建立了广泛战略技术和商业合作关系后，英特尔就开始支持Cloudera加速在中国市场的落地进程。肯睿（上海）软件有限公司落户上海，并建立其业务机构，不仅意味着Cloudera将正式开始为中国企业用户提供包括直销、专业服务、客户支持、培训以及研发工作在内的全面支持，还预示着英特尔与Cloudera在大数据领域的合作也将进一步延伸至中国市场，双方将基于英特尔公司在中国大数据产业和市场中获取的丰富实践经验及全面优化的创新技术，为中国企业用户提供更多领先的、量身定制的产品和服务。一次强强联手的合作英特尔亚太研发有限公司总经理、英特尔软件与服务事业部中国区总经理何京翔认为英特尔和Cloudera中国的合作是一次强强联手。“为什么英特尔会对大数据感兴趣？因为英特尔不仅是一家芯片厂商，也是一家对于开源软件持续投入的软件公司。早在2000年，英特尔就发现了Linux操作系统的潜力，并开始发力投入并支持其发展。Linux基金会主席就来自英特尔，近年来，我们也陆续发现了云计算、虚拟化等开源技术的潜力，并在VMware、OpenStack等领域有长期持续的投资。”
何京翔介绍说。何京翔认为大数据不仅关乎软件，更重要的是要建立平台。这涉及底层的服务器、支撑的网络，还有上面的中间件。英特尔和Cloudera的合作，就是从中间件入手。Cloudera的Hadoop发行版本，是企业中被采用得最广泛的。英特尔正在将其研发IDH与Cloudera的Hadoop发行版本相结合，推出新版本的CDH，并鼓励所有用户转向CDH。“成长+创新”模式Cloudera和英特尔的合作始于今年3月，目标是打造最大的Hadoop生态圈。其商业模式以软件产品为核心，特色是附带有专业服务和认证培训。“我们要利用自己在大数据方面的领先优势，将这种专业性引入中国市场，打造‘成长+创新’的发展模式。我们和英特尔合作已经发布的CDH 5.1、5.2版本，以及我们下周要发布的CDH 5.3，融合了此前IDH的所有特性，这兑现了我们此前对客户的承诺。我们还将发布一系列的服务和培训，帮助已有的客户转换到新的平台上去。”
Cloudera公司创始人、董事长兼首席战略官Mike Olson阐释道。Mike Olson在2014年年初访问过中国的几个城市，对大数据的发展感觉兴奋。他认为目前采集数据的来源多样化，因此有必要适应所有未来可能出现的数据格式。同时，Cloudera的Hadoop发行版架构中有专门的一层来保证数据安全和隐私。Mike Olson认为仅仅开源是不够的，开放标准更加重要，只有这样才能保证客户不被锁定在某个供应商，避免这样做可能带来的风险。Cloudera致力于推进一系列的开放标准，而特定的供应商只是在这样的标准下推出自己的开源解决方案。Cloudera承诺，Cloudera的产品会由多个供应商提供、维护和支持，避免客户被锁定的风险。Cloudera中国总经理凌琦来自英特尔，在英特尔中国服务了20年。这次角色转换让他既激动又感觉挑战。他在现场介绍了Cloudera的团队情况，目前分布在北京、上海和广州，其中以上海团队为主。商业模式和美国一脉相承：以软件产品为核心，这是基础。此外，也为中国客户提供到位的服务和培训，帮助他们最大程度地利用大数据平台。据了解，在认证培训方面规模方面，Cloudera在大数据领域的排名位列全球第二。关于大数据，凌琦认为大数据的采集方式必将多样化，最终能被量化的数据都将被量化。传感器采集的来源将渗透到商业和生活的方方面面，而社交网络将产生更大规模的有价值的数据。“大数据以存储技术为基础，客户在存储方面提出了非常灵活的需求，我们要去满足这些需求。而有了数据以后，对它做进一步的分析，这构成了我们未来业务的重点。”
凌琦说道。不过凌琦直言，虽然Cloudera已经落地，但是人才难求，也欢迎在大数据方面有经验的人才加入Cloudera中国。专访提问CSDN：在中国的团队发展计划是什么，以研发为主还是以市场销售为主？Cloudera在中国的典型客户是怎样的？Mike Olson：我们放手中国管理团队去发展中国的团队，我对中国团队的健康发展充满信心。Cloudera在中国有90个左右的客户，典型情况是它们先是以自己的数据支持团队开始，逐渐发现需要更多的支持，于是Cloudera帮助他们转换到开放标准的大数据平台上。我们的客户来自各行各业，电信、交通、保险和信用卡巨头都在我们的客户名单上。CSDN：小微企业如何从大数据平台上受益？何京翔：小微企业同样需要大数据平台。虽然他们可能没有实力自建平台，比如说淘宝店主。但是他们可以用向大数据平台提供数据来交换服务的方式来享受到大数据平台的好处。同时，大数据平台的商业模式创新也是极其重要的。对于规模稍大一些的企业，就可能不太愿意把自己的业务数据分享，这个时候就要让他们采用可以自建数据存储的大数据平台来帮助他们。
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章当前位置&&&&&&&&&
微视点：Cloudera投资大数据加密技术
微视点：Cloudera投资大数据加密技术　　近日，大数据厂商Cloudera收购了大数据加密专业厂商Gazzang。Gazzang的技术方案包括一款用于对Hadoop环境内存储数据进行加密的产品，外加一套用于管理哪些用户有权访问密钥、令牌以及其它数据访问类协议的解决方案。Cloudera对Gazzang的收购，或许是受了其竞争Hortonworks在大数据安全领域加强部署的影响，也反映出企业将Hadoop部署方案引入日渐成熟，对安全性的担忧成为热点。
责任编辑：王珂月
关于&Cloudera 大数据加密&相关报道
loading...
服务器最新文章
服务器最新专题
网站合作、内容监督、商务咨询、投诉建议：010-
Copyright © 2000--
硅谷动力公司版权所有 京ICP证000088号您所在的位置： &
Cloudera公司首席架构师谈Hadoop之变迁
Cloudera公司首席架构师谈Hadoop之变迁
核子可乐译
在这一次的采访中，Cloudera公司首席架构师Doug Cutting向我们解释了开源开发机制为何更加强调技术常识而非开发信念，同时深度剖析了开源机制在企业环境下的应用方式。
Doug Cutting是众多获得巨大成功的开源项目的创始人，其中包括Lucene以及Hadoop这样的重量级成果。目前他在Cloudera公司担任首席架构师一职，同时也在Apache软件基金会董事会任职。
在这一次的采访中，他向我们解释了开源开发机制为何更加强调技术常识而非开发信念，同时深度剖析了开源机制在企业环境下的应用方式。此前他曾在All Things Open大会上作出过主题演讲，因此我也向他问起Lucene的开源开发之路、他个人在Apache软件基金会中所扮演的角色以及开源机制对他而言意味着什么。
您曾经在GPL许可之下在SourceForge上发布Lucene，早在2000年时就对Lucene进行开源处理一定面临着诸多不同于当下的问题吧？
其实当时的状况与现在相比并没有太多差别。学术界与研究界的从业者们早就开始了软件开发成果的分享之旅，因此免费下载技术方案的概念或者开源许可并不算是什么新鲜事物。（我与GPL的首次邂逅是在1985年，当时我在这套许可之下为GNU Emacs贡献了一部分代码。）要说差别，当时使用的工具与当下有所不同。我们那时候使用的是Concurrent Versions System （即并发版本系统，简称CVS），因为当时还不存在版本控制这类可用工具。我们并没有使用错误追踪机制，只是单纯通过邮件列表来处理沟通工作，不过其基本流程还是一样的。人们利用它来交流并协调自己在共享项目中的工作成果。
自从您最初创造的首个项目&&Lucene&&以来，您就一直将开源作为开发工作的基本原则。您当下仍在坚持这些原则吗，理由又是什么呢？
对我来说，开源开发机制的重点在于常识的积累而非对开放信念的强调。我希望自己的努力能够为用户带来切实可行的软件解决方案，也就是将实用性作为首要诉求。我喜欢与其他同伴一起完成这项任务。在这些基本前提确定下来之后，其它事情也就水到渠成了。我们必须要以敬意作为前提同其他参与者协同合作，否则根本不可能获得理想的协作成果。同样，要想构建起一个能够健康运作而且拥有长期协作关系的开源社区，透明度与精英管理体系也是不可或缺的。从这个角度来看，开源开发与非软件项目其实没什么不同。就像在组织聚会之后的清理分工一样，有些同志负责擦洗桌面、有些负责清洁碗筷、另一些则负责将椅子摆回原位。在这里我们并非上下级的关系，每个人都从属于自己有能力完成的那部分工作体系&&换言之，既要把房子打扫干净、又不能因此破坏了彼此之间的朋友关系。
您是Apache软件基金会的董事会成员之一。您能从这个角度讲讲自己所扮演的角色吗？
从根本层面讲，Apache董事会的作用在于监督基金会旗下的各个项目，从而确保其各自拥有一套健康有序的社区体系。我们需要保证这些项目的实质性控制权不会落到某个个人或者公司手中，而是真正让每位参与者都能获得应有的尊重。目前的150多个Apache项目会定期向董事会提交季度报告，这意味着我们每个月大约需要审查50个项目的运作状态。一般来讲这项工作都能顺利进行。当然，我们偶尔也需要介入其中，为项目指明一个更为可行的发展方向。董事会还负责处理各种典型的组织管理工作，例如确保有人维持网站的正常运行、收集捐赠款项并及时纳税等等。
随着越来越多企业开始在运营环境下使用开源方案，您认为未来三到五年内Hadoop与开源将分别呈现出怎样的发展态势？
我非常欣赏开源机制，因为它适合我个人作为开发人员的身份。它能让很多用户使用我所打造的软件成果，这是一种非常宝贵的个人奖励与工作肯定。此外，开源对于普通软件用户而言也颇具吸引力，因为他们能够借此大大降低对于特定厂商的依赖性（也就是&供应商锁定&）。现在已经有越来越多开发人员专注于为专有技术方案创造替代式开源成果。如果可以选择，用户更倾向于使用开源方案，因为这能够有效摆脱锁定效应的负面影响。事实上，开源实施方案算是开了个好头，而Hadoop生态系统则继续跟进并完成接下来的深层工作。大家可能注意到了，开发人员往往会以当前专有方案为基础开发出替代性开源成果，但却很少有人打算利用专有产品代替人们所喜爱的开源工具。我希望这种趋势能够一直保持下去。Hadoop生态系统的核心经历了诸多发展与变化，但其仍将坚持开源路线不动摇。虽然目前已经有一些专有工具出现在这套堆栈之上，但从基础层面看Hadoop的开源身份仍然可谓根红苗正。
待办事务团队的建立给您带来了怎样的帮助？
我会与他们进行简单交流，而且在我看来整个团队就是一份邮件列表&&只不过这部分成员的主要工作在于运行企业开源项目并探讨与此相关的最佳实践。基本上就是这些，他们的全部议程都以此为核心。许多企业都会发布一些开源成果并因此面临常见的技术以及法务问题。他们希望在这方面找到可资合作的机会，或者至少给予劝解。
英文：【编辑推荐】【责任编辑： TEL：（010）】
关于的更多文章
借助Google的三大论文，Hadoop打开了低成本海量数据处理之门；同
我原本是个C程序员，阴差阳错，步入Java大门，转眼十余年...
讲师： 27人学习过讲师： 85人学习过讲师： 59人学习过
一周一周的过的很快，2013年已经进入了倒计时。开发频
在脚本语言领域，Lua是最快、最高效的脚本语言之一，
2014年节假放假安于这周出台，80%的公民对此次的放假
本书主要介绍由Sun微系统公司创建的Java编程语言。
除了核心内容外，Java还有许多免费的财富，即开放源代码的库。本书就是为了
51CTO旗下网站