导航:首页 > 编程系统 > linuxtaskscheduler

linuxtaskscheduler

发布时间:2022-09-17 13:48:34

linux内核怎么调度系统

1.调度器的概述

多任务操作系统分为非抢占式多任务和抢占式多任务。与大多数现代操作系统一样,Linux采用的是抢占式多任务模式。这表示对CPU的占用时间由操作系统决定的,具体为操作系统中的调度器。调度器决定了什么时候停止一个进程以便让其他进程有机会运行,同时挑选出一个其他的进程开始运行。

2.调度策略

在Linux上调度策略决定了调度器是如何选择一个新进程的时间。调度策略与进程的类型有关,内核现有的调度策略如下:

#define SCHED_NORMAL 0#define SCHED_FIFO 1#define SCHED_RR 2#define SCHED_BATCH 3/* SCHED_ISO: reserved but not implemented yet */#define SCHED_IDLE 5

0: 默认的调度策略,针对的是普通进程。
1:针对实时进程的先进先出调度。适合对时间性要求比较高但每次运行时间比较短的进程。
2:针对的是实时进程的时间片轮转调度。适合每次运行时间比较长得进程。
3:针对批处理进程的调度,适合那些非交互性且对cpu使用密集的进程。
SCHED_ISO:是内核的一个预留字段,目前还没有使用
5:适用于优先级较低的后台进程。
注:每个进程的调度策略保存在进程描述符task_struct中的policy字段

3.调度器中的机制

内核引入调度类(struct sched_class)说明了调度器应该具有哪些功能。内核中每种调度策略都有该调度类的一个实例。(比如:基于公平调度类为:fair_sched_class,基于实时进程的调度类实例为:rt_sched_class),该实例也是针对每种调度策略的具体实现。调度类封装了不同调度策略的具体实现,屏蔽了各种调度策略的细节实现。
调度器核心函数schele()只需要调用调度类中的接口,完成进程的调度,完全不需要考虑调度策略的具体实现。调度类连接了调度函数和具体的调度策略。

Ⅱ 如何分布式运行maprece程序

一、 首先要知道此前提 转载
若在windows的Eclipse工程中直接启动maprec程序,需要先把hadoop集群的配置目录下的xml都拷贝到src目录下,让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。
若不拷贝,工程中bin目录没有完整的xml配置文件,则windows执行的maprece程序全部通过本机的jvm执行,作业名也是带有“local"字眼的作业,如 job_local2062122004_0001。 这不是真正的分布式运行maprece程序。
估计得研究org.apache.hadoop.conf.Configuration的源码,反正xml配置文件会影响执行maprece使用的文件系统是本机的windows文件系统还是远程的hdfs系统; 还有影响执行maprece的mapper和recer的是本机的jvm还是集群里面机器的jvm
二、 本文的结论

第一点就是: windows上执行maprece,必须打jar包到所有slave节点才能正确分布式运行maprece程序。(我有个需求是要windows上触发一个maprece分布式运行)
第二点就是: Linux上,只需拷贝jar文件到集群master上,执行命令hadoop jarPackage.jar MainClassName即可分布式运行maprece程序。
第三点就是: 推荐使用附一,实现了自动打jar包并上传,分布式执行的maprece程序。
附一、 推荐使用此方法:实现了自动打jar包并上传,分布式执行的maprece程序:
请先参考博文五篇:
Hadoop作业提交分析(一)~~(五)
引用博文的附件中EJob.java到你的工程中,然后main中添加如下方法和代码。

public static File createPack() throws IOException {
File jarFile = EJob.createTempJar("bin");
ClassLoader classLoader = EJob.getClassLoader();
Thread.currentThread().setContextClassLoader(classLoader);
return jarFile;
}
在作业启动代码中使用打包:
Job job = Job.getInstance(conf, "testAnaAction");
添加:
String jarPath = createPack().getPath();
job.setJar(jarPath);
即可实现直接run as java application 在windows跑分布式的maprece程序,不用手工上传jar文件。
附二、得出结论的测试过程
(未有空看书,只能通过愚笨的测试方法得出结论了)
一. 直接通过windows上Eclipse右击main程序的java文件,然后"run as application"或选择hadoop插件"run on hadoop"来触发执行MapRece程序的测试。
1,如果不打jar包到进集群任意linux机器上,它报错如下:
[work] 2012-06-25 15:42:47,360 - org.apache.hadoop.maprece.Job -10244 [main] INFO org.apache.hadoop.maprece.Job - map 0% rece 0%
[work] 2012-06-25 15:42:52,223 - org.apache.hadoop.maprece.Job -15107 [main] INFO org.apache.hadoop.maprece.Job - Task Id : attempt_1403517983686_0056_m_000000_0, Status : FAILED
Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1720)
at org.apache.hadoop.maprece.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:721)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:339)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:162)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:157)
Caused by: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1626)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1718)
... 8 more
# Error:后重复三次
2012-06-25 15:44:53,234 - org.apache.hadoop.maprece.Job -37813 [main] INFO org.apache.hadoop.maprece.Job - map 100% rece 100%
现象就是:报错,无进度,无运行结果。

2,拷贝jar包到“只是”集群master的$HADOOP_HOME/share/hadoop/maprece/目录上,直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行,它报错同上。
现象就是:报错,无进度,无运行结果。
3,拷贝jar包到集群某些slave的$HADOOP_HOME/share/hadoop/maprece/目录上,直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行
和报错:
Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountMapper not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1720)
at org.apache.hadoop.maprece.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)
和报错:
Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class bookCount.BookCount$BookCountRecer not found

现象就是:有报错,但仍然有进度,有运行结果。
4,拷贝jar包到集群所有slave的$HADOOP_HOME/share/hadoop/maprece/目录上,直接通过windows的eclipse "run as application"和通过hadoop插件"run on hadoop"来触发执行:
现象就是:无报错,有进度,有运行结果。
第一点结论就是: windows上执行maprece,必须打jar包到所有slave节点才能正确分布式运行maprece程序。
二 在Linux上的通过以下命令触发MapRece程序的测试。
hadoop jar $HADOOP_HOME/share/hadoop/maprece/bookCount.jar bookCount.BookCount

1,只拷贝到master,在master上执行。
现象就是:无报错,有进度,有运行结果。
2,拷贝随便一个slave节点,在slave上执行。
现象就是:无报错,有进度,有运行结果。
但某些节点上运行会报错如下,且运行结果。:
14/06/25 16:44:02 INFO maprece.JobSubmitter: Cleaning up the staging area /tmp/hadoop-yarn/staging/hser/.staging/job_1403517983686_0071
Exception in thread "main" java.lang.NoSuchFieldError: DEFAULT_MAPREDUCE_APPLICATION_CLASSPATH
at org.apache.hadoop.maprece.v2.util.MRApps.setMRFrameworkClasspath(MRApps.java:157)
at org.apache.hadoop.maprece.v2.util.MRApps.setClasspath(MRApps.java:198)
at org.apache.hadoop.mapred.YARNRunner.(YARNRunner.java:443)
at org.apache.hadoop.mapred.YARNRunner.submitJob(YARNRunner.java:283)
at org.apache.hadoop.maprece.JobSubmitter.submitJobInternal(JobSubmitter.java:415)
at org.apache.hadoop.maprece.Job$10.run(Job.java:1268)
at org.apache.hadoop.maprece.Job$10.run(Job.java:1265)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.maprece.Job.submit(Job.java:1265)
at org.apache.hadoop.maprece.Job.waitForCompletion(Job.java:1286)
at com.etrans.anaSpeed.AnaActionMr.run(AnaActionMr.java:207)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at com.etrans.anaSpeed.AnaActionMr.main(AnaActionMr.java:44)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
第二点结论就是: Linux上,只需拷贝jar文件到集群master上,执行命令hadoop jarPackage.jar MainClassName即可分布式运行maprece程序。

Ⅲ 一定要帮这个忙呀!要不会死人的~~

注册表建议设置最大40MB适合你现在的系统.
虚拟内存的初始大小和最大值添多少呀?
这个就要看你的内存了.请向下看第5条

////////////////////////以下是转文////////
Win 2000中需要对硬盘和内存的调整比起Win 98来说要少得多,这主要
是因为微软已经对这个最新的操作系统进行了优化,使得用户安装后就可以得到较
好的系统性能。不过这些优化主要是针对网络方面的,所以对于普通用户有的可能
没有多少用处,反而会影响系统的整体表现,这次笔者就带领大家对Win 2000的硬
盘和内存性能进行一下调整,去除那些我们用不到的东东,然后再通过一些其他优
化操作来改善系统的性能。

1、调整硬盘的写缓存

这个调整需要实施于系统中的所有硬盘,虽然它设置简单,但效果却比较
明显,可以有效地增强磁盘和系统性能。

用右键点击桌面上“我的电脑”图标,选择“属性”,接着在弹出窗口中选择
“硬件”选项卡的“设备管理器”,在其中找到你需要设置的硬盘项,然后双击进入其
属性设置界面,在属性选项卡中将“ Write chance enabled”选中。按照此方法设置
系统中的所有硬盘,确定后重启系统使之生效。

2、调整硬盘DMA设置

用上面提到的方法进入设备管理器窗口,然后在查看菜单中选择“
Devices by connection”,接着在下面的列表中找到“Standard PC”,将其子列
表全部扩展开,双击IDE controller项下的“Primary IDE channel”进入“属性
”设置窗口,在高级设置选项卡中将每一个硬盘中的设备类型设置为:“Auto
Detection”,传输模式设置为:“DMA if available(CD-ROM驱动器同样也可以
这样设置)”。对于“Secondary IDE channel”也依照上面的方法进行设置,然
后重启使之生效。

3、磁盘碎片整理

在Win 2000中微软提供了磁盘碎片整理功能,笔者建议你经常使用它对硬
盘进行整理,最好每周一次。不过它令人遗憾地继承了Win 98的“优良”传统--速
度非常慢,所以笔者的第二个建议是:使用第三方程序来进行磁盘碎片整理工作,
比如:Diskeeper(它是一套完全支持Windows 2000的磁盘整理工具,整合有微软的
Management Console(MMC),能够整理Windows 2000加密文件和压缩的文件,可自
动分析磁盘文件系统,无论磁盘文件系统是FAT16或NTFS格式均可进行安全、快速
地整理,而且可以选择完整整理或仅整理可用空间,从而保持磁盘文件的连续,加
快文件存取效率。而且它不仅可以整理你的文件,而且还可以对它们进行重组,甚
至是系统的页面文件也不在话下。另外,在注册版本中具有计划任务功能。(Win
2000虽然有磁盘整理功能,但是速度不能令人满意)(虽然Diskeeper看上去和Win
2000中的磁盘整理差不多,但是功能要强大不少)

4、要NTFS,还是FAT32?

对于NTFS和FAT32两种文件系统来说,它们各有所长,也各有所短。NTFS是
一个安全的文件系统,而且安装于此文件系统下的Win 2000一般要快于FAT32文件
系统中的Win 2000。不过,FAT32可以很好兼容Win 9X操作系统,这又是NTFS所作
不到的。所以对于如何选择文件系统,笔者的建议是:如果你的电脑中只运行
Win 2000,那么最好选择NTFS文件系统,如果你使用了双启动,在电脑中还安装有
Win 9X或是Linux,那么你至少要在一个分区中使用FAT32。如果你是一个追求速度
的狂人,笔者建议你将Win 2000的系统文件存放在NTFS格式的分区内,而其他个人
文件则放置在FAT32分区内。

5、页面文件调整

在Win 2000中的页面文件不像Win 9X中的临时交换文件那样是动态的,所
以对它进行调整来优化虚拟内存使得系统性能提高就更为重要了。 在
Win 9X中,你可以将页面文件分割设置在几个不同的硬盘中,而Win 2000则不建议
你这样作。不过如果你有两个速度相近的硬盘(请注意一定要速度相近才行,如果
你的两个硬盘一个是5400转,一个是7200转,那么最好不要这么作,因为它会导致
硬盘速度和系统性能大大降低),将页面文件分割设置到两个硬盘中则可以很大程
度地提高系统性能和速度。

页面文件的大小应该大于物理内存,如果你的内存小于96MB,那么笔者建
议将其设置为内存的1.5倍比较合适,当然2倍也未尝不可。如果你的内存为
96-256MB,那么微软的建议是内存+30MB是最为适宜的选择,不过如果你经常需要
进行大量多任务操作,那么还是设置为内存的1.5倍为好。如果你有256MB内存,那
么将页面文件设置为256MB吧,除非你选择了当系统发生崩溃时记录所有的DUMP(
DUMP的相关问题请参考全攻略相关文章)。

页面文件的设置方法为:在桌面用右键点击“我的电脑”图标,选择属性,
在打开的属性窗口中选择“高级”选项卡,然后点击“性能选项”按钮,在弹出的
窗口中点击下面的“更改”按钮进入虚拟内存设置窗口,按照上面所说的,如果你
有两个速度相近的硬盘可以将页面文件分割设置于两个硬盘,也就是说两个硬盘都
设置页面文件,数值相同。对于一般用户则可按刚才提到的数值设置,比如你有
64MB内存,那么可以将最小和最大数值都设为96MB或是128MB,按下旁边的“设置
”按钮后重启系统即可。

6、其他调整

在上一步的“性能选项”窗口中还有一个设置叫:应用程序响应,这里提
供有:应用程序和后台服务两个选项,如果你把Windows更多地作为工作站(单机
)来使用,则应选择“应用程序”,这样可以使那些在工作站上运行的应用程序运
行得更好,我们普通用户就属于这类。但当你把Win 2000更多地作为网络服务器来
使用的话,则应选择“后台服务”,这样系统将为后台程序分配更多的资源,以使
服务器的服务性能更加出色。

7、注册表调整

在这步调整中将要涉及注册表的修改,所以笔者再次提醒大家一定要事先
备份注册表(相关操作请看这里),而那些初级用户则最好不要轻易尝试或是在高手
的帮助下进行。

笔者在这里提供了一些相关的注册表文件(注意:笔者只在Win 2000英文版测
试通过),你只要下载并运行它就可以完成修改操作。如果你想知道具体的修改过
程,那么可以在开始菜单的运行项键入:regedit,打开注册表编辑器,然后找到
HKEY_LOCAL_MACHINE/System/CurrentControlSet/Control/Session
Manager/Memory Management:ClearPageFileAtShutdown --笔者无法找到该键的
相关信息,而且打开此设置后好象每次关机时并没有清除页面文件,不过当笔者将
其打开后系统性能还是有了轻微的提高。打开该设置可以下载、运行这个注册表文
件、关闭此设置请下载、运行另一个注册表文件。

DisablePagingExecutive -- 当该设置打开后,系统正在执行的文件被强制保留在
内存中而不是被移入虚拟内存,这样可以提高程序运行速度,从而提高系统性能。
但是请注意这只对那些拥有128MB或更多内存的朋友而言的,因为它需要大量物理
内存作后盾。打开该设置请下载、运行这个注册表文件,关闭则下载另一个注册表
文件。

IOPageLockLimit -- 这个设置可以改善系统在输入/输出方面效能,从而明显提高
系统性能,系统的默认值为:512KB或0.5MB。不过笔者个人的建议是:如果你没有
128MB或更多的内存还是不要修改为好。对于拥有大内存的朋友,笔者在这里提供
了将数值设置为:1MB、2MB、4MB、8MB、16MB、24MB、32MB的注册表文件。因为这
个设置的修改不会出现问题,所以你可以试一试,那些拥有128MB内存的朋友肯定
会发现设置为8MB和16MB时系统的性能会有很大改善,当你的内存越大且使用了较
高数值系统的性能改善也会越明显。如果你想恢复默认数值可以下载、运行这个注
册表文件。

LargeSystemCache -- 这个设置是让Win 2000使用它的系统缓存(就像Win 9X中的
Vcache),不过它主要对Win 2000服务器版或更高版本有效,因为打开这个设置后
磁盘输入/输出性能会有巨大的提高。不过对于专业版用户而言,笔者个人建议如
果你有128MB或更多的内存可以将其打开,否则还是不要考虑它吧。(打开此项设
置的注册表文件,关闭设置的注册表文件。)

8、更改事件记录目录

如果你有两个或两个以上硬盘,而且硬盘之间的速度相近,那么这个系统
优化将非常适合你。因为Win 2000中有一个功能叫:事件记录(Event Log),它
会记录系统活动信息,比如:安全、应用程序和系统事件,记录文件的位置在C:
\WINNT\SYSTEM32\Config目录中。

9、服务设置

在Win 2000中有许多默认的系统服务,它们主要是用来协调系统某项功
能或一些功能(比如:网络、打印机等)的,以便使系统更易用,好用。不过,关
掉一些你不太想要或是对你而言没用的服务可以加快系统启动速度、降低系统开销
(这有点像关闭那些驻留程序)。当然这样作的后果是限制了系统在某些方面的能
力。

对于每一个系统服务都有三种设置:自动,随系统启动开始运行;手动,当被
其他服务访问或是相应程序运行时启动;失效,将其关闭,不再起作用。所以笔者
建议可以一些服务设置为手动状态,这样既不会增加系统开支,也可以在需要时将
其打开。而且通过下面的设置你将会回收大约10MB的系统资源,真的!就是10MB!

好了,来到你的控制面板,打开“管理员工具”项,然后打开其中的“服务”
项,设置服务的方法是用右键点击某个服务并选择属性,在常规选项卡中的开始类
型下拉菜单中选相应的设置,比如:手动、自动或失效。 下面是笔者测试过的
服务列表:

Alerter--这个服务是当系统发生故障时向管理员发送警报,除非你的电脑处
在局域网中,而且配有网络管理员,一般情况下可以将其设置为手动或失效。

Clipbook Server--这个服务是允许网络中的其他用户查看你的剪贴板,即使
你的电脑在局域网中,为了安全起见笔者还是强烈建议你将其设置为手动,而对于
普通用户来说完全可以将其设置为:失效。

Computer Browser--该服务控制的是网络邻居和其他网络功能,如果普通用户
可以将其设置为:失效,而局域网用户则应设置为:自动。

Event Log--该服务主要是控制系统事件记录,如果你不太关心系统出错后的
记录信息,那么可以将其设置为手动,不过笔者的建议还是把设为自动吧,有备无
患呀。

Messenger--在网络中发送、接收信息,如果你将Alerter关闭,那么这项可以
设置为手动。

Net Logon--主要是管理某些网络安全设置的,比如:登录信息,你可以
将其设置为手动。

Network DDE和Network DDE DSDM -- 这两个服务主要是管理DDE(动态数据交
换)的,如果你不需要在网络中与他们共同使用Office等软件,那么可以将其设置
为:手动。

NT LM Security Support--提供一些NT网络应用程序的安全保护,建议将其设
置为:手动。

Plug and Play--打开Win 2000的即插即用功能,建议将其设置为:自动,如
不然会导致注册表混乱。

Protected Storage--该服务适合于那些像信息卡等的保密信息。建议设置为
:自动。当然你的系统中没有存储任何私人信息除外。 RPC Services--有两项,
适用于远程呼叫。不过笔者还不知道哪一个网络软件
需要使用这两项服务,但是不管你将它们设置为什么,它们每次都会随系统启动,
所以就把它们设为:自动吧。

Server--它是用来管理网络中文件和打印服务器的,对于普通用户而言可以将
其设置为:手动,如果你是局域网用户则需将其设置为:自动。

Print Spooler--这是用来管理你的打印机的,如果你没有打印机可以将其设
置为:手动或失效。

Task Scheler--用来管理计划任务的,比如每周按时整理磁盘等。如果你不
使用Windows的计划任务,那么可以将其设置为:手动。
Uninterruptible Power Supply --这个服务是用来管理你的UPS的,如果你没
有UPS就将它设置为:手动或失效吧。

Workstation--它是用来管理其他网络功能的,如果你的电脑上网,那么应该
选择:自动。

除了上面提到的服务外,Win 2000中还有其他不少服务,待笔者了解到更多相
关信息时再来更新这个列表吧。

10、关闭无用的自启动程序

同Win 98一样,你可以通过删除注册表的
HKEY_LOCAL_MACHINE\SOFTWARE\MICROSOFT\WINDOWS\CURRENTVERSION\RUNRUN项中
的程序键值来使某个程序无法随系统启动而启动。不过在删除前建议你最好将这个
键值导出备份,因为有可能在你删除后,会出现程序无法运行的情况。

11、整理内存碎片

不需要专门的程序你就可以简单、方便、有效地整理内存碎片,这个方法
也可以应用到Win 9X中。它其实是两个VBScript语句,新建一个文本文件,然后在
里面键入:

Mystring = Space(16000000)

Mystring = Space(80000000)

上面一行适合于内存小于128MB,但大于32MB的电脑,下面一行就适合内存等
于或大于128MB的电脑,你可以根据自己的情况选择,然后将其保存为:memory.
vbs。建议你将它放置在桌面,这样在任何时间你可以双击它来整理内存碎片。如
果你在使用第二行时出现了问题,那么可以改为第一行的语句。另外,在运行它之
前建议你关闭其他所有程序,这样才能得到最好效果。

Ⅳ 为什么windows越用越慢,而linux就不会

P越用越慢的问题
首先声明这是转贴来的。经本人试用,修改系统后运行速度确实有了提高,有兴趣的朋友可以试一下。1、减少磁盘空间占用
2、终止不常用的系统服务
3、安全问题
4、另外一些技巧

首先问一下,你是不是很想激活XP,不。。。准确的说你是不是想在ms的站上能够升级。如果答案是肯定的话,那我们就先来探讨一下安装的问题,目前流行的V4、V5、V6版本我还是比较推荐的,尤其是V5和V6这两个。安装的过程中有个序列号的问题,我建议你先在机子上算好,然后用这个序列号安装,通常这样安装的XP都可以到MS的站点自由更新。
如果你是已经安装好的XP了,但用的序列号是里到处流传人人都用的那些,也没关系,我们后面会说用sysrep来重新封装的时候会解决序列号更换的问题。

我假设你已经安装完XP了,come on baby ~~

一、瘦身行动

1、在各种软硬件安装妥当之后,其实XP需要更新文件的时候就很少了。删除系统备份文件吧:开始→运行→sfc.exe /purgecache 近3xxM。

2、删除驱动备份: %windows%\driver cache\i386目录下的driver.cab文件,通常这个文件是76M。

3、偶没有看help的习惯,所以保留着%windows%\help目录下的东西对我来说是一种伤害,呵呵。。。都干掉,近4xM。

4、一会在升级完成后你还会发现%windows%\多了许多类似$NtUninstallQ311889$这些目录,都干掉吧,1x-3xM。

5、正好硬盘中还有win2000/server等,所以顺便把pagefile.sys文件都指向一个地方:控制面板→系统→性能—高级→虚拟内存→更改,注意要点“设置”才会生效。

6、卸载不常用组件:用记事本修改\%windows%\inf\sysoc.inf,用查找/替换功能,在查找框中输入,hide,全部替换为空。这样,就把所有的,hide都去掉了,存盘退出后再运行“添加-删除程序”,就会看见“添加/删除 Windows 组件”中多出不少选项;删除掉游戏啊,码表啊等不用的东西。

7、删除\windows\ime下不用的输入法,8xM。我重新安装了自己用的zrm输入法,赫赫。

8、如果实在空间紧张,启用NTFS的压缩功能,这样还会少用2x% 的空间,不过我没作。

9、关了系统还原,这破功能对我这样常下载、测试软件的人来说简直是灾难,用鼠标右健单击桌面上的“我的电脑”,选择“属性”,找到“系统还原”,选择“在所有驱动器上关闭系统还原”呵呵,又可以省空间了。

10、还有几个文件,挺大的,也没什么用。。。。忘了名字 :( ,刚安装的系统可以用查找功能查找大于50M的文件来看看,应该能找到的。

如果你能按照上面的过程做完,你的原本1.4G的XP,完全可以减少到800以下。

二、加速计划

WinXP的启动会有许多影响速度的功能,尽管ms说已经作最优化处理过,但对我们来说还是有许多可定制之处。我一般是这样来做的。

1、修改注册表的run键,取消那几个不常用的东西,比如Windows Messenger 。启用注册表管理器:开始→运行→Regedit→找到“HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Run\MSMSGS” /BACKGROUND 这个键值,右键→删除,世界清静多了,顺便把那几个什么cfmon的都干掉吧。

2、修改注册表来减少预读取,减少进度条等待时间,效果是进度条跑一圈就进入登录画面了,开始→运行→regedit启动注册表编辑器,找HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session Manager\Memory Management\PrefetchParameters, 有一个键EnablePrefetcher把它的数值改为“1”就可以了。另外不常更换硬件的朋友可以在系统属性中把总线设备上面的设备类型设置为none(无)。

3、关闭系统属性中的特效,这可是简单有效的提速良方。点击开始→控制面板→系统→高级→性能→设置→在视觉效果中,设置为调整为最佳性能→确定即可。这样桌面就会和win2000很相似的,我还是挺喜欢XP的蓝色窗口,所以在“在窗口和按钮上使用视觉样式”打上勾,这样既能看到漂亮的蓝色界面,又可以加快速度。

4、我用Windows commadner+Winrar来管理文件,Win XP的ZIP支持对我而言连鸡肋也不如,因为不管我需不需要,开机系统就打开个zip支持,本来就闲少的系统资源又少了一分,点击开始→运行,敲入:“regsvr32 /u zipfldr.dll”双引号中间的,然后回车确认即可,成功的标志是出现个提示窗口,内容大致为:zipfldr.dll中的Dll UnrgisterServer成功。

5、据说XP的一个系统服务Qos,这个调度要占用一定的网络带宽,像我这样的一毛不拔的人是无法忍受的,去掉方法是:开始菜单→运行→键入 gpedit.msc ,出现“组策略”窗口, 展开 "管理模板”→“网络” , 展开 "QoS 数据包调度程序", 在右边窗右键单击“限制可保留带宽" ,在属性中的“设置”中有“限制可保留带宽" ,选择“已禁用”,确定即可。当上述修改完成并应用后,用户在网络连接的属性对话框内的一般属性标签栏中如果能够看到"QoS Packet Scheler(QoS 数据包调度程序)"。说明修改成功,否则说明修改失败,顺便把网络属性中的那个Qos 协议也一起干掉(卸载)吧。

6、快速浏览局域网络的共享
通常情况下,Windows XP在连接其它计算机时,会全面检查对方机子上所有预定的任务,这个检查会让你等上30秒钟或更多时间。去掉的方法是开始→运行→Regedit→在注册表中找到HKEY_LOCAL_MACHINE\Software\Microsoft\Windows\Current Version\Explorer\RemoteComputer\NameSpace。在此键值下,会有个键,把它删掉后,重新启动计算机,Windows XP就不再检查预定任务了,hoho~~~ ,速度明显提高啦!

7、关掉调试器Dr. Watson
我好像从win95年代开始一次也没用过这东西,可以这样取消:打开册表,找到HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\AeDebug子键分支,双击在它下面的Auto键值名称,将其“数值数据”改为0,最后按F5刷新使设置生效,这样就取消它的运行了。沿用这个思路,我们可以把所有具备调试功能的选项取消,比如蓝屏时出现的memory.dmp,在“我的电脑→属性→高级→设置→写入调试信息→选择无”等等。

8、被我终止的服务列表以及相关说明

1)alerter 错误警报
2)automatic updates windows 自动更新
3)background intelligent transfer service 微软说使用空闲的网络带宽传数据
4)clipbook 与远程电脑来共享剪贴板内容,我看还是免了吧
5)Computer browser 说什么要维护网络更新列表
6)DHCP client 我不需要这东西
7)Distributed link tracking client 保持局域网连接更新等信息,偶很少用局域网,这东西占用4M左右内存。
8)Distributed Transaction coordinator 协调***,和上面的差不多
9)DNS Client 我不需要这东西
10)Error reporting service 错误报告
11)Event Log 系统日志纪录
12)Fast user switching compatibility 用户切换
13)help and support 帮助
14)Human interface device access 据说是智能设备。。。
15)IMAPI CD-burning COM service 偶不用这个刻碟
16)Indexing service 索引,索引什么呢?
17)Internet Connection Firewall(ICF) ICF防火墙
18)IPSEC Services 这个我不懂,你想知道问Quack去
19)Logical Disk manager administrative service 配置磁盘
20)messenger 好像net send 等东西用的就是这个功能
21)MS software shadow provider 卷复制备份的
22)Net Logon 我可不想让黑客远程登录进来,关!
23)Netmeeting remote desktop sharing 我不用netmeeting
24)Network DDE 动态数据交换传输
25)Network DDE DSDM 和上面差不多
26)Network Location Awareness 关,我的机子不作共享
27)NTLM Security support provider-telnet 呵呵,关!
28)Performance logs and alert 将系统状态写日志或发警告
29)Portable media serial number 关!
30)Print Spooler 打印机,不幸的是我的机子不连接Print ~
31) QoS RSVP 关!
32)Remote desktop help session manager 远程帮助服务
33)remote Procere Call LOCATOR 管理RPC
34)remote registry 远程管理注册表
35)removable storage
36)routing and remote access 我干脆禁用了它
37)security accounts manager 我的系统只是一个客户系统,不用iis。
38)smart card
39)smart card helper 关!!!
40)SSDP Discovery service 我用不到这个
41)system event notification 如果是服务器肯定要记录的
42)system restore service 系统还原服务
43)task scheler windows 计划服务
44)Telephony 拨号服务,我不拨号还不行吗?
45)telnet
46)terminal services 终端服务
47)uninterruptible power supply UPS,我没有呀
48)universal plug and play device host 太先进了点,用不到
49)upload manager 关了也能传输文件的
50)volume shadow 又是备份,晕
51)webclient 没用过
52)Windows Installer MSI服务,我一直关着。
53)windows image acquisition (WIA) 数码设备用的
54)windows management instrumentation driver extensions 关了
55)windows time 时间服务
56)wireless zero configuration 无线网络,偶用不到的
57)WMI perfromance adapter 关!

这里面的一些服务是刚开始就是关的,但我忘了,所以只好把现在系统中关闭的服务基本都列了出来。你根据自己的情况酌情处理吧。

三、我安全吗

多了不谈,基本的共享还是得关的:

修改注册表为以下两个样式:
去除共享
——————————————————————
Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\lanmanserver\parameters]
"AutoShareServer"=dword:00000000
"AutoSharewks"=dword:00000000
——————————————————————
去除IPC$管理
——————————————————————
Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Lsa]
"restrictanonymous"=dword:00000001
——————————————————————
或者将上面两个保存成个.REG文件,然后双击导入就可以了。

顺便把不要脸的的3721也屏蔽,在hosts文件中加入:

127.0.0.1 cnsmin.3721.com
127.0.0.1 ;

四、其他技巧

1、给鼠标右键增加个复制到.../移动到...功能
—————————————————————
Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SOFTWARE\Classes\AllFilesystemObjects\shellex]

[HKEY_LOCAL_MACHINE\SOFTWARE\Classes\AllFilesystemObjects\shellex\ContextMenuHandlers]

[HKEY_LOCAL_MACHINE\SOFTWARE\Classes\AllFilesystemObjects\shellex\ContextMenuHandlers\Copy To]
@=""

[HKEY_LOCAL_MACHINE\SOFTWARE\Classes\AllFilesystemObjects\shellex\ContextMenuHandlers\Move To]
@=""
————————————————————————
将上面内容保存成add.reg文件,然后双击导入就可以了。

2、关了错误报告,*** !这东西搞得我像个微软免费的测试员似的:点击控制面板>系统>高级>右下角->错误报告>禁用错误汇报——>确定!
3、取消分组显示:右键单击任务栏的空白区域,在弹出的菜单中选择“属性”,在弹出的窗口中,取消“分组相似任务栏按钮”前面的对钩,确定就可以了。
4、找回经典的登录窗口,WinXP默认的登录界面虽然漂亮,但如果你想用一个列表中没有的用户登录,你会发现无从下手,改回经典窗口的方法是:点击“开始”→“控制面板”→“用户账户”→“更改用户登录或注销的方式”→把“使用欢迎屏幕”前面的对钩取消,最后点“应用选项”就OK啦。
5、将自己最常用的输入法设置一个快捷键:点击“开始”→“控制面板”→“区域和语言选项”→在弹出的窗口中选择“语言”→“详细信息”→“键设置”在弹出的窗口中找到自己用的输入法,点“更改按键顺序”→在这里选一个快捷键就可以了。
6、关闭计算机时自动结束不响应的任务,注册表:HKEY_CURRENT_USER\Control Panel\Desktop 中的“AugoEndTasks”的键值改为“1”
7、关闭自动更新:右键单击“我的电脑”,点击属性,点击“自动更新”,在“通知设置”一栏选择“关闭自动更新。我将手动更新计算机”一项。
8、减少开机磁盘扫描等待时间,开始→运行,键入“chkntfs/t:0”

然后连接到ms站点顺便升级一次就算优化基本完成,对于XP而言,可以采用许多内部命令来看看优化情况,比如tasklist.exe /svc 可以查看系统服务实际使用情况。
优化一个系统,挺麻烦的。所以我们把他保存起来,我们用Ghost生成.GHO文件,这样就可以拿给别人炫耀一下啦,在Ghost之前先要作一个事情,清除系统硬件、注册等信息,否则克隆到不同的机子上将无法启动,在Winxp安装盘上找Deploy.cab 中的sysprep.exe文件。
执行sysprep.exe,选择“重新封装”,下面的标记中可以选择“已提前激活”,还可以选择封装完成后是关机还是重新启动。封装完成后,我们再用带有Ghost的系统盘启动,用Ghost来生成备份.GHO镜像,备份完成!
在执行封装后,重新开机,XP会让我们输入序列号,文中开头所提到的换序列号的办法就是这样换

Ⅳ 两台电脑如何共享文件 linux

加入同一个家庭网络
设置共享
1、启用来宾帐户。
开始-控制面版--管理工具--计算机管理-展开系统工具--本地用户和组--用户,在右边会见到一个GUEST用户,双击它,把帐号已停用前面的勾取消。如果大家想提高访问别人机器的速度的话,还可以做一些相关操作:控制面版—管理工具—服务—Task Scheler—属性—启动方式改为手动,这样就可以了。
2、用户权利指派。
“控制面板-管理工具-本地安全策略”,在“本地安全策略”对话框中,依次选择“本地策略-用户权利指派”,在右边的选项中依次对“从网络上访问这台计算机”和“拒绝从网络上访问这台计算机”这两个选项进行设置。
“从网络上访问这台计算机”选项需要将guest用户和everyone添加进去;“拒绝从网络上访问这台计算机”需要将被拒绝的所有用户删除掉,默认情况下guest是被拒绝访问的。
3、安装NetBEUI协议。
查看“网上邻居”属性—查看“本地连接”属性—点击“安装”—查看 “协议”—看其中NetBEUI协议是否存在,在Winxp系统默认的情况下该协议是已经安装好了的。某些局域网游戏和软件须安装NetBEUI协议。而且网上有文章说,在小型局域网中,微软在WinXP中只支持的TCP/IP协议和NWLink IPX/SPX/NetBIOS兼容协议表现不尽如人意,在小型局域网(拥有200台左右电脑的网络)中NetBEUI是占用内存最少、速度最快的一种协议。安装方法:
(1)放入Windows XP安装光盘,到“valueaddMsft et etbeui”目录下将Netnbf.inf复制C:\Windows\INF中;
(2)将Nbf.sys复制到C:\Windows\System32\Drivers中;
(3)开始→控制面板→网上邻居”→“网络连接”→“本地连接”(就是你目前使用中的局域网连接)上按右键→“属性”→“常规”→“安装”→“通讯协议”→“添加”,此时就可以看到“NetBEUI Protocol”这一项,此项原来是没有的,选取NetBEUI之后,按确定。
4、建立工作组。
以XP为例,右击“我的电脑”---“属性”,在“计算机名”选项卡中,点“更改”按钮,在下面的“工作组”文本框里输入工作组的名字,随便输,只要保证两台机器工作组一样就行。
或,右键点击“我的电脑”,选择“属性”,然后单击“计算机名”选项卡,看看该选项卡中有没有出现你的局域网工作组名称,如“workgroup”等。然后单击“网络 ID”按钮,开始“网络标识向导”:单击“下一步”,选择“本机是商业网络的一部分,用它连接到其他工作着的计算机”;单击“下一步”,选择“公司使用没有域的网络”;单击“下一步”按钮,然后输入你的局域网的工作组名,这里我建议大家用“BROADVIEW”,再次单击“下一步”按钮,最后单击“完成”按钮完成设置。
5、设置共享文件夹。
(1)我的电脑→工具→文件夹选项→查看→去掉“使用简单文件共享(推荐)”前的勾。
(2)把你要共享的文件全部放在一个文件夹里,右击这个文件夹--共享和安全,在“共享”选项卡中选中“在网络上共享这个文件夹”复选框,这时“共享名”文本框和“允许其他用户更改我的文件”复选框变为可用状态。用户可以在“共享名”文本框中更改该共享文件夹的名称;若清除“允许其他用户更改我的文件”复选框,则其他用户只能看该共享文件夹中的内容,而不能对其进行修改。设置完毕后,单击“应用”按钮和“确定”按钮即可。
6、关闭防火墙。
打开网上邻里,可看到对方机子上的共享文件夹。

Ⅵ Hadoop常见问题解答

Hadoop常见问题解答
(1)Hadoop适不适用于电子政务?为什么?
电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化,建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务肯定会产生相关的大量数据以及相应的计算需求,而这两种需求涉及的数据和计算达到一定规模时传统的系统架构将不能满足,就需要借助海量数据处理平台,例如Hadoop技术,因此可以利用Hadoop技术来构建电子政务云平台。

总结一下,任何系统没有绝对的适合和不适合,只有当需求出现时才可以决定,在一个非常小的电子政务系统上如果没有打数据处理以及计算分析需求时就不需要hadoop这样的技术,而实际上,商用的电子政务平台往往涉及到大规模的数据和大量的计算分析处理需求,因此就需要Hadoop这样的技术来解决。(2)hadoop对于实时在线处理有优势吗?
直接使用hadoop进行实时处理时没有优势的,因为Hadoop主要解决的是海量批处理作业计算问题,但是可以使用基于Hadoop的分布式NOSQL系统HBase系统以及相关实时处理系统:
1. 基于Hadoop的HBase可以做到实时处理以及相关需求的实时计算,主要解决海量<key,value>相关查询计算等需求。
2. 可以考虑Spark计算,Spark是基于共现内存RDD的系统,比Hadoop更快,时候迭代式计算,例如数据挖掘,机器学习算法等。
3. 还有Storm,Storm是一个免费开源、分布式、高容错的实时计算系统,Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。
4. 考虑S4, S4是Yahoo!在2010年10月开源的一套通用、分布式、可扩展、部分容错、具备可插拔功能的平台。这套平台主要是为了方便开发者开发处理流式数据(continuous unbounded streams of data)的应用。
你可以依据实际的需求来选择合适的系统。
(3)Hadoop存储海量数据没有问题,但是如何能够做到海量数据的实时检索?
1,可以结合开源的搜索引擎Apache Lucene,Solr 或ElasticSearch
2,海量数据的实时检索可以考虑HBase,建议可以使用hadoop将数据构建成以查询key为键的数据集,然后将<key, value>集合写入Hbase表中,Hbase会自动以key为键进行索引,在数十亿甚至以上的级别下,查询key的value响应时间也估计再10毫秒内。
如果检索条件是多个组合的情况下,可以适当的设计多个hbase表格,这样的检索也是很快的,同时Hbase也是支持二级索引。在符合条件下查询,Hbase也是支持MapRece的,如果对响应时间要求不高的情况下,可以考虑将hive和Hbase系统结合来使用。
如果数据量不是很大的情况下也可以考虑支持类似SQL的NOSLQ系统。
(4)能不能给点hadoop的学习方法以及学习规划,hadoop系统有点庞大,感觉无从学起?
首先搞清楚什么是hadoop以及hadoop可以用来做什么?
然后,可以从最经典的词频统计程序开始,初步了解MapRece的基本思路和处理数据的方式。
接着,就可以正式学习hadoop的基本原理,包括HDFS和MapRece,先从整体,宏观核心原理看,先别看源码级别。
进一步,就可以深入HDFS和MapRece和模块细节,这个时候可以结合源码深入理解,以及实现机制。
最后就是需要实战了,可以结合自己的项目或者相关需求来完成一些hadoop相关应用。
(5) 大的文件拆分成很多小的文件后,怎样用Hadoop进行高效的处理这些小文件?以及怎样让各个节点尽可能的负载均衡?
1. 怎样用Hadoop进行高效的处理这些小文件?
你这个问题提的很好,hadoop在处理大规模数据时是很高效的,但是处理大量的小文件时就会因为系统资源开销过大而导致效率较低,针对这样的问题,可以将小文件打包为大文件,例如使用SequcenFile文件格式,例如以文件签名为key,文件内容本身为value写成SequcenFile文件的一条记录,这样多个小文件就可以通过SequcenFile文件格式变为一个大文件,之前的每个小文件都会映射为SequcenFile文件的一条记录。
2. 怎样让各个节点尽可能的负载均衡?
在hadoop集群中负载均衡是非常关键的,这种情况的导致往往是因为用户的数据分布的并不均衡,而计算资源槽位数确实均衡分布在每个节点,这样在作业运行时非本地任务会有大量的数据传输,从而导致集群负载不均衡,因此解决不均衡的要点就是将用户的数据分布均衡,可以使用hadoop内置的balancer脚本命令。
对于因为资源调度导致的不均衡则需要考虑具体的调度算法和作业分配机制。
(6)c/c++ 程序员如何入门Hadoop到深入了解,并在Linux服务器上布置运用,有没有方向性的指导?
针对C/C++用户,Hadoop提供了hadoop streaming接口和pipes接口,hadoop streaming接口以标准输入和标准输出作为用户程序和hadoop框架交互的中间件,pipes这是专门针对C/C++语言的接口,以socket作为同学中介。
从使用上建议从streaming入手,pipes相比streaming问题比较多,而且pipes调试不容易。
(7)现在企业中使用Hadoop版本主要是1.x还是2.x?
目前网络,腾讯,阿里为主的互联网公司都是以hadoop 1.X为基准版本的,当然每个公司都会进行自定义的二次开发以满足不同的集群需求。
2.X在网络内部还没有正式使用,还是以1.X为主,不过网络针对1.X的问题开发了HCE系统(Hadoop C++ Expand系统)
补充,Hadoop2.x在其他公司应用的很多,比如京东
(8)以后想从事大数据方面工作,算法要掌握到什么程度,算法占主要部分吗?
首先,如果要从事大数据相关领域的话,hadoop是作为工具来使用的,首先需要掌握使用方法。可以不用深入到hadoop源码级别细节。
然后就是对算法的理解,往往需要设计到数据挖掘算法的分布式实现,而算法本身你还是需要理解的,例如常用的k-means聚类等。
(9)现在spark,storm越来越火,谷歌也发布了Cloud Dataflow,是不是Hadoop以后主要应该学习hdfs和yarn,而且以后Hadoop程序员的主要做的就是把这些东西打包,只提供接口让普通的程序员也能使用,就像Cloudera和Google一样?
这位同学,你多虑了,hadoop和spark, strom是解决不同的问题,不存在哪个好那个坏,要学习Hadoop还是以主流的hadoop-1.X为版本,2.X最主要的就是多了yarn框架,很好理解的。
如果你是hadoop本身研发建议都看,如果你是hadoop应用相关研发,看主流的1.X就行,我的书《Hadoop核心技术》是以主流的1.X为版本讲解的,有兴趣可以看看。
(10)小白问一句,大数据处理都是服务器上安装相关软件吗,对程序有什么影响呢,集群、大数据是属于运维的工作内容还是攻城狮的呢?
传统的程序只能运行在单机上,而大数据处理这往往使用分布式编程框架编写,例如hadoop maprece,只能运行在hadoop集群平台上。
运维的责任:保证集群,机器的稳定性和可靠性
hadoop系统本身研发:提高Hadoop集群的性能,增加新功能。
大数据应用:把hadoop作为工具,去实现海量数据处理或者相关需求。
(11)学习hadoop该怎么入手呢?应该做一些什么样的项目呢?
可以参考我上面的几个回答,可以从最简单词频统计程序入手,然后学习理解HDFS和MapRece的基本原理和核心机制,如果仅仅把Hadoop作为一个工具来使用的话这样就可以了,最重要的就是实战了,可以尝试使用Hadoop处理一些数据,例如做日志分析,数据统计,排序,倒排索引等典型应用。
(12)100个以上hadoop节点,一般怎么开发,运维?任务很多的情况下任务资源怎么分配,任务执行顺序是定时脚本还是别的什么方式控制?
1. 首先大数据的应用开发和hadoop集群的规模是没有关系,你指的是集群的搭建和运维吗,对于商用的hadoop系统来说涉及到很多东西,建议参考《hadoop核心技术》实战篇 “第10章Hadoop集群搭建 ” 章节。
2. 任务的分配是有hadoop的调度器的调度策略决定的,默认为FIFO调度,商业集群一般使用多队列多用户调度器,可以参考参考《hadoop核心技术》高级篇 “第9章Hadoop作业调度系统” 章节。
3. 任务的执行顺序是有用户控制的,你自然可以定时启动,也可以手动启动。
(13)基于Hadoop做开发,是否必须会使用Java,使用其他开发语言是否无法更好的融入整个Hadoop的开发体系?
基于Hadoop做开发可以使用任何语言,因为hadoop提高了streaming编程框架和pipes编程接口,streaming框架下用户可以使用任何可以操作标准输入输出的计算机语言来开发hadoop应用。
(14)在rece阶段老是卡在最后阶段很长时间,在网上查的说是有可能是数据倾斜,我想问这个有啥解决方法吗?
1,你这个就是数据倾斜啊 好多数据都集中在一个rece里 其他rece里分配的数据比较少 默认情况下决定哪些数据分配到哪个rece是由rece个数和partiiton分区决定的 默认是对key进行hash运算 一般情况下用mapreuce倾斜很少 除非你用的HIVE
2,rece分为3个子阶段:shuffle、sort和rece,如果rece整个过程耗时较长,建议先看一下监控界面是卡在哪个阶段,如果是卡在shuffle阶段往往是网络阻塞问题,还有就是某rece数据量太大,也就是你所说的数据倾斜问题,这种问题往往因为某个key的value太多,解决方法是:第一,默认的partiiton可能不适合你的需求,你可以自定义partiiton;第二就是在map端截断,尽量让达到每个rece端的数据分布均匀。
(15)非大数据的项目能否用hadoop?
非大数据项目是否可以用Hadoop的关键问题在于是否有海量数据的存储,计算,以及分析挖掘等需求,如果现有系统已经很好满足当前需求那么就没有必要使用Hadoop,没有必要使用并不意味这不能使用Hadoop,很多传统系统能做的Hadoop也是可以做的,例如使用HDFS来代替LINUX NFS,使用MapRece来代替单服务器的统计分析相关任务,使用Hbase代替Mysql等关系数据库等,在数据量不大的情况下通常Hadoop集群肯定比传统系统消耗更多的资源。
(16)hadoop maprece 和第三方资源管理调度系统如何集成?
Hadoop的调度器设计的一个原则就是可插拔式调度器框架,因此是很容易和第三方调度器集成的,例如公平调度器FairScheler和容量调度器CapacityScheler,并配置mapred-site.xml的maprece.jobtracker.taskscheler以及调度器本身的配置参数,例如公平调度器控制参数则需要编辑fair- scheler.xml进行配置,具体可以参考我的新书《Hadoop核心技术》实战篇第十章节10.11的集群搭建实例中的10.10.9 配置第三方调度器,同时可以进一步深入学习第9章 Hadoop作业调度系统,在这一章中会详细介绍各种第三方调度器以及使用配置方法。

Ⅶ 100分,高手请进,回答对啦再给100分!

无法找到动态链接库SQLUNIRL.dll于指定的路径: E:\\PROGRA~1\\MICROS~3\\80\\Tools\\Binn;.;E:\\WINNT\\system32;E:\\WINNT\\system; E:\\WINNT\\System;E:\\WINNT\\System32;E:\\WINNT;E:\\WINNT\\System32\\Wbem; E:\\PROGRA~1\\MICROS~3\\80\\Tools\\BINN上。 点击确定后,出现如下提示: 标题:安装 内容:安装程序配置服务器失败,参考服务器错误日志和E:\\WINNT\\sqlstp.log了解更多信息。
解决方法:直接把安装目录含中文名字的改成E文就OK了。嘿嘿,简单吧!
越来越多的朋友在硬盘中安装了多个操作系统,要知道,这安装容易,卸载难啊。其实卸载也不可怕,本期小编就给大家献上一顿丰富的卸载大餐,赶快去享用吧。

卸载的共通点

1.释放要卸载的操作系统对引导扇区的控制权,并将控制权交由其他操作系统管理。
2.在多操作系统引导菜单中的选项中去除要卸载的操作系统选项。
3.删除系统,释放剩余空间。

卸载Windows多操作系统

卸载多系统中的Win2000/XP/2003

要将Win 2000/XP/2003从多系统中彻底删除,留下Win9X/Me系统,可以根据具体情况按以下方法操作。

1.如果多操作系统所在的安装分区都是FAT32分区,可以直接在Win9X/Me下删除Win2000/XP/2003的Windows或Winnt、Program Files和Documents and Settings目录,然后删除C盘中的如下文件:ntldr、ntdetect.com、boot.ini、ntbootdd.sys(如果你有SCSI设备的话)和bootfont.bin,最后用Windows 9X/Me启动光盘引导计算机,执行命令:“a:\sys c:”即可彻底卸载WinXP。

提示:另外,也可以用Win98启动盘启动电脑,运行“FORMAT”命令直接快速格式化Win2000/XP/2003所在的硬盘分区,如A:\>FORMAT D:/Q ,之后再运行“SYS C:”命令以使硬盘可引导。

2.如果Win2000/XP/2003采用的是NTFS分区,可以使用Win98启动盘启动电脑,运行“FDISK”命令,虽然FDISK也不能识别Win2000/XP/2003所在的NTFS分区,显示其为不明分区(unknown partition),但我们仍可以将该分区删除掉,然后重新分区即可。

卸载多系统中的Win9X/Me

1.如果你的Win9X/Me安装在除C盘外的其它分区,你可以直接格式化Win9X/Me所在的分区。

2.如果你的Win9X/Me安装在C盘,则不能格式化,只能进入Win2000/XP/2000系统,将C盘的Windows、Program Files目录及根目录下的所有Win98引导文件,包括io.sys、msdos.sys、command.com、autoexec.bat和config.sys等等全部删除。要注意的是,不要删除ntldr、ntdetect.com、boot.ini、ntbootdd.sys和bootfont.bin文件。

3.格式化或者删除Win9X/Me的文件后,要想取消双系统的启动菜单,我们还需要修改boot.ini文件,在“开始”菜单→“运行”中输入“attrib c:\boot.ini -r -s -h”并回车去掉boot.ini文件的系统、只读、隐藏属性,然后进入C盘,双击打开boot.ini文件,删除“multi(0)disk(0)rdisk(0)partition(2)\WINDOWS=” Windows 98〃 /fastdetect”或“multi(0)disk(0)rdisk(0)partition(2)\WINDOWS=”Microsoft Windows ME” /fastdetect”这一行并保存修改。接着“运行”中输入“attrib c:\boot.ini +r +s +h”并回车设置回系统、隐藏和只读属性即大功告成。

当然,如果是单系统的话,我们也可以用鼠标右键点击“我的电脑”→“属性”打开“系统属性”对话框,在“高级”标签页点击“启动和故障恢复设置”按钮,如图1所示,设置Win2000/XP/2003为默认的操作系统,取消“显示操作系统列表的时间”前面的“√”,即可取消启动菜单。

src="http://www.it.com.cn/f/e/0411/30/110585.jpg">

图 1

卸载WinXP/2000/2003中任意一个

卸载Win2000/XP/2003多系统中的任意一个的方法很简单。

1.如果该系统安装在非C盘,就可以直接格掉,然后修改Boot.ini文件即可,就是将“multi(0)disk(0)rdisk(0)partition(2)\WINDOWS=”你所删除的系统名称,比如你删除的是Windows 2000,那么这儿就是Windows 2000 Professional” /fastdetect”这一行删除即可。

2.该系统如果安装在C盘,就需要使用Win2000/XP/2003的安装光盘。使用安装光盘启动后,按Enter键“开始安装”,按F8键进入选择安装分区的界面,选中C盘,按D键删除C盘,然后按C键重建一个C盘。当然,你也可以使用大名鼎鼎的PQMagic、System Command的同门师兄Partition Command等来删除C盘并重建C盘,笔者推荐使用Win2000/XP/2003的安装光盘来删除C盘并重建C盘。

3.删除C盘后,要使用余下的系统相应的安装光盘启动进入“恢复控制台”进行修复(如果是多系统的,则使用最高版本的系统的安装光盘)。

以修复WinXP系统为例,按“R”键,进入“故障恢复控制台”界面,系统这时会搜寻已安装的WinXP系统文件,然后显示搜寻结果,并询问“要登录到哪个WinXP安装”,选择WinXP的安装目录并回车,系统会再询问“管理员密码”,再键入安装WinXP时设置的管理员密码,系统这时会搜寻已安装的WinXP系统文件,当出现WinXP系统文件的安装目录,比如D:\Windows时,需要输入修复命令Fixboot将新的分区引导扇区写到指定分区,后面的参数为启动扇区要写入的磁盘盘符,这里填入C:,回车。修复完成,键入Exit退出,重启后就成功修复。

Linux与Windows任选其一

卸载Linux

1.如果使用Linux的启动管理器Lilo进行多系统引导,那删除Linux的方法是:进入DOS模式,执行 fdisk /mbr,去除放置在主引导扇区中的Lilo代码,然后用分区工具将Linux所在的分区删除即可。

还要做的一件事情是察看一下WinNT所在的盘是否是Active的,如果不是,说明给Lilo修改了,必须用PQMagic等工具改回来,否则启动不了。

2.如果采用OsLoader之类的引导工具,首先启动的是Windows,那么删除Linux的方法就简单了,去除多操作系统引导工具里面的Linux选项,然后删除Linux所在分区即可。

3.卸掉多个Linux系统中的一个更简单,直接修改LiLo,去除要卸载的选项,用Linux的磁盘管理工具删除要卸载的Linux所在的分区并加以重新利用即可。

4.如果你安装了多个Windows,按照这种方式运行fdisk /mbr命令将覆盖Windows多重启动菜单,使得机器只能从默认的主操作系统启动。为了修复Windows的多重启动菜单,我们还需要使用Win2000/XP/2003的安装光盘启动进入“恢复控制台”,登录到最后安装的系统上,输入fixmbr向硬盘写入一个新的主引导记录,并按Enter。系统提示说已经有一个不合法的启动记录存在,不必理会,只需确认继续操作即可。重新启动,熟悉的Windows启动菜单就会回来了。

卸载Windows

1.如果多操作系统采用OsLoader引导,可以先进Linux系统,重新安装一次Lilo,并将Lilo安装到MBR中,重启并进入Linux后,删除Windows所在的目录或分区 。

2.如果使用Lilo进行引导,删除的Windows的方法是:进入Linux,修改Lilo的选项,去除Lilo中Windows的启动选项,然后重新将Lilo写进主引导扇区,最后可以随意处置Windows所在的分区了。

这里以在Fedora Core 2下删除WinXP为例进行介绍,我们用vi等文本编辑器打开/boot/grub/grub.conf。

# vi /boot/grub/grub.conf

然后将以下的语句段删除即可:

title Windows XP

3.如果删除WinXP后,只剩Linux,还可以修改启动菜单停留的时间,即将“timeout=10”语句修改为“timeout=0”。这样开机能够立即进入Linux,而不会出现启动菜单。如果删除后还是多系统,则不要修改这一行。

除此之外,我们也可以使用图形界面来修改启动属性。方法是依次单击主菜单→系统设置→引导装载程序菜单项,即可打开如图2所示的“引导配置”对话框,确保选中Fedora Core选项,并将超时时间设置为1秒即可。

src="http://www.it.com.cn/f/e/0411/30/110586.jpg">

图 2

No Comments »
Win200030 Nov 2004 12:00 am
Win 2000系统磁盘碎片整理

电脑使用久了,磁盘上保存了大量的文件,这些文件并非保存在一个连续的磁盘空间上,而是把一个文件分散的放在许多地方,这些零散的文件被称作“磁盘碎片”,这些碎片会降低整个Windows的性能。于是Windows中都提供一个整理磁盘碎片的程序。(见图一)

src="http://www.it.com.cn/f/e/0411/30/110578.jpg">

(图一)

打开“开始”菜单,移动鼠标到“程序”、“附件”、“系统工具”,单击“磁盘碎片整理程序”。(见图二)

src="http://www.it.com.cn/f/e/0411/30/110579.jpg">

(图二)

Windows 2000下的“磁盘碎片整理程序”和Windows 98已经大不一样了。一般我们先让程序对磁盘的使用情况进行分析,选定C盘,单击“分析”。(见图三)窗口下面的状态条上显示出当前的操作进度。很快就分析结束了,同时还会给出,是否需要整理的建议,现在程序建议整理碎片。

在后面的“分析”栏中还可以看到文件的分布情况,红色的部分就是零散的文件,白色的地方是空白区域。我们还可以看一下分析报告,单击“察看报告”。(见图四)

src="http://www.it.com.cn/f/e/0411/30/110580.jpg">

(图三)

src="http://www.it.com.cn/f/e/0411/30/110581.jpg">

(图四)

弹出报告,上面一栏显示C盘(卷)的基本信息和碎片的分布比例,下面最零散的文件列表。单击“碎片整理”,(见图五)程序开始整理,这个过程需要的时间比较长,主要和文件的数量分区大小有关。

src="http://www.it.com.cn/f/e/0411/30/110582.jpg">

(图五)

整理的过程中可以看到文件的分布变化和整个进度。整理结束后,会出现提示,点“关闭”结束。(见图六)

src="http://www.it.com.cn/f/e/0411/30/110583.jpg">

(图六)

src="http://www.it.com.cn/f/e/0411/30/110584.jpg">

(图七)

No Comments »
Win200030 Nov 2004 12:00 am
Win 2000日志及其删除方法

Windows 2000的日志文件通常有应用程序日志,安全日志、系统日志、DNS服务器日志、FTP日志、WWW日志等等,可能会根据服务器所开启的服务不同。当我们用流光探测时,比如说IPC探测,就会在安全日志里迅速地记下流光探测时所用的用户名、时间等等,用FTP探测后,也会立刻在FTP日志中记下IP、时间、探测所用的用户名和密码等等。甚至连流影启动时需要msvcp60.dll这个动库链接库,如果服务器没有这个文件都会在日志里记录下来,这就是为什么不要拿国内主机探测的原因了,他们记下你的IP后会很容易地找到你,只要他想找你!!还有Scheler日志这也是个重要的LOG,你应该知道经常使用的srv.exe就是通过这个服务来启动的,其记录着所有由Scheler服务启动的所有行为,如服务的启动和停止。

日志文件默认位置:

应用程序日志、安全日志、系统日志、DNS日志默认位置:%systemroot%\system32\config,默认文件大小512KB,管理员都会改变这个默认大小。

安全日志文件:%systemroot%\system32\config\SecEvent.EVT
系统日志文件:%systemroot%\system32\config\SysEvent.EVT
应用程序日志文件:%systemroot%\system32\config\AppEvent.EVT
Internet信息服务FTP日志默认位置:%systemroot%\system32\logfiles\msftpsvc1\,默认每天一个日志
Internet信息服务WWW日志默认位置:%systemroot%\system32\logfiles\w3svc1\,默认每天一个日志
Scheler服务日志默认位置:%systemroot%\schedlgu.txt

以上日志在注册表里的键:

应用程序日志,安全日志,系统日志,DNS服务器日志,它们这些LOG文件在注册表中的:
HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Eventlog

有的管理员很可能将这些日志重定位。其中EVENTLOG下面有很多的子表,里面可查到以上日志的定位目录。

Schedluler服务日志在注册表中
HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\SchelingAgent

FTP和WWW日志详解:

FTP日志和WWW日志默认情况,每天生成一个日志文件,包含了该日的一切记录,文件名通常为ex(年份)(月份)(日期),例如ex001023,就是2000年10月23日产生的日志,用记事本就可直接打开,如下例:

#Software: Microsoft Internet Information Services 5.0 (微软IIS5.0)
#Version: 1.0 (版本1.0)
#Date: 20001023 0315 (服务启动时间日期)
#Fields: time cip csmethod csuristem scstatus
0315 127.0.0.1 [1]USER administator 331 (IP地址为127.0.0.1用户名为administator试图登录)
0318 127.0.0.1 [1]PASS ? 530 (登录失败)
032:04 127.0.0.1 [1]USER nt 331 (IP地址为127.0.0.1用户名为nt的用户试图登录)
032:06 127.0.0.1 [1]PASS ? 530 (登录失败)
032:09 127.0.0.1 [1]USER cyz 331 (IP地址为127.0.0.1用户名为cyz的用户试图登录)
0322 127.0.0.1 [1]PASS ? 530 (登录失败)
0322 127.0.0.1 [1]USER administrator 331 (IP地址为127.0.0.1用户名为administrator试图登录)
0324 127.0.0.1 [1]PASS ? 230 (登录成功)
0321 127.0.0.1 [1]MKD nt 550 (新建目录失败)
0325 127.0.0.1 [1]QUIT ? 550 (退出FTP程序)

从日志里就能看出IP地址为127.0.0.1的用户一直试图登录系统,换了四次用户名和密码才成功,管理员立即就可以得知管理员的入侵时间、IP地址以及探测的用户名,如上例入侵者最终是用administrator用户名进入的,那么就要考虑更换此用户名的密码,或者重命名administrator用户。

WWW日志

WWW服务同FTP服务一样,产生的日志也是在%systemroot%\System32\LogFiles\W3SVC1目录下,默认是每天一个日志文件,下面是一个典型的WWW日志文件

#Software: Microsoft Internet Information Services 5.0
#Version: 1.0
#Date: 20001023 03:091
#Fields: date time cip csusername sip sport csmethod csuristem csuriquery scstatus cs(UserAgent)
20001023 03:091 192.168.1.26 192.168.1.37 80 GET /iisstart.asp 200 Mozilla/4.0+(compatible;+MSIE+5.0;+Windows+98;+DigExt)
20001023 03:094 192.168.1.26 192.168.1.37 80 GET /pagerror.gif 200 Mozilla/4.0+(compatible;+MSIE+5.0;+Windows+98;+DigExt)

通过分析第六行,可以看出2000年10月23日,IP地址为192.168.1.26的用户通过访问IP地址为192.168.1.37机器的80端口,查看了一个页面iisstart.asp,这位用户的浏览器为compatible;+MSIE+5.0;+Windows+98+DigExt,有经验的管理员就可通过安全日志、FTP日志和WWW日志来确定入侵者的IP地址以及入侵时间。

既使你删掉FTP和WWW日志,但是还是会在系统日志和安全日志里记录下来,但是较好的是只显示了你的机器名,并没有你的IP,例如上面几个探测之后,系统日志将会产生下面的记录:一眼就能看出2000年10月23日,16点17分,系统因为某些事件出现警告,双击头一个,打开它的属性:

属性里记录了出现警告的原因,是因为有人试图用administator用户名登录,出现一个错误,来源是FTP服务。同时安全记录里写将同时记下,我们可以看到两种图标:钥匙(表示成功)和锁(表示当用户在做什么时被系统停止)。接连四个锁图标,表示四次失败审核,事件类型是帐户登录和登录、注销失败,日期为2000年10月18日,时间为1002,这就需要重点观察。

双点第一个失败审核事件的,即得到此事件的详细描述,我们可以得知有个CYZ的工作站,用administator用户名登录本机,但是因为用户名未知或密码错误(实际为密码错误)未能成功。

另外还有DNS服务器日志,不太重要,就此略过(其实是我没有看过它)

知道了Windows2000日志的详细情况,下面就要学会怎样删除这些日志:

通过上面,得知日志文件通常有某项服务在后台保护,除了系统日志、安全日志、应用程序日志等等,它们的服务是Windos2000的关键进程,而且与注册表文件在一块,当Windows2000启动后,启动服务来保护这些文件,所以很难删除,而FTP日志和WWW日志以及Scedlgu日志都是可以轻易地删除的。

首先要取得Admnistrator密码或Administrators组成员之一,然后Telnet到远程主机,先来试着删除FTP日志:

D:\SERVER>del schedlgu.txt
D:\SERVER\SchedLgU.Txt

进程无法访问文件,因为另一个程序正在使用此文件。

说过了,后台有服务保护,先把服务停掉!

D:\SERVER>net stop “task scheler”

下面的服务依赖于 Task Scheler 服务。

停止 Task Scheler 服务也会停止这些服务。

Remote Storage Engine

是否继续此操作? (Y/N) [N]: y

Remote Storage Engine 服务正在停止….
Remote Storage Engine 服务已成功停止。

Task Scheler 服务正在停止.
Task Scheler 服务已成功停止。
OK,它的服务停掉了,同时也停掉了与它有依赖关系的服务。再来试着删一下!
D:\SERVER>del schedlgu.txt
D:\SERVER>
没有反应?成功了!下一个是FTP日志和WWW日志,原理都是一样,先停掉相关服务,然后再删日志!
D:\SERVER\system32\LogFiles\MSFTPSVC1>del ex*.log

D:\SERVER\system32\LogFiles\MSFTPSVC1>
以上操作成功删除FTP日志!再来WWW日志!
D:\SERVER\system32\LogFiles\W3SVC1>del ex*.log

D:\SERVER\system32\LogFiles\W3SVC1>
OK!恭喜,现在简单的日志都已成功删除。下面就是很难的安全日志和系统日志了,守护这些日志的服务是Event Log,试着停掉它!
D:\SERVER\system32\LogFiles\W3SVC1>net stop eventlog
这项服务无法接受请求的 “暂停” 或 “停止” 操作。
没办法,它是关键服务。如果不用第三方工具,在命令行上根本没有删除安全日志和系统日志的可能!所以还是得用虽然简单但是速度慢得死机的办法:打开“控制面板”的“管理工具”中的“事件查看器”(98没有,知道用Win2k的好处了吧),在菜单的“操作”项有一个名为“连接到另一台计算机”的菜单,输入远程计算机的IP,然后点支烟,等上数十分钟,忍受象死机的折磨,选择远程计算机的安全性日志,右键选择它的属性:

点击属性里的“清除日志”按钮,OK!安全日志清除完毕!同样的忍受痛苦去清除系统日志!

前在不借助第三工具的情况下,能很快,很顺利地清除FTP、WWW还有Schedlgu日志,就是系统日志和安全日志属于Windows2000的严密守护,只能用本地的事件查看器来打开它,因为在图形界面下,加之网速又慢,如果你银子多,时间闲,还是可以清除它的。综上所述,介绍了Windows2000的日志文件以及删除方法,但是你必须是Administrator,注意必须作为管理员或管理组的成员登录才能打开安全日志记录。该过程适用于 Windows 2000 Professional 计算机,也适用于作为独立服务器或成员服务器运行的Windows 2000 Server 计算机。

至此,Windows2000安全知识基础讲座完毕,还有几句话要讲,大家也看出来了,虽然FTP等等日志可以很快清除,但是系统日志和安全日志却不是那么快、那么顺利地能删除,如果遇到聪明的管理员,将日志文件转移到另一个地方,那更是难上加难,所以奉劝大家,千万不要拿国内的主机做试验。

No Comments »

Ⅷ 目前服务器的操作系统有哪些

windows server 2003
winodws 2000 server
windows NT 4.x
……
UNIX
Linux
……

阅读全文

与linuxtaskscheduler相关的资料

热点内容
海龙套升级 浏览:520
上海买房到哪个网站买比较靠谱 浏览:314
电脑如何替换文件内容 浏览:415
大数据沉淀 浏览:547
苹果6怎么找到运营商 浏览:747
iphone5连拍怎么弄 浏览:323
上海乐客网络技术有限公司 浏览:439
计算机二级数据库vfp 浏览:399
为什么有护照大数据还要排查 浏览:241
为啥qq群文件下载不了 浏览:1
note3开机密码设置 浏览:64
excel表文件怎么按照日期排序 浏览:745
源网站招聘 浏览:729
java大数据技术有哪些 浏览:718
可信编程是什么 浏览:824
大数据产生三个主要推手 浏览:385
js数字正则表达式 浏览:865
物流做数据的是什么岗位 浏览:80
jsp传到mysql乱码 浏览:584
有什么免费的钢琴陪练app 浏览:720

友情链接