选自alexpetralia
机器之心编译
Linux因其稳定性获得了不少开发者的青睐,同时也成为大多数服务器的操作系统,对于机器学习开发者来说,使用Mac/Linux系统几乎是必须的。然而由于上手难度较大,很多人对其望而却步。本文将介绍一些Linux常用指令以帮助你快速上手。
随着软件系统的不断发展,今天,不同的操作系统对应着不同的适用人群:Windows面向办公室和商用,Mac面向创意人群,而Linux面向软件开发者。对于操作系统提供商而言,这种市场分割大幅度简化了产品技术需求、用户体验和产品方向上的投入。然而,这也加剧了兼容性问题,让不同业务进入了狭窄、互不相容的领域:商务人士无法对创意提供洞察力,而开发者也无法深入到商务决策中去。
在现实中,知识和技能是流动的,跨越多个学科和领域。与其说「你只能擅长一件事」的理念是迈向精通的路线图,还不如说一种过早优化的方法。一旦从社会中采样大量的任务,你就只能知道你擅长什么,也许你还发现自己擅长它们中的很多。
对于现代的业务分析师,弥补业务与软件之间的鸿沟尤其重要。业务分析必须是「双重平台」,能够利用仅在Linux(或OSX)上可用的命令行工具,但是仍然受益于Windows的MicrosoftOffice。可以理解的是,Linux会使具有商学学位的人感到恐惧。幸运的是,正如大多数事情一样,你只需20%的任务即可完成80%的工作。下面是我的20%。
业务分析是基于数据的,而机器学习正是强大的数据分析工具。我们利用机器学习模型分析数据最好的环境却恰恰是Linux系统,这不仅是因为它支持广泛的Python机器学习库,同时在于环境配置与管理的简单明了。因此,本文将为机器学习读者梳理Linux系统的基本特性与命令。
为什么机器学习分析师需要了解Linux
由于其开源的底层,Linux从不断从数以万计的开发者贡献中受益。他们构建的程序和工具不仅使其工作更简单,也简化了跟随他们的编程人员的工作。结果,开源开发带来了一种网络效应:在平台上构建工具的开发者越多,能够利用这些工具立刻编写其程序的其他开发者就越多。
结果就是Linux中编写的Linux程序和实用工具(统称为软件)的扩展套件——其中很多从未用于Windows。一个示例是被称作git的流行的版本控制系统(VCS)。开发者本可以编写这一在Windows工作的软件,但是却没有。他们让其在Linux命令行上工作,因为生态系统已经提供全部所需的工具。
具体来说,Windows上的开发有两个主要问题:
1.基本任务,比如文件解析、工作调度和文本搜索比运行命令行工具更为重要。
2.编程语言(比如Python、C )及其相关代码库会引发错误,因为它们期望特定的Linux参数或文件系统定位。
这意味着若想在Windows上进行开发,我们需要花费更多的时间来重写Linux中已有的基本工具,并排除操作系统兼容性错误。这并不令人意外——Windows生态系统当初并没有考虑软件开发设计的需求。
借助这个Linux开发案例,让我们从最基本的开始。
Linux的基本单元:「shell」
学习几个重要的概念
和成熟的编程语言相比,bash只需要学习几个主要的概念。这一步完成之后,之后bash的学习就只剩下记忆了。更清楚地说就是:要学好bash,只需要记住20—30个命令(command)以及其中最常用的参数(argument)就可以了。
对于非开发者而言,Linux很令人费解,因为开发者似乎能随意且不费力地使用深奥的终端命令。其实是因为他们只记住了少量的命令—对于更复杂的问题,他们(和所有普通人一样)也需要谷歌一下。
以下就是bash中的主要概念。
命令语法
bash中的命令是区分大小写的,且遵循{命令}{参数}的语法结构。
例如,在『grep-inr』中,grep是命令(搜索文本的一个字符串),-inr是标记(flag)或参数(随grep默认运行而变化)。理解这个命令的唯一方法是使用谷歌搜索,或输入『mangrep』命令。我推荐同时学习命令和其中最常用的参数,否则单独学习每一个标记的作用是很费力的。
当前目录:.
上一级目录的上一级目录:..
用户的主目录:~
文件的系统根目录:/
例如,为了从当前目录换到上一级目录,需要输入:「cd..」。类似地,为了复制位于「/path/to/file.txt」文件到上一级目录中,需要输入「cp/path/to/file.txt.」(请注意命令末尾的点)。这些例子中使用的都是相对路径,可以使用绝对路径替换。
标准输入(STDIN)/标准输出(STDOUT)
任何输入和提交(通过键入ENTER)到窗口的命令都被称为标准输入(standardinput,STDIN)。
任何程序打印(print)到终端的东西(例如,一份文件中的文本)都被称为标准输出(standardoutput,STDOUT)。
管道(PIPING)
1|
一种管道,其左方是一个命令的STNOUT,将作为管道右方的另一个命令的STDIN。
例如:echo ‘test text’ | wc -l
2>
大于号,作用是取一个命令STDOUT位于左方,并将其写入/覆写(overwrite)入右方的一个新文件。
例如:ls>tmp.txt
3>>
两个大于号,作用是取一个命令STDOUT位于左方,并将其追加到右方的一个新的或现有文件中。
例如:date>>tmp.txt
通配符(WILDCARDS)
这类似于SQL中的%符号,例如,使用「WHEREfirst_nameLIKE『John%』」搜索所有以John起始的名字。
在bash中,相应的命令是「John*」。如果想列出一个文件夹中所有以「.json」结尾的文件,可以输入:「ls*.json」。
TAB键自动完成
如果我们输入一个命令并按下TAB键,那么Bash将自动完成该命令。但是,我们也应该使用一些如zsh或fish工具来自动完成,因为我们很难记住各种命令及它们的参数。更准确地说,这些工具会基于我们的命令行历史自动完成命令语句。
退出
有时候我们会卡在一些程序中并不知道如何退出它们。这在Linux新手中是很常见的问题,这也会大大损害新手的积极性。一般来说,退出命令会和字母「q」有一些关系,所以记住以下的退出命令或快捷键就十分有用了。
Bash
CTRL c
q
exit
Python
quit()
CTRL d
Nano:CTRL x
Vim:<Esc>:q!
常用Bash命令
以下是在Linux中最常用到的指令,在使用新系统进行开发时,记住这些指令对于快速上手非常重要。
cd{directory}:转换当前目录
ls-lha:列出目录文件(详细信息)
touch{file}:创建一个新的空文件
cp-R{original_name}{new_name}:复制一个文件或目录(包含内部所有文件)
mv{original_name}{new_name}:移动或重命名文件
rm{file}:删除文件
rm-rf{file/folder}:永久删除文件或文件夹(小心使用)
pwb:打印当前工作目录
catorlessortailorhead-n10{file}:文件的标准输出内容
mkdir{directory}:创建一个空的目录
grep-inr{string}:在当前目录或子目录的文件中搜索一个字符串
column-s,-t<delimited_file>:在columnar格式中展示逗号分隔文件
ssh{username}@{hostname}:连接到远程机器中
tree-LhaC3:向下展示三级目录结构(带有文件大小信息和隐藏目录信息)
htop(ortop):任务管理器
pipinstall–user{pip_package}:Python安装包管理器,安装包到~/.local/bin目录下
pushd.;popd;dirs;cd-:在堆栈上push/pop/view一个目录,并变回最后一个目录
sed-i”s/{find}/{replace}/g”{file}:替代文件中的一个字符串
find.-typef-name’*.txt’-execsed-i”s/{find}/{replace}/g”{}\;:替换当前目录和子目录下后缀名为.txt文件的一个字符串
tmuxnew-ssession,tmuxattach-tsession:创建另一个终端会话界面而不创建新的窗口[高级命令]
wget{link}:下载一个网页或网页资源
curl-XPOST-d”{key:value}”http://www.google.com:发送一个HTTP请求到网站服务器
find<directory>:递归地列出所有目录和其子目录的内容
高级 & 不常用的指令
保留一个有用命令列表以备不需也是非常必要的,即使这些情况不常发生(如某个进程阻塞了几个网络端口)。以下我们将列出几个不常用命令:
lsof-i:8080:列出打开文件的描述符(-i是网络接口的标记)
netstat|head-n20:列出当前打开的Internet/UNIX接口(socket)以及相关信息
dstat-a:输出当前硬盘、网络、CPU活动等信息
strace-f-e<syscall><cmd>:跟踪程序的系统调用(-e标记用于过滤某些系统调用)
psaux|head-n20:输出目前活动的进程
file<file>:检查文件类型(例如可执行文件、二进制文件、ASCII文本文件)
uname-a:内核信息
lsb_release-a:系统信息
hostname:检视你的机器的主机名(即其他电脑可以搜索到的名称)
pstree:可视化分支进程
time<cmd>:执行一个命令并报告用时
CTRL z;bg;jobs;fg:从当前tty中传递一个进程到后台再返回前台
catfile.txt|xargs-n1|sort|uniq-c:统计文件中的独特字(uniquewords)数量
wc-l<file>:计算文件的行数
du-ha:在磁盘上显示目录及其内容的大小
zcat<file.gz>:显示压缩文本文件的内容
scp<user@remote_host><local_path>:将文件从远端复制到本地服务器,或反过来
man{command}:为一个命令显示manual(说明文档),但是通常这样不如谷歌搜索好用
??————————————————
加入机器之心(全职记者/实习生):hr@jiqizhixin.com
投稿或寻求报道:content@jiqizhixin.com
广告&商务合作:bd@jiqizhixin.com