userdbd: add new service that can merge userdb queries from multiple clients

shared: add helpers for displaying new-style user/group records to users

shared: add internal API for querying JSON user records via varlink

This new API can be used in place of NSS by our own internal code if
more than the classic UNIX records are needed.

shared: add helpers for converting NSS passwd/group structures to new JSON objects

These new calls may be used to convert classic UNIX/glibc NSS struct
passwd and struct group records into new-style JSON-based user/group
objects.

shared: add generic user/group record structures and JSON parsers

libcrypt-util: add superficial validator for UNIX hashed password strings

shared: split out crypt() specific helpers into its own .c/.h in src/shared/

This way we can use libxcrypt specific functionality such as
crypt_gensalt() and thus take benefit of the newer algorithms libxcrypt
implements. (Also adds support for a new env var $SYSTEMD_CRYPT_PREFIX
which may be used to select the hash algorithm to use for libxcrypt.)

Also, let's move the weird crypt.h inclusion into libcrypt.h so that
there's a single place for it.

nss-util: add macros for generating getpwent()/getgrent() prototypes

We have similar macros already for getpwuid()/getpwnam(), let's add more
of this.

Merge pull request #14579 from keszybz/docs-index

Revert the test move and fix formatting on main page a bit

Merge pull request #14562 from yuwata/table-strv

introduce TABLE_STRV and use it in networkctl and resolvectl

docs: fix width of console example

Revert "docs: rename HACKING → Hacking"

This reverts commit 8c5cd27dd155fbe71a6bf82096b8775c5ff453b8.

Merge pull request #14578 from keszybz/docs-index

Let's see if redirects work

docs: rename HACKING → Hacking

Let's see if this works at all.

docs: shift console log on index page to the left

Merge pull request #14424 from poettering/watch-bus-name-rework

pid1: simplify drastically how we watch bus names for service's BusName= setting

Merge pull request #14573 from keszybz/docs-index

Docs index

docs: add the systemd output example

It is still nice...

docs: update old para with links to the blog stories

They are of historical interest, but without links not very useful.

docs: remove markup from title

Github uses a different background for backticked text, and this stands out
(in a bad way) on the title page.

man: add commas and reword a sentence

On more careful reading, "exit status ... do not cause the unit to enter a
failure state" is not gramatically or logically correct.

Merge pull request #14547 from keszybz/networkctl-matching

networkctl: return error or warning when interfaces are not matched

test-format-table: add tests for TABLE_STRV

resolvectl: use format-table.[ch]

networkctl: use TABLE_STRV

format-table: introduce TABLE_STRV

strv: introduce strv_compare()

Merge pull request #14571 from poettering/assorted-fixlets

two minor fixes for recent merges

docs: rework HTML into GitHub Markdown table

Presumably this should render better on https://systemd.io/DISCOVERABLE_PARTITIONS then.

As pointed out on: https://github.com/systemd/systemd/pull/14390#issuecomment-574205631

cgroup: minor comment improvement

As pointed out here:

https://github.com/systemd/systemd/pull/14564#discussion_r366305882

Merge pull request #14570 from keszybz/resource-docs

Modernize links to cgroups docs

logind: refuse overriding idle hint on tty sessions

Previously we'd allow marking TTY sessions as idle, but when the user
tried to unmark it as idle again it we'd just revert to automatic TTY
atime idle detection, thus making it impossible to mark the session as
non-idle, unless its TTY is atime-touched all the time. But of course,
marking a session as idle is pretty much fatal if you never can mark it
as non-idle again.

This change is triggred by bug reports such as this:

https://github.com/systemd/systemd/issues/14053

With this patch we will now output a clean, clear error message if a
client tries to manipulate the idle state of a non-graphical session.
This means we now have clear rules: "manual" idle logic for graphical
sessions, and TTY based ones for all others that have a TTY of some
form.

I considered allowing the idle state to be overriden both ways for tty
sessions but that's problematic: for sessions that are temporarily
upgraded from tty to graphical and thus suddenly want to manage their
own idle state we'd need to a way to detect when the upgrade goes away
and thus we should revert to old behaviour. Without reverting to the
previous TTY idle auto-magic we'd otherwise be stuck in an eternally
idle or eternally non-idle state, with really bad effects in case
auto-suspend is used. Thus, let's instead generate a proper error
message, saying clearly we don't support it.

(Also includes some other fixes and clean-ups in related code)

Closes: #14053

Merge pull request #14564 from poettering/cgroup-realize-fix

pid1: cgroup realization fix

Merge pull request #14390 from poettering/gpt-var-tmp

introduce GPT partition types for /var and /var/tmp and support them for auto-discovery

systemctl: use format-table.[ch] for tables

Merge pull request #14505 from poettering/refuse-on-failure

refuse OnFailure= deps on units that have no failure state

Merge pull request #14563 from poettering/less-the-markdown

trivial markdown fixlets

basic/strv: drop flags argument from strv_fnmatch()

networkctl: return error or warning when interfaces are not matched

We'd just print nothing and exit with 0. If the user gave an explicit
name, we should fail. If a pattern didn't match, we should at least warn.

$ networkctl status enx54ee75cb1dc0a* --no-pager && echo $?
No interfaces matched.
0

$ networkctl status enx54ee75cb1dc0a --no-pager
Interface "enx54ee75cb1dc0a" not found.
1

mount: mark an existing "mounting" unit from /proc/self/mountinfo as "just_mounted"

When starting a mount unit, systemd invokes mount command and moves the
unit's internal state to "mounting".  Then it watches for updates of
/proc/self/mountinfo.  When the expected mount entry newly appears in
mountinfo, the unit internal state is changed to "mounting-done".
Finally, when systemd finds the mount command has finished, it checks
whether the unit internal state is "mounting-done" and changes the state
to "mounted".
If the state was not "mounting-done" in the last step though mount command
was successfully finished, the unit is marked as "failed" with following
log messages:
  Mount process finished, but there is no mount.
  Failed with result 'protocol'.

If daemon-reload is done in parallel with starting mount unit, it is
possible that things happen in following order and result in above failure.
  1. the mount unit state changes to "mounting"
  2. daemon-reload saves the unit state
  3. kernel completes the mount and /proc/self/mountinfo is updated
  4. daemon-reload restores the saved unit state, that is "mounting"
  5. systemd notices the mount command has finished but the unit state
     is still "mounting" though it should be "mounting-done"

mount_setup_existing_unit() should take into account that MOUNT_MOUNTING
is transitional state and set MOUNT_PROC_JUST_MOUNTED flag if the unit
comes from /proc/self/mountinfo so that mount_process_proc_self_mountinfo()
later can make state transition from "mounting" to "mounting-done".

Fixes: #10872

cgroup: drop redundant if check

cgroup: update only siblings that got realized once

Fixes: #14475
Replaces: #14554

cgroup: drop unnecessary {}

cgroup: no need to cast dev_t to dev_t

cgroup: use log_warning_errno() where possible

docs: uppercase all markdown document titles

For most we used uppercasing, but not for all. Let's stick to one rule,
and uppercase them all.

docs: drop "The" in categorization titles of Markdown documentation

I think it makes sense to keep the "The" in place for the actual page's
title, but let's drop it from the categorization header, to make it
easier to find stuff, as the "The" isn't helpful to that.

In particular as we sometimes do it this and sometimes the other way so
far, hence let's stick to one common rule.

Merge pull request #14561 from keszybz/docs-deellipsisize

Doc formatting fixes and link update

Merge pull request #14555 from poettering/table-multine

format-table: proper multi-line support

docs: update link and more dots

Apparently unicode ellipsis is too much for github.

docs: say that journalctl --flush/--sync also require journald

https://github.com/systemd/systemd/pull/14549#pullrequestreview-341758182

Merge pull request #14557 from poettering/root-storage-daemons-markdown

docs: convert root storage daemon doc to markdown

docs: import initrd interface documentation from fdo wiki

Imported from https://www.freedesktop.org/wiki/Software/systemd/InitrdInterface/

docs: various small fixes to PORTABILITY_AND_STABILITY markdown

Nothing particularly world moving.

Follow-up for #14549

killall: update reference to root storage daemon interface docs

docs: convert root storage daemon doc to markdown

Import from:

https://www.freedesktop.org/wiki/Software/systemd/RootStorageDaemons/

Merge pull request #14400 from keszybz/alias-check

Alias check rework

Merge pull request #14381 from keszybz/ifindex-cleanup

Resolve alternative names

Merge pull request #11199 from dargad/restore-pam-setcred

Restore call to pam_setcred

Merge pull request #14293 from keur/systemctl_with_dependencies

systemctl: Add --with-dependencies switch

hwdb: Entry for Lenovo Ideapad 310S-14ISK Alps Touchpad

Add the resolution and range information for Lenovo Ideapad 310S-14ISK Alps touchpad. It provides information for the test case of libinput for Alps devices.

journalctl: Correctly handle combination of --reverse and --lines (fixes #1596)

journalctl: Correctly handle --show-cursor in combination with --until or --since and --reverse

Merge pull request #14532 from poettering/namespace-dynamic-user-fix

Make DynamicUser=1 work in a userns container

man: suffix parameter with = in our documentation, if it expects an argument

Also, don't claim we'd insert a "," between addresses, because we
actually don't do that.

machinectl: modernize address table handling

Primarily, use the new multi-line support in table formatting.

Also, stream-line naming of the "max-addresses" options. We used three
names for the concept internall, let's just unify on the name we use for
this for external users, i.e. "max-addresses".

format-table: natively support multiline cells

This adds native support for multiline cells.

string-util: add helper for extracting n'th line of a string

string-util: let's add helper for truncating string after a specified number of lines

Merge pull request #14553 from poettering/man-mkdir

man: small man page fixes

Merge pull request #14549 from keszybz/portability-and-stability

Portability and stability

man: we support bind mounting regular files too

Let's be precise here: we accept non-directories here too, even though
we create things as directories if we find the Where= not to exist.

man: document that we mkdir() on What= in .mount units too

As suggested here:

https://lists.freedesktop.org/archives/systemd-devel/2020-January/043914.html

test: Add tests for gid list ops

execute: Detect groups added by PAM and merge them with supplementary groups

execute: Restore call to pam_setcred

user-util: Add helper functions for gid lists operations

docs: say that various cli progs are independent of pid1

docs: say that dbus api is stable (but list various caveats)

I removed the part about sysv compat, because that has already been removed and
we don't make any use of conditional dbus interfaces afaict.

docs: say that all documented programs in $PATH are stable

docs: import "interface stability promise"

In the wiki, this was a separate page. I don't think this split is useful,
since the information about what is stable and what not seems randomly split
between the two pages.

Links are adjusted for our own pages. Some external links to gentoo and other
projects seem to be broken, but it's a chore to fix them.

networkctl: break long line

machinectl: reduce scope of iterator variables

resolvectl: minor optimizations to allocate less

Resolve alternative ifnames wherever we would resolve an interface name

To keep the names manageable, "ifname_or_ifindex" is replaced by "interface".

util-lib: add function to resolve "alternative" names

Calls to if_nametoindex() are expected to use resolve_ifname() instead.

man: XxxRate= are in bps

docs/stability: relax the stance on accepting patches a bit

Instead of saying that patches for portability are not accepted, say that this
is decided case-by-case. This is what happens in practice, and we tend to
discuss each patch on its own merits.

Some sentences are reworded a bit where they sound awkward.

docs: import stability chart from wiki

util-lib: move things that parse ifnames to shared/

In subsequent commits, calls to if_nametoindex() will be replaced by a wrapper
that falls back to alternative name resolution over netlink. netlink support
requires libsystemd (for sd-netlink), and we don't want to add any functions
that require netlink in basic/. So stuff that calls if_nametoindex() for user
supplied interface names, and everything that depends on that, needs to be
moved.

basic/socket-util: indent for clarity

sd-netlink: do not require rtnl pointer to be passed

networkctl: define a helper for interface name resolution

timedatectl: drop ifindex output parameter too

tree-wide: make parse_ifindex simply return the index

We don't need a seperate output parameter that is of type int.  glibc() says
that the type is "unsigned", but the kernel thinks it's "int".  And the
"alternative names" interface also uses ints. So let's standarize on ints,
since it's clearly not realisitic to have interface numbers in the upper half
of unsigned int range.

nspawn: Correct "container" to "host" MAC setting message

Merge pull request #14533 from poettering/swap-prio-fixes

Fix Priority= parsing in .swap units

Merge pull request #14508 from poettering/namespace-ro-fix

core: be nicer to read-only images

Merge pull request #14538 from yuwata/xyzctl-full

use table_set_width(table, 0) if --full is specified

man: document alias rules and aliases dropin loading