test-network: do not fail if lo has a .network file

Fixes #9895.

sysctl: set ipv4 settings in a race-free way

Fixes #6282.

This solution is a bit busy, but we close the race without setting *.all.*, so
it is still possible to set a different setting for particular interfaces.
Setting just "default" is not very useful because any interfaces present before
systemd-sysctl is invoked are not affected. Setting "all" is too harsh, because
the kernel takes the stronger of the device-specific setting and the "all" value,
so effectively having a weaker setting for specific interfaces is not possible.

sysctl: add glob syntax to sysctl.d files

This is intended for net.*.conf.*.foo files. Setting just "default" is not very
useful because any interfaces present before systemd-sysctl is invoked are not
affected. Setting "all" is too harsh, because the kernel takes the stronger of
the device-specific setting and the "all" value, so effectively having a weaker
setting for specific interfaces is not possible. Let's add a way in which can
set "default" first and then all the others without "all".

man: add syntax quickhelp to sysctl.d(5)

Revert "sysctl: always write net.ipv4.conf.all.xyz= in addition to net.ipv4.conf.default.xyz="

This reverts commits 1836bf9e1d70240c8079e4db4312309f4f1f91fd
and 9fefb9e3cdebcefa681672423d23ccc72ae6c165.

The race is reintroduced, and will be fixed later.

man: document logging downgrade in systemctl

Fixup for 32458cc968.

shared/sysctl-util: normalize repeated slashes or dots to a single value

We use those strings as hash keys. While writing "a...b" looks strange,
"a///b" does not look so strange. Both syntaxes would actually result in the
value being correctly written to the file, but they would confuse our
de-deplication over keys. So let's normalize. Output also becomes nicer.

Add test.

shared/sysctl-util: add missing header

one_zero() is used later in the header...

sysctl: downgrade message when we have no permission

We need to run sysctl also in containers, because the network
subtree is namespaces and may legitimately be writable. But logging
all "errors" at notice level creates unwanted noise.

Also downgrade message about missing sysctls to log_info. This might also be
relatively common when configuration is targeted at different kernel
versions. With log_debug it'll still end up in the logs, but isn't really worth
of "notice" most of the time.

https://bugzilla.redhat.com/show_bug.cgi?id=1609806

sysctl: move hashmap allocation out of main function

This allocation is a low level detail, and it seems nicer to keep it
out of run().

man: rework section about configuration file precedence

This section is loaded in a bunch of places, so this affects many
man pages.

1. point the reader to the synopsis section, which has the exact paths
that are used to load files.
2. put the "reference" part first, and recommendations later, in separate
paragraphs.
3. describe how individual settings and whole files are replaces.

Closes #12791.

Merge pull request #14581 from poettering/setcred-alternative-fix

alternative pam_setcred() fix

core: on each iteration processing /proc/self/mountinfo merge all discovery flags for each path

This extends on d253a45e1c147f5174265d71d7419da7bd52a88b, and instead of
merging just a single flag from previous mount entries of
/proc/self/mountinfo for the same path we merge all three.

This shouldn't change behaviour, but I think make things more readable.

Previously we'd set MOUNT_PROC_IS_MOUNTED unconditionally, we still do.

Previously we'd inherit MOUNT_PROC_JUST_MOUNTED from a previous entry on
the same line, we still do.

MOUNT_PROC_JUST_CHANGED should generally stay set too. Why that? If we
have two mount entries on the same mount point we'd first process one
and then the other, and the almost certainly different mount parameters
of the two would mean we'd set MOUNT_PROC_JUST_CHANGED for the second.
And with this we'll definitely do that still.

This also adds a comment explaining the situation a bit, and why we get
into this situation.

Merge pull request #14375 from poettering/userdb

New varlink API for user and group management

execute: allow pam_setcred() to fail, ignore errors

Fixes: #14567
Alternative-To: #14569

execute: add const to array parameters, where possible

docs: add documentation for the varlink user/group APIs

docs: add documentation for JSON group records, too

docs: add documentation for JSON user records

man: document the new nss-systemd behaviour

(This also changes the suggested /etc/nsswitch.conf line to use for
hooking up nss-system to use glibc's [SUCCESS=merge] feature so that we
can properly merge group membership lists).

man: document systemd-userdbd.service

man: document userdbctl(1)

man: document new pam_systemd features in man page

This also updates the suggested PAM snippet in a number of way:

1. Be closer to the logic nowadays implemented in Fedora where the
   auth/account/password stacks are all finished off with
   pam_{deny|permit}.so

2. Make pam_unix.so just "sufficient" instead of "required" (paving
   ground for pam_systemd_home.so being hooked in as additional
   sufficient module.

3. Only do pam_nologin in the "account" stack, since it's about account
   validity really.

4. Use modern parameters to pam_unix when changing passwords, i.e.
   sha512 and shadow, and use already set up passwords (preparing ground
   for pam_systemd_home again)

pam-systemd: apply user record properties to session

This way any component providing us with JSON user record data can use
this for automatic resource management and other session properties.

pam-systemd: normalize return values of append_session_xyz()

Let's propagate the PAM errors we got.

pam-systemd: port over to use a UserRecord structure

Later on this allows us to set various session properties from user
record.

pam-systemd: share bus connection with pam_systemd_home if we can

Let's use the pam-util.h provided helpers to acquire them.

pam-systemd: port to pam_bus_log_{create|parse}_error() and pam_log_oom()

shared: add pam utility helpers

logind: honour per-user stopDelayUSec property

logind: honour killProcesses field of user record

logind: enforce user record resource settings when user logs in

logind: port to UserRecord object

This changes the user tracking of logind to use the new-style UserRecord
object.

In a later commit this enables us to do per-user resource management.

nss: hook up nss-systemd with userdb varlink bits

This changes nss-systemd to use the new varlink user/group APIs for
looking up everything.

(This also changes the factory /etc/nsswitch.conf line to use for
hooking up nss-system to use glibc's [SUCCESS=merge] feature so that we
can properly merge group membership lists).

Fixes: #12492

core: add user/group resolution varlink interface to PID 1

core: make return parameter of dynamic_user_lookup_name() optional

userdbd: add userdbctl tool as client for userdbd

userdbd: add new service that can merge userdb queries from multiple clients

shared: add helpers for displaying new-style user/group records to users

shared: add internal API for querying JSON user records via varlink

This new API can be used in place of NSS by our own internal code if
more than the classic UNIX records are needed.

shared: add helpers for converting NSS passwd/group structures to new JSON objects

These new calls may be used to convert classic UNIX/glibc NSS struct
passwd and struct group records into new-style JSON-based user/group
objects.

shared: add generic user/group record structures and JSON parsers

libcrypt-util: add superficial validator for UNIX hashed password strings

shared: split out crypt() specific helpers into its own .c/.h in src/shared/

This way we can use libxcrypt specific functionality such as
crypt_gensalt() and thus take benefit of the newer algorithms libxcrypt
implements. (Also adds support for a new env var $SYSTEMD_CRYPT_PREFIX
which may be used to select the hash algorithm to use for libxcrypt.)

Also, let's move the weird crypt.h inclusion into libcrypt.h so that
there's a single place for it.

nss-util: add macros for generating getpwent()/getgrent() prototypes

We have similar macros already for getpwuid()/getpwnam(), let's add more
of this.

Merge pull request #14579 from keszybz/docs-index

Revert the test move and fix formatting on main page a bit

Merge pull request #14562 from yuwata/table-strv

introduce TABLE_STRV and use it in networkctl and resolvectl

docs: fix width of console example

Revert "docs: rename HACKING → Hacking"

This reverts commit 8c5cd27dd155fbe71a6bf82096b8775c5ff453b8.

Merge pull request #14578 from keszybz/docs-index

Let's see if redirects work

docs: rename HACKING → Hacking

Let's see if this works at all.

docs: shift console log on index page to the left

Merge pull request #14424 from poettering/watch-bus-name-rework

pid1: simplify drastically how we watch bus names for service's BusName= setting

Merge pull request #14573 from keszybz/docs-index

Docs index

docs: add the systemd output example

It is still nice...

docs: update old para with links to the blog stories

They are of historical interest, but without links not very useful.

docs: remove markup from title

Github uses a different background for backticked text, and this stands out
(in a bad way) on the title page.

man: add commas and reword a sentence

On more careful reading, "exit status ... do not cause the unit to enter a
failure state" is not gramatically or logically correct.

Merge pull request #14547 from keszybz/networkctl-matching

networkctl: return error or warning when interfaces are not matched

test-format-table: add tests for TABLE_STRV

resolvectl: use format-table.[ch]

networkctl: use TABLE_STRV

format-table: introduce TABLE_STRV

strv: introduce strv_compare()

Merge pull request #14571 from poettering/assorted-fixlets

two minor fixes for recent merges

docs: rework HTML into GitHub Markdown table

Presumably this should render better on https://systemd.io/DISCOVERABLE_PARTITIONS then.

As pointed out on: https://github.com/systemd/systemd/pull/14390#issuecomment-574205631

cgroup: minor comment improvement

As pointed out here:

https://github.com/systemd/systemd/pull/14564#discussion_r366305882

Merge pull request #14570 from keszybz/resource-docs

Modernize links to cgroups docs

logind: refuse overriding idle hint on tty sessions

Previously we'd allow marking TTY sessions as idle, but when the user
tried to unmark it as idle again it we'd just revert to automatic TTY
atime idle detection, thus making it impossible to mark the session as
non-idle, unless its TTY is atime-touched all the time. But of course,
marking a session as idle is pretty much fatal if you never can mark it
as non-idle again.

This change is triggred by bug reports such as this:

https://github.com/systemd/systemd/issues/14053

With this patch we will now output a clean, clear error message if a
client tries to manipulate the idle state of a non-graphical session.
This means we now have clear rules: "manual" idle logic for graphical
sessions, and TTY based ones for all others that have a TTY of some
form.

I considered allowing the idle state to be overriden both ways for tty
sessions but that's problematic: for sessions that are temporarily
upgraded from tty to graphical and thus suddenly want to manage their
own idle state we'd need to a way to detect when the upgrade goes away
and thus we should revert to old behaviour. Without reverting to the
previous TTY idle auto-magic we'd otherwise be stuck in an eternally
idle or eternally non-idle state, with really bad effects in case
auto-suspend is used. Thus, let's instead generate a proper error
message, saying clearly we don't support it.

(Also includes some other fixes and clean-ups in related code)

Closes: #14053

Merge pull request #14564 from poettering/cgroup-realize-fix

pid1: cgroup realization fix

Merge pull request #14390 from poettering/gpt-var-tmp

introduce GPT partition types for /var and /var/tmp and support them for auto-discovery

systemctl: use format-table.[ch] for tables

Merge pull request #14505 from poettering/refuse-on-failure

refuse OnFailure= deps on units that have no failure state

Merge pull request #14563 from poettering/less-the-markdown

trivial markdown fixlets

basic/strv: drop flags argument from strv_fnmatch()

networkctl: return error or warning when interfaces are not matched

We'd just print nothing and exit with 0. If the user gave an explicit
name, we should fail. If a pattern didn't match, we should at least warn.

$ networkctl status enx54ee75cb1dc0a* --no-pager && echo $?
No interfaces matched.
0

$ networkctl status enx54ee75cb1dc0a --no-pager
Interface "enx54ee75cb1dc0a" not found.
1

mount: mark an existing "mounting" unit from /proc/self/mountinfo as "just_mounted"

When starting a mount unit, systemd invokes mount command and moves the
unit's internal state to "mounting".  Then it watches for updates of
/proc/self/mountinfo.  When the expected mount entry newly appears in
mountinfo, the unit internal state is changed to "mounting-done".
Finally, when systemd finds the mount command has finished, it checks
whether the unit internal state is "mounting-done" and changes the state
to "mounted".
If the state was not "mounting-done" in the last step though mount command
was successfully finished, the unit is marked as "failed" with following
log messages:
  Mount process finished, but there is no mount.
  Failed with result 'protocol'.

If daemon-reload is done in parallel with starting mount unit, it is
possible that things happen in following order and result in above failure.
  1. the mount unit state changes to "mounting"
  2. daemon-reload saves the unit state
  3. kernel completes the mount and /proc/self/mountinfo is updated
  4. daemon-reload restores the saved unit state, that is "mounting"
  5. systemd notices the mount command has finished but the unit state
     is still "mounting" though it should be "mounting-done"

mount_setup_existing_unit() should take into account that MOUNT_MOUNTING
is transitional state and set MOUNT_PROC_JUST_MOUNTED flag if the unit
comes from /proc/self/mountinfo so that mount_process_proc_self_mountinfo()
later can make state transition from "mounting" to "mounting-done".

Fixes: #10872

cgroup: drop redundant if check

cgroup: update only siblings that got realized once

Fixes: #14475
Replaces: #14554

cgroup: drop unnecessary {}

cgroup: no need to cast dev_t to dev_t

cgroup: use log_warning_errno() where possible

docs: uppercase all markdown document titles

For most we used uppercasing, but not for all. Let's stick to one rule,
and uppercase them all.

docs: drop "The" in categorization titles of Markdown documentation

I think it makes sense to keep the "The" in place for the actual page's
title, but let's drop it from the categorization header, to make it
easier to find stuff, as the "The" isn't helpful to that.

In particular as we sometimes do it this and sometimes the other way so
far, hence let's stick to one common rule.

Merge pull request #14561 from keszybz/docs-deellipsisize

Doc formatting fixes and link update

Merge pull request #14555 from poettering/table-multine

format-table: proper multi-line support

docs: update link and more dots

Apparently unicode ellipsis is too much for github.

docs: say that journalctl --flush/--sync also require journald

https://github.com/systemd/systemd/pull/14549#pullrequestreview-341758182

Merge pull request #14557 from poettering/root-storage-daemons-markdown

docs: convert root storage daemon doc to markdown

docs: import initrd interface documentation from fdo wiki

Imported from https://www.freedesktop.org/wiki/Software/systemd/InitrdInterface/

docs: various small fixes to PORTABILITY_AND_STABILITY markdown

Nothing particularly world moving.

Follow-up for #14549

killall: update reference to root storage daemon interface docs

docs: convert root storage daemon doc to markdown

Import from:

https://www.freedesktop.org/wiki/Software/systemd/RootStorageDaemons/

Merge pull request #14400 from keszybz/alias-check

Alias check rework

Merge pull request #14381 from keszybz/ifindex-cleanup

Resolve alternative names

Merge pull request #11199 from dargad/restore-pam-setcred

Restore call to pam_setcred

Merge pull request #14293 from keur/systemctl_with_dependencies

systemctl: Add --with-dependencies switch

hwdb: Entry for Lenovo Ideapad 310S-14ISK Alps Touchpad

Add the resolution and range information for Lenovo Ideapad 310S-14ISK Alps touchpad. It provides information for the test case of libinput for Alps devices.

journalctl: Correctly handle combination of --reverse and --lines (fixes #1596)

journalctl: Correctly handle --show-cursor in combination with --until or --since and --reverse