Merge pull request #9103 from keszybz/more-tables-tests

More tables tests

Merge pull request #9104 from keszybz/nspawn-umask

Nspawn umask

meson: test out headers with more standard versions

They all pass fine, but let's keep testing regularly.

Merge pull request #9099 from yuwata/list-dbus-prop

completion: fixes for `systemctl status --property`

man: use IMAGE for portable service image name

bash-completion: add completion for portablectl

bash-completion: also suggest template unit files

Fixes #9041.

zsh-completion: suggest bus properties instead of configuration items for 'systemctl -p'

bash-completion: suggest bus properties instead of configuration items for 'systemctl -p'

Closes #5137.

core: add --dump-bus-properties option to systemd

If systemd is invoked with this option, this dumps all bus properties.
This may be useful for shell completion for `systemctl --property`.

nspawn: reset umask early

Fixes #8911.

nspawn: remove some vertical whitespace

Sometimes an empty line is good for readability, but here I think
they all can be removed without any loss.

test-nspawn-tables: add another "tables" test

meson: use a convenience static library for nspawn core

This makes it easier to link the nspawn implementation to the tests.
Right now this just means that nspawn-patch-uid.c is not compiled
twice, which is nice, but results in test-patch-uid being slightly bigger,
which is not nice. But in general, we should use convenience libs to
compile everything just once, as far as possible. Otherwise, once we
start compiling a few files here twice, and a few file there thrice, we
soon end up in a state where we are doing hundreds of extra compilations.
So let's do the "right" thing, even if is might not be more efficient.

test-tables,test-network-tables: add a few more tests

test-tables*: sort

po: update Polish translation

po: update japanese translation

core: include sd-bus-vtable.h in dbus-*.h

Merge pull request #9092 from keszybz/sd-bus-cleanup-more

sd-bus: use _cleanup_ more

Update POTFILES.in

doc: fix quoting

Noticed by Craig Barnes.

portablectl: fix memleaks

Fixes #9089.

portable: fix memleak

Closes #9086.

sd-bus: use _cleanup_ more

journalctl: add with-unit mode

When dealing with a large number of template instances, for example
when launching daemons per VRF, it is hard for operators to correlate
log lines to arguments.
Add a new with-unit mode which, if available, prefixes unit and user
unit names when displaying its log messages instead of the syslog
identifier. It will also use the full timestamp with timezones, like
the short-full mode.

tree-wide: drop unused variables

Follow-ups for #8620.

Merge pull request #8620 from poettering/portablectl

an implementation of the "portable services" concept

basic: fix raw_clone() on 32-bit sparc

The clone syscall uses the same semantics as on 64-bit. The trap number
for syscall entry is different.

Bug: https://bugs.gentoo.org/656368

update TODO

doc: add introductory docs for portable services

man: add man pages for the portable service stuff

add new portable service framework

This adds a small service "systemd-portabled" and a matching client
"portablectl", which implement the "portable service" concept.

The daemon implements the actual operations, is PolicyKit-enabled and is
activated on demand with exit-on-idle.

Both the daemon and the client are an optional build artifact, enabled
by default rhough.

machined: move bus_reply_pair_array() into generic utilities

This way, we can reuse it in portabled.

machined: unify how we forward image method calls from manager to image object

Much like the previous commit, but for Image objects rather than Machine
objects.

machined: introduce a common function for redirecting machine method calls from manager to machine object

Let's shorten the code a bit, and unify how we forward executoin from
the machine functions that take a machine name as first argument to the
matching functions on the machine object.

machine-image: extend search path

This adds directories in /etc and /run to the search paths for OS
images. While it doesn't make much sense to actually place huge disk
images there, it's good enough for symlinks to those.

The main reason for supporting this is that this allows us to neatly
symlink portable image files located outside of the search path into the
search path when attaching them, so that attaching them also means they
are discoverable properly for all commands.

machine-image: add 'discoverable' flag for images

This new flag indicates whether the image object was found in the search
paths using the usual algorithm, or was instantiated by path.

This is useful for code that wants to know whether an image may be
referenced by its shortened name or must be specified by its full name.

machine-image: add proper refcounting

machine-image: add APIs for converting arbitrary image paths into Image objects

machine-image: fix a debug log message

machine-image: rework error handling

Let's rework error handling a bit in image_find() and friends: when we
can't find an image, return -ENOENT rather than 0. That's better as
before we violated the usual rule in our codebase that return parameters
are initialized when the return value is >= 0 and otherwise not touched.

This also makes enumeration and validation a bit more strict: we'll only
accept ".raw" as suffix for regular files, and filter out this suffix
handling on directories/subvolumes, where it makes no sense.

machine-image: use pretty names if we already have them and validated them

machine-image: validate pretty names when auto-generating them

machine-image: fix duplicate detection when discovering images

We need to chop off the .raw suffix from the files we find before we can
test it against the hashmap. Hence do that.

And while we are at it, we can pass the pretty name into image_make(),
since we already have it properly formatted.

machine-image: introduce two different classes of images

This distuingishes two different classes of images, one for the purpose
of npsawn-like containers, i.e. "machines", and one for portable
services.

This distinction is mostly about search paths. We look for machine
images in /var/lib/machines and for portable images in
/var/lib/portables.

conf-files: beef up conf-files.[ch] a bit

This adds fozr new flags:

- If CONF_FILES_DIRECTORY is specified conf_file_list() and friends
  will look for directories only.

- Similar CONF_FILES_REGULAR means we'll look only for regular files.

- If CONF_FILES_BASENAME is specified the resulting list will contain
  only the basenames of all discovered files or directories, not the
  full paths.

- If CONF_FILES_FILTER_MASKED is specified the resulting list will have
  masked entries removed (i.e. those symlinked to /dev/null and
  suchlike)

These four flags are useful for discovering portable service profile
information.

While we are at it, also improve a couple of other things:

- More debug logging

- use path_hash_ops instead of string_hash_ops when putting together the
  path lists

fileio: make sure read_full_stream() works on memory-backed streams

path-lookup: add flag to optionally force checking split-usr unit dirs

When we look into a portable service image it might contain the unit
files in split-usr directories rather than merged-usr directories as on
the host. Hence, let#s add a flag that checking all dirs can be forced.

install: export unit_file_lookup_state()

os-util: add helpers for finding /etc/os-release

Place this new helpers in a new source file os-util.[ch], and move the
existing and related call path_is_os_tree() to it as well.

fileio: add parse_env_filev() that is like parse_env_file() but takes a va_list

fileio: accept FILE* in addition to path in parse_env_file()

Most our other parsing functions do this, let's do this here too,
internally we accept that anyway. Also, the closely related
load_env_file() and load_env_file_pairs() also do this, so let's be
systematic.

process-util: add a new FORK_MOUNTNS_SLAVE flag for safe_fork()

We already have a flag for creating a new mount namespace for the child.
Let's add an extension to that: a new FORK_MOUNTNFS_SLAVE flag. When
used in combination will mark all mounts in the child namespace as
MS_SLAVE so that the child can freely mount or unmount stuff but it
won't leak into the parent.

dissect: optionally, validate that the image we dissect is a valid OS image

We already do this kind of validation in nspawn when we operate on a
plain directory, let's also do this on raw images under the same
condition: that we are about too boot the image. Also, do this when we
are about to read OS metadata from it.

fd-util: add new helper call fd_duplicate_data_fd()

This call creates an fd from another fd containing the same data.
Specifically, repeated read() on the returned fd should return the same
data as the original fd. This call is useful when we want to copy data
out of disk images and suchlike, and want to be pass fds with the data
around without having to keep the disk image continously mounted.

The implementation tries to be somewhat smart and tries to prefer
memfds/pipes over files in /tmp or /var/tmp based on the size of the
data, but has appropropriate fallbacks in place.

Merge pull request #8817 from yuwata/cleanup-nsflags

core: allow to specify RestrictNamespaces= multiple times

networkd: Support the ability to set MTU in [Route] sections

Add support to set the route MTU.

Closes #9047

Merge pull request #9020 from poettering/physical-memory-cgroupsv2

make sure physical_memory() groks cgroupsv2

Merge pull request #9024 from poettering/nspawn-attrs-more

make even more nspawn concepts configurable

Merge pull request #9068 from poettering/nspawn-pty-deadlock

nspawn logging deadlock fix

logind: let's change the type of the runtime directory size to uint64_t

Externally it's an uint64_t anyway, and internally we most just
initialize it to physical_memory() which returns uint64_t, hence there's
exactly zero value in using it as size_t internally. Hence, let's fix
that, and use uint64_t everywhere.

util: add debug logging to system_tasks_max()

We should always do debug logging when we eat up error conditions. Let's
do so here too.

util: fix physical_memory() to work correctly on cgroupsv2

Let's look into the right cgroupsv2 attribute.

Also, while we are at it, add debug logging for all error conditions we
eat up silently otherwise.

doc: mention in NEWS that AF_INET{,6} are dropped from logind

Closes #9072.

Merge pull request #9040 from yuwata/resolved-networkd-use-dynamic-user

Set DynamicUser= to resolved and networkd

install: "user" and "global" scopes are equivalent for user presets

Otherwise querying the preset status of a unit to the user instance gives
incorrect results since in this case the scope used by the manager is
UNIT_FILE_USER.

Merge pull request #9039 from yuwata/fix-device-allow

 core: support unit specifiers in IODeviceWeight= and friends

Merge pull request #9067 from thedrow/patch-1

Enable ccache and mount it into the build/test container

tmpfiles: fix documented constant for exit code 73

sysexits.h has:

    #define EX_CANTCREAT 73 /* can't create (user) output file */

EX_DATAERR is a copy-paste error from the previous sentence, which is
correct.

Merge pull request #9065 from poettering/fixup-tab-double-newline

tree-wide: fix some TABs and double newlines

nspawn: make sure our container PID 1 keeps logging to the original stderr as long as possible

If we log to the pty that is configured as stdin/stdout/stderr of the
container too early we risk filling it up in full before we start
processing the pty from the parent process, resulting in deadlocks.
Let's hence keep a copy of the original tty we were started on before
setting up stdin/stdout/stderr, so that we can log to it, and keep using
it as long as we can.

Since the kernel's pty internal buffer is pretty small this actually
triggered deadlocks when we debug logged at lot from nspawn's child
processes, see: https://github.com/systemd/systemd/pull/9024#issuecomment-390403674

With this change we won't use the pty at all, only the actual payload we
start will, and hence we won't deadlock on it, ever.

nspawn: make use of log_set_open_when_needed() in nspawn too

Let's make use of log_set_open_when_needed() in nspawn too, i.e. at the
point where we close logging because we are about to rearrange fds,
let's automatically reopen the logging fds when we need them, the same
way as we do that in the service manager. This makes things simpler and
more robust.

Install ccache in container.

Enable ccache and mount it into the build/test container.

update TODO

nspawn: let's rename _FORCE_ENUM_WIDTH → _SETTING_FORCE_ENUM_WIDTH

Just some preparation in case we need a similar hack in another enum one
day.

nspawn: similar to the previous patches, also make /etc/localtime handling more configurable

Fixes: #9009

nspawn: complain if people still use --share-system

nspawn: make --link-journal= configurable through .nspawn files, too

nspawn: add a bit of debug logging to resolved_listening()

nspawn: add greater control over how /etc/resolv.conf is handled

Fixes: #8014 #1781

Merge pull request #9062 from poettering/parse-conf-macro

add new CONFIG_PARSER_PROTOTYPE() macro

pid1: fix ShowStatus property

It is not const, because a) systemd can bump it on its own if
errors occur, and b) the user can change it using signals.
Also it's not boolean.

$ busctl get-property org.freedesktop.systemd1 /org/freedesktop/systemd1 org.freedesktop.systemd1.Manager ShowStatus
b true
$ sudo kill -SIGRTMIN+21 1
$ busctl get-property org.freedesktop.systemd1 /org/freedesktop/systemd1 org.freedesktop.systemd1.Manager ShowStatus
b false

Fixes #4503.

tree-wide: remove some double newlines in headers, too

find-double-newline: look in headers too

tree-wide: fix a couple of TABs

tools: add a script for fixing up TABs

This is similar to "find-double-newline.sh" but looks for TABs that
should not be there.

network: set DynamicUser= to systemd-networkd.service

resolve: enable DynamicUser= for systemd-resolved.service

core: chown RuntimeDirectory= if DynamicUser= is set

When DynamicUser= is set, then RuntimeDirectory= should be always
chowned, as the service unit may enable RuntimeDirectoryPreserve=,
and the uid or gid may changed from the last run.
This also makes easier to migrate the service to use DynamicUser=.

timesync,shared: move logic requesting bus name to shared

Preparation for setting DynamicUser= to other services which
request bus names.

unit: drop After=systemd-sysusers.service from timesyncd

After=systemd-sysusers.service is not necessary, as timesyncd
already enables DynamicUser=.

nspawn: support pivot-root option during directory validation

Signed-off-by: Arnaud Rebillout <arnaud.rebillout@collabora.com>

Merge pull request #9059 from keszybz/rm-rf-generators

Allow removing generators dirs on real fs

Merge pull request #9061 from poettering/dump-string-table

add new DUMP_STRING_TABLE() macro and make use of it everywhere

Merge pull request #9058 from keszybz/fun-with-uint64_c

Fun with UINT64_C

conf-parser: make use of free_and_replace() at one more place

tree-wide: port over all code to the new CONFIG_PARSER_PROTOTYPE() macro

This makes most header files easier to look at. Also Emacs gets really
slow when browsing through large sections of overly long prototypes,
which is much improved by this macro.

We should probably not do something similar with too many other cases,
as macros like this might help readability for some, but make it worse
for others. But I think given the complexity of this specific prototype
and how often we use it, it's worth doing.

config-parser: introduce new CONFIG_PARSER_PROTOTYPE() macro

This builds on the previous GENERIC_PARSER_ARGS macro work. I think in
general it is a better idea to declare macros that generate full C
statements instead of just parts of them, hence, let's introduce
CONFIG_PARSER_PROTOTYPE() which defines a full C function prototype,
instead of the pre-existing way of defining the C function prototype
manually, but then using GENERIC_PARSER_ARGS to define its arguments.

This doesn't drop GENERIC_PARSER_ARGS though, but renames it to
CONFIG_PARSER_ARGUMENTS, and changes the ConfigParserCallback function
type to use it. The new name follows more closely how the other symbols
in the header are named.